ביוני 1980 שהה ג'ון בחופשה באיי ברמודה, אליהם הגיע מרוד איילנד ביאכטה ומשום שזו נקלעה בלב ים לסערה קשה וממושכת שגרמה לאנשי הצוות להיכנע לתשישות קשה ובעקר לסחרחורות ובחילות, ג'ון שלא הושפע מכך, לקח לידיו את ההגה ולהוביל את היאכטה לחוף מבטחים במשך לילה שלם. ג'ון סיפר אחר כך שתהליך הגמילה שעבר מסם ההרואין גרם לו לחסינות מפני סחרחורות ובחילות. למרות שזו הייתה חוויה מפחידה, ואולי דווקא בגלל זה, היא המריצה את רוחו, חיזקה את הביטחון העצמי שלו וגורמה לו להרהר בשבריריות החיים. ברגע שהגיע לאיי ברמודה, שמע ג'ון את השיר Hallelujah Time של בוב מארלי ובו שורה האומרת:
We gotta keep on living, living on borrowed time
אנחנו חייבים להמשיך לחיות, לחיות על זמן שאול
השורה הזו עוררה בג'ון אסוציאציה לחוויה המפחידה שעבר בלב ים, וזה נתן לו השראה לכתוב את השיר Borrowed Time. ג'ון קיבל מהשיר של מארלי גם השראה לסגנון הרגאיי של השיר. על כך סיפר ג'ון:
זה מה שכולנו עושים, חיים על זמן שאול אבל רובנו לא אוהבים לחשוב על זה
הנה השיר Hallelujah Time של בוב מארלי:
ג'ון הקליט את השיר Borrowed Time ב-6 באוגוסט 1980 וזה היה השיר השני שהוקלט במהלך ההקלטות לאלבום Double Fantasy. ג'ון ביקש מהנגנים שהקליטו אתו לחשוב על השירים Twist and Shout ו-Spanish Twist בביצוע של ההרכב Isley Brothers שהיה בהם ניחוח רגאיי (ג'ון ביצע עם הביטלס את השיר Twist and Shout בעיבוד מאד שונה).
הנה השיר Twist and Shout בביצוע ההרכב Isley Brothers:
הנה השיר Spanish Twist בביצוע ההרכב Isley Brothers:
מאחר והנגנים שהקליטו עם ג'ון לא הצליחו לתת לשיר את תחושת הרגאיי שהוא חיפש, ג'ון החליט להניח לשיר ולא כלל אותו באלבום. בסופו של דבר נכלל השיר באלבום Milk and Honey שיצא אחרי מותו הטראגי. חשוב לשים לב שכאמור, זה לא הביצוע שג'ון רצה לתת לשיר שאפילו לא כלל את החצוצרה שהוא תכנן להוסיף לו אילו היה ממשיך לעבוד עליו. בשנת 1998 יצאה במסגרת John Lennon Anthology גרסת דמו של השיר שהקליט ג'ון בעזרת גיטרה אקוסטית באיי ברמודה ב-22 ביוני 1980.
הנה השיר Borrowed Time מתוך האלבום Milk and Honey:
הנה דמו של השיר Borrowed Time מתוך האוסף John Lennon Anthology:
הנה קטע שאני אוהב במיוחד של ג'ון עושה חזרות באולפן לשיר Borrowed Time עם קבוצת הנגנים שהקליטו אתו: