אלף, אלפרד או פרדי, אביו של ג'ון לנון לא נכח ברוב ילדותו של בנו ובילה את רוב זמנו במסעות בלב ים מליברפול למקומות שונים בעולם, כאיש צוות. בשנים בילה אלף שלוש תקופות בבתי כלא במדינות שונות, ובמהלכן לא נוצר קשר בינו לבין אמו של ג'ון, ג'וליה, וכן לא שלח כסף הביתה, מה שעורר את החשש שאלף כבר אינו בין החיים.
המקרה הראשון התרחש בשנת 1943, כשעבד כעוזר מלצר בספינה בשם Sammex שהיעד שלה היה המזרח הרחוק, נעצר אלף, בנמל בונה שבאלג'יריה, יחד עם חברי צוות אחרים, כאשר כולם נחשדו בהברחת סיגריות ואלכוהול. אחרי שהשלטונות מצאו בתאו בקבוק ויסקי גנוב, נידון אלף לשלושה חודשים בכלא צבאי שתנאיו היו מאד אכזריים, ושם קיבל אלף את התפקיד לנקות את השירותים. מאוחר יותר, סיפר אלף שלא הוא גנב את הבקבוק אלא חבר שלו אבל הוא החליט לקחת על עצמו את האשמה. בסופו של דבר, הוא שוחרר אחרי תשעה ימים ולא לפני שהוזהר ע"י מפקד הכלא שאם יספר על התנאים הקשים השוררים במקום, חייו בסכנה.
המקרה השני התרחש בשנת 1946, אחרי שנפרד מבנו ג'ון בן ה-5 בעיר בלקפול, ממנה הוחזר ע"י אמו ג'וליה אל בית הדודה מימי. אלף שהיה שבור מהפרידה מבנו שב אל לב ים ועבד כמלצר בספינה בשם Andes ששירתה את שירות הדואר הבריטי והפליגה לארגנטינה. בבואנוס איירס, בזמן שבילה עם קבוצה של מלחים אנגליים בבר, הוא נעצר ע"י המשטרה המקומית, יחד עם כולם, בעוון שכרות ורעש. כולם הובאו לתחנת המשטרה לצורך זיהוי ושם בטעות זוהה כרוצח מקומי מסוכן שהמשטרה חיפשה אחריו. הטעות נבעה מכך שבמסמכיו חתם אלף בתור A. Lennon וכן צוין ששם בנו הוא John. זאת, בעוד ששם הרוצח המבוקש היה John Alennon. כך, בילה אלף יומיים בבית המעצר כשנמנעו ממנו מים ומזון, עד שהטעות התבררה ושוחרר.
המקרה השלישי התרחש בדצמבר 1949 חזר אלף לאנגליה כשתוכניותיו היו להגיע לליברפול כדי להתאחד עם ג'וליה ובנו, ג'ון. אחרי שירד מהספינה בלונדון, דבר ראשון שעשה היה לבקר עם קבוצת מלחים בפאב, שם כולם השתכרו. תחת השפעת האלכוהול, הבחין אלף בחלון ראווה של חנות בגדים בבובה שהזכירה לו את ג'וליה, אותה לא ראה מזה שלוש שנים. אלף שבר את חלון הראווה, לקח את הבובה ורקד איתה ברחוב, עד שנעצר ע"י שוטר. למרות שזו הייתה העבירה הראשונה שלו באנגליה, אלף נידון לשישה חודשי מאסר בפועל, שם הותר לו לכתוב מכתב בן עמוד אחד למי שיבחר. אלף שלח את המכתב למימי דווקא וביקש את עצתה באשר לכוונותיו להתאחד עם ג'וליה וג'ון. כך השיבה לו מימי:
עליך להשלים עם העובדה שעכשיו, אחרי שהורשעת, נמוגו כל התקוות שיכלו להיות לך לקבל משמורת על הילד. עשית טעויות קשות בחייך והבאת בושה וחרפה למשפחתך. אם נותר בך קומץ של הגינות, אני ממליצה לך לנסוע לניו זילנד, להעביר שם את שארית חייך ולהשאיר את עברך מאחור. אתה בוודאי לא היית רוצה שבנך יידע שהיית בכלא
כשהשתחרר אלף מהכלא, הוא חזר לליברפול אבל תחת רושם הדברים שכתבה לו מימי וויתר על הניסיון לפגוש את ג'וליה ואת ג'ון. באותו זמן היה מצבו של אלף היה בכי רע. כשהגיע לליברפול נודע לו שאמו נפטרה ובנוסף, הרישום הפלילי שקיבל מנע ממנו לקבל שוב תעסוקה באחת הספינות. כך, בילה אלף את שארית שנות ה-50 בין עבודות פשוטות, בדרך כלל כעובד במטבח של פאב, כאשר השכר שלו בקושי מספיק כדי להתקיים.
בשנת 1958, כאשר עבד אלף עם אחיו, צ'רלי במסעדה בשם Barn בעיירה סוליהל, שלח להם אחיהם סידני מליברפול ידעה מהעיתון Liverpool Echo, לפיה ג'וליה נהרגה בתאונת דרכים. אלף היה שבור ועזב את העיירה סוליהל ללונדון, שם החל לעבוד כעובד במטבח מלון Greyhound Hotel. בשלב הזה ידע אלף שלעולם לא יראה את אשתו והיה משוכנע שלעולם לא יראה גם את בנו.