עובדה ידועה היא שבריאן אפשטיין העדיף גברים, אבל האם הוא אהב גם נשים? קשה לענות על השאלה הזו. מה שכן אפשר לומר הוא שהוא כמעט התחתן עם אחת...ובעצם עם כמה.
אילו נולד בריאן אפשטיין אחרי שנת 1967 הוא לא היה זוכה להכיר את ארבעת המופלאים ובטח לא להיות האמרגן שלהם. עם זאת, יתכן ואילו נולד אחרי 1967 הוא היה אדם הרבה יותר מאושר. זאת, משום שרק ב-1967, זמן קצר לפני מותו, בוטל החוק שהפך את ההומוסקסואליות בבריטניה לבלתי חוקית. במרבית חייו היה בריאן חייב להסתיר את נטיותיו המיניות ולחיות תחת חשש מפני שלטונות החוק. וכך נאלץ לפקוד בחשאי מקומות מפגש של הומוסקסואלים: ברים מיוחדים, שירותים ציבוריים ופינות אפלות אחרות. בריאן סולק מהצבא בזמן שירותו הסדיר, בין היתר, על רקע תקרית לא נעימה עם גבר בשירותי הגברים ולא פעם קיבל מכות מגברים שניסה להתחיל איתם. יותר מפעם היה בריאן נתון תחת סחיטה של בני זוג, בעיקר כי ידעו שמדובר באיש בעל אמצעים ומפורסם שלא ירצה שההומוסקסואליות שלו תיוודע ברבים. על רקע כל אלה נאלץ בריאן לשלם תמורת שירותי מין מזונות ממין זכר. בריאן נאלץ גם לחיות תחת הידיעה כי עקב נטייתו המינית הוא גורם צער רב להוריו האהובים. וגם ג'ון לנון הוסיף על צערו שכן למרות שאהב אותו מאוד, התאכזר אליו לא פעם על רקע נטייתו המינית.
למרות נטייתו המינית יצא בריאן עם נשים, אולי תחת לחצים ממשפחתו, אולי כדי להסתיר את נטייתו...ואולי כי היה ביסקסואל. מצדן, נשים רבות נמשכו אליו בגלל מידותיו הטובות, נימוסיו, מראהו יפה התואר ואולי גם בגלל כספו וזאת בלי שידעו שמדובר בהומוסקסואל בתוך הארון. רוב מערכות היחסים האלה היו קצרות יחסית ולא צלחו. עם זאת, שלוש מערכות יחסים היו רציניות, אחת מהן ממושכת ולפחות שתיים מהן כמעט הגיעה לידי חתונה.
אחת הנשים הללו הייתה סוניה סליגסון, אותה פגש בריאן בראשית שנות ה-50 בלובי של מלון אדלפי בליברפול. סוניה, בדומה לבריאן, הייתה יהודייה ונמשכה לאמנות הבמה וכבר בגיל 15 עזבה את בית הספר כדי להתחיל קריירה בתיאטרון. בריאן היה החבר הראשון של סוניה והיחסים ביניהם נמשכו שנתיים. בריאן אפילו הציע לה נישואין וסוניה השיבה בחיוב. לאחר שהתארסו ענדו שניהם טבעות אירוסין. באותה תקופה נהג בריאן לנסוע לעיתים קרובות לסופי שבוע לפריז בטוענה שהוא הולך להיפגש עם חברים. בריאן תמיד נסע לבדו וסוניה לא חשדה בדבר. לילה אחד, כאשר בריאן הסיע את סוניה לביתה לאחר דייט, הוא עצר את רכבו בצד הדרך והתוודה. תחילה הוא אמר שעליהם להפסיק להיפגש ושאין עתיד עבורם. סוניה אמרה לו שבטח יש לו מישהי אחרת ובוודאי זו הסיבה לנסיעותיו התכופות לפריז. בריאן השיב לה שזה לא נכון ושבעצם יש לו מישהו אחר. בריאן הוסיף שהוא אוהב אותה אבל לא יכול להיות בן זוגה. שניהם בכו ביחד ומאז נפרדו אחרי שהיו לזוג למשך כשנתיים. עם זאת, בריאן וסוניה שמרו על קשר מכתבים ביניהם והפגישה האחרונה ביניהם הייתה בשנת 1963 כאשר נפגשו לגמרי במקרה בלובי של מלון אדלפי. אחרי הפרידה בין השניים שינתה סוניה את שם משפחתה לשם בימתי, סטיבנס, והקריירה שלה בתיאטרון הבריטי פרחה. בסוף שנות ה-80 אמרה סוניה שהימים שלה עם בריאן היו המאושרים ביותר בחייה. אגב, היא סיפרה שכנהוג באותה תקופה לא קיימו יחסי מין והמתינו לשם כך לחתונתם.
ידועה גם מערכת יחסים נוספת של בריאן והפעם בראשית שנות ה-60 עם הזמרת אלמה קוגן. אלמה הייתה זמרת מאוד מצליחה וכמו בריאן, הייתה יהודייה כשרה. הקשר בין השניים היה מאוד קרוב ובריאן תמיד נהנה להיות בחברתה ונהג להביא לה מתנות מכל מקום שאליו נסע. בריאן הביא אותה לליברפול והציג אותה לפני הוריו שקיוו כל כך שבריאן סופסוף יתחתן ויביא להם נכדים. בריאן נהג לספר לכל מי שהיה מוכן לשמוע כי הוא ואלמה מתכננים להתחתן אך זה לא קרה בסופו של דבר. אגב, אלמה ניהלה גם רומן סודי עם ג'ון לנון ושניהם נהגו להיפגש בבתי מלון תחת השם "מר וגברת ווינסטון" (ווינסטון היה שמו האמצעי של ג'ון) וזאת ללא ידיעתה של סינטיה, כמובן.
ידוע גם שמאוחר יותר הייתה לבריאן מערכת יחסים קרובה מאוד עם מריאן פיית'פול, הזמרת שהייתה בתקופה מסוימת בת זוגו של מיק ג'אגר, אבל אין ממש פרטים לגבי קשר זה. טוני בראמוול, חבר ילדות של ג'ורג' ומי שהיה חלק מהחוג הקרוב של הביטלס סיפר שבריאן לא היה מודע לחיי ההפקר של פיית'פול והיה בטוח שהיא בתולה תמימה וחשב שאם יתחתן איתה כל מה שהיא תדרוש ממנו לעשות לה במיטה יהיה לסרוק את שיערה.
