אליעזר בן-רפאל נולד וגדל בבלגיה כבן למהגרים מפולין. במהלך שנות מלחמת העולם השנייה בזמן השואה היה ילד מוסתר אצל משפחה נוצרית תחת שם בדוי ומנותק מהוריו. הוריו נתפשו על ידי הגרמנים, הצליחו לברוח וחיו במחבוא. המשפחה התאחדה רק לאחר המלחמה. אליעזר בן-רפאל גדל בבלגיה. היה חבר תנועת הנוער החלוצית הציונית איחוד הבונים (שהיא איחוד של גורדוניה ודרור הבונים). בתום לימודיו התיכוניים בשנת 1956 עלה בן-רפאל לישראל והצטרף לקיבוץ חניתה. היה חבר קיבוץ במשך כעשרים שנה, שם נשא בתפקידים חברתיים מרכזיים והיה פעיל במרכז התנועה הקיבוצית. בזמן היותו בקיבוץ החל ללמוד ימים מספר בשבוע באוניברסיטה העברית, כך עשה עד לדוקטורט, בסיומו עשה פוסט-דוקטורט באוניברסיטת הרווארד שבארצות הברית. כששב לישראל השתקע ברמת השרון. את התואר הראשון עשה בסוציולוגיה ובמדע המדינה ואת התארים השני והשלישי בסוציולוגיה. נושא עבודת המאסטר שלו היה מהפכת הסטודנטים בשנות השישים, תוך עריכת השוואה בין ארצות הברית, צרפת וגרמניה. את העבודה הזאת עשה תחת הנחייתו של פרופסור משה ליסק. עבודת הדוקטורט, גם היא בהנחיית ליסק, דנה במלחמת הגרילה באלג'יריה, בדרום אפריקה, בקפריסין, בקובה ובהודו-סין. את הדוקטורט קיבל ב-1974. בתחילה הקריירה האקדמית החל ללמד באוניברסיטה העברית וכעבור מספר שנים עבר לאוניברסיטת תל אביב, שם לימד וחקר למעלה משלושים שנה. אליעזר בן-רפאל נשוי לד"ר מרים בן-רפאל (לבית נויפלד), חוקרת בבלשנות שמושית אשר העלתה ופיתחה את ה"Franbreu", קרי השפה המדוברת על ידי עולים ותיקים דוברי צרפתית במקור. לזוג שתי בנות, אשת מדע המדינה, ד"ר סיגל בן-רפאל גלנטי, והסוציולוגית, ד"ר ליאור בן-חיים רפאל.