הלוי נולד בברוקלין, שבניו יורק. בנם של מרדכי הלוי ורוז (לבית תרן) שנפטרה בלידתו, שניהם ילידי אוקרינה. אביו, מחנך עברי איש העלייה השנייה, הוגלה מהארץ על ידי העותמאנים והתגייס לגדוד העברי. עם שחרורו אחרי תבוסת גליפולי הגיע לארצות הברית. הלוי בילה חלק מילדותו בשנות השלושים בארץ ישראל, לשם שבה המשפחה. שם נשא אביו לאישה את יהודית יושפה שהייתה מראשונות רופאי השיניים בחיפה. עם פרוץ מלחמת העולם השנייה, שבה המשפחה לארצות הברית.