Lawrence Summers
1959年、スタインは第二次世界大戦のユダヤ系難民だったElly Intratorと結婚した。2人の子供、カレン・スタインとができ、アリソン(Alison)、ジェイソン(Jason)、キャロライン(Carolyn)の孫ができた。息子であるジェレミーは、ハーバード大学の金融経済学の教授で、ティモシー・フランツ・ガイトナーとローレンス・サマーズのかつての顧問であり、2012年から2014年までで職務に就いていた。エリアスは2018年87歳で、悪性リンパ腫の合併症で亡くなった。