Sus esposas fueron: Emma Myers, con la que tuvo dos hijos; Vivi Janiss, con la que se casó en 1933, y de la que se divorció; Mary Elliott, con la que se casó en 1945 y se divorció en 1970, tras tener cinco hijos; Regina Fong, casada con él en 1971; y Jane Berzynsky, casada con él en 1989.