Con Molly Day Thacher en 1932, con la que tuvo dos hijos y dos hijas, y con la actriz Barbara Loden en 1967, con la que tuvo dos hijos más, ambas fallecidas.