I 1929 giftet han seg med Alma (Schindler) Mahler, som skilte seg fra arkitekten Walter Gropius, og før det hadde vært gift med Gustav Mahler.