En 1929 se casó con Alma (Schindler) Mahler, viuda de Gustav Mahler, quien se divorció del arquitecto Walter Gropius por él.