Etter å ha tatt første avdeling i 1924 giftet han seg med Christel Bonhoeffer, en søster av hans venner fra skoledagene. I 1925, omtrent på denne tiden begynte han å sette stress på "a" i sitt etternavn (som var av ungarsk opprinnelse). Han og hans kone fikk tre barn: Klaus, (ordfører i Hamburg fra 1981 til 1988), Christoph (musikalsk leder) og Barbara.