Etter forskjellige roller i de følgende årene, giftet han seg 1929 med skuespillerinnen Hilde Körber, som han fikk tre barn med, frem til de skilte seg ni år senere. Deres datter, Susanne Körber (hun tok morens etternavn), giftet seg Claude Jacoby og konverterte til jødedommen. Claude Jacobys foreldre ble myrdet under Holocaust. Hilde Körber var medlem av den tyske foreningen for jødisk-kristelig forståelse. Datteren Maria Körber giftet seg også med en mann av jødisk herkomst.