Han ble i 1951 gift med Inge Bandekow (1928–1978), som var datteren til selskapets jurist. De fikk fem døtre: Katarina Geller (født 1951), Gabriele Quandt-Langenscheidt (født 1952), Anette May-Thies (født 1954), Colleen-Bettina Rosenblat-Mo (født 1962) og Patricia Halterman (1967–2005).