Mellom 1967 og 1988 var han gift med Therese Gräfin von Hardegg, som han hadde tre barn med: Johannes (født 1968), Anna Morgan (født 1968) og Karl Philipp (født 1979). De ble gift på nytt i 2008.