Med sin første kone Anna Schwarz fikk han tre sønner og en datter. Ekteparet skilte seg i 1978, og året etter giftet han seg med Ute Grunert. Dermed fikk han to stesønner. I tillegg hadde han to døtre, med to ulike kvinner.