Divorciado de Heidi Merz, con quien tuvo a su primer hija, la actriz Aysha Hauer nacida en 1966, en 1985 contrajo matrimonio por segunda vez con la escultora y pintora Ineke Tencate con quien tuvo su segundo hijo.