I 1952 giftet han seg med Susan Thompson, og de fikk tre barn; Susie, Howard og Peter. Paret flyttet fra hverandre i 1977 men var gift inntil Susan Thompson døde i juli 2004. I 2006 giftet han seg med Astrid Menks som han har bodd sammen med siden 1978.