Hans første ekteskap var med Una Stubbs (1959–1968). Andre ekteskap var med Jan Waters. I 1987 giftet han seg for tredje gang, denne gang med Anne Stallybrass som spilte hans første hustru i . Han hadde da bodd sammen med henne i ti år.