En 1962, se casó con la actriz Vanessa Redgrave con la que tuvo dos hijas (ambas actrices), Natasha Richardson y Joely Richardson; pero se divorció en 1967 para casarse con la actriz francesa Jeanne Moreau.