Su segundo matrimonio fue con la actriz escocesa Mary Ure, con quien se casó en 1963 y tuvo cuatro hijos; uno de ellos, Ian, también actor.