La segunda vez se casó con la actriz británica Jean Simmons, con la que estuvo casado también diez años y de la que se divorció igualmente.Tuvo una aventura extramarital con su compañera de rodaje Deborah Kerr.