El segundo matrimonio fue con Movita Castaneda, pero su relación terminó cuando conoció durante el rodaje del film a quien sería su tercera esposa, Tarita Teriipia, la mujer tahitiana que interpretó a su compañera en "Rebelión a bordo" ("Mutiny on the Bounty"), con quien tuvo dos hijos y estuvo unido diez años.