Sus esposas fueron: Ava Gardner la cual tenía 19 años (1942-1943), durante un año de matrimonio; Betty Jane Rase (1944-1949) con quien tuvo dos hijos; Martha Vickers (1949-1951), un hijo; Elaine Mahnken (1952-1958), cuatro hijos; Barbara Ann Thomason (1958-1966); Marge Lane (1966); Carolyn Hockett (1969-1974), dos hijos; y Jan Chamberlain (1978-2014), hasta el momento de su muerte.