Estuvo casado a los 21 años con la modelo Peggy Williams, de 1951 a 1954; a sus 33 años de edad, con otra modelo llamada Mary Hilem, desde junio de 1963 a 1969, a quien conoció en una fiesta dada por su amigo Kirk Douglas, y lo hizo padre de Felicia Taylor, que hoy es una analista financiera de CNN International (nacida en agosto de 1964); y en terceras nupcias estuvo casado con Carol Kikumura, desde 1980 (a quien conocía desde 1960).