Entre 1959 y 1966 con Lois Hardwick y con Shirley Douglas desde 1967 hasta 1970, con quien tuvo dos hijos, Rachel y Kiefer Sutherland (actor y director, conocido sobre todo por su papel en la serie de televisión "24").