En 1971 se casó con la modelo y actriz Marcheline Bertrand, con quien tuvo a James Haven Voight y a la famosa actriz Angelina Jolie Voight, se divorciaron en 1980.