Voight giftet seg med den franske skuespillerinnen Marcheline Bertrand 12. desember 1971, og de fikk to barn sammen; James Haven og Angelina Jolie. Voight og Bertrand tok ut separasjon i 1976 og ble skilt i 1980.