Han skilte seg fra sin første kone, Agnes, for å gifte seg med skuespillerinnen Stéphane Audran. Med henne fikk han en sønn. Han skilte seg fra henne i 1980 og giftet seg senere med Aurore Paquiss.