En 1952 se casa con Agnès Marie Madeleine Goute, su primera esposa, con la que tendrá dos hijos, Jean-Yves, el primogénito, y Matthieu, actualmente el compositor de las bandas sonoras de sus películas.