El matrimonio conoce varios escándalos: en 1958, su esposa se escapa a Italia mientras él colecciona amantes y tiene en 1961 un hijo fuera del matrimonio con Henriette Duvignac, al que reconoce: Florence (fallecido en 2007).