Después de un mediatizado idilio con Brigitte Bardot, se casó en 1963 con la esquiadora francesa Francine Bréaud, con la que tuvo dos hijos.