En 1964 se casó con la actriz sueca Britt Ekland, con la que tuvo a su hija Victoria y de la que se separó cuatro años más tarde.