Han var gift med en og samme kvinne fra 1948 og fram til sin død. Likevel hadde han flere omtalte kjærlighetsforhold. Mot slutten av 1960-årene med Faye Dunaway, som han traff under innspillingen av . Årene 1971–1975 hadde han et kjærlighetsforhold til den franske skuespilleren Catherine Deneuve. Henne fikk han også en datter med.