El actor ha sido descrito como un «mujeriego en serie», y no en vano los biógrafos Marc Eliot y Patrick McGilligan afirman que el cineasta ha tenido relaciones con las actrices Catherine Deneuve, Jill Banner, Jamie Rose, Inger Stevens, Jo Ann Harris y Jean Seberg, con la guionista Megan Rose, con la ex mujer de James Brolin, Jane, con la columnista Bridget Byrne y con la nadadora profesional Anita Lhoest.