También tuvo relaciones con las mujeres, incluyendo las actrices Greta Garbo y Coral Browne, el bailarín Adele Astaire, y la "socialite" británica Doris Castlerosse.