Tuvo notorias aventuras sentimentales con las actrices Pola Negri, Helen Morgan y Lupe Vélez (todas detalladas en su autobiografía de 1975 "The World I Lived In").