A lo largo de su vida, se le relacionó románticamente con muchas actrices de su época como Hetty Kelly, Edna Purviance, Mildred Harris, Pola Negri, Marion Davies, Lita Grey, Merna Kennedy, Georgia Hale, Louise Brooks, Paulette Goddard, Joan Barry, y finalmente con Oona O'Neill.