Tuvo dos romances, uno fugaz y público con la actriz Loretta Young en los años 30 y una larga y secreta relación con la actriz Katharine Hepburn, a partir de 1941.