Entre sus amantes destacan la cantante afroamericana de cabaret Florence Mills, la rica heredera Poppy Baring, la duquesa Margarita de Argyll, la estrella musical Jessie Matthews y el actor Noel Coward, con el que estuvo relacionado sentimentalmente durante 19 años.