Både før og etter han inngikk ekteskap hadde George affærer med både menn og kvinner, fra sosieteten til Hollywood-kjendiser. Av berømte elskerinner og elskere kan den afroamerikanske cabaretsangeren Florence Mills, bankarvingen Poppy Baring, sosietetskvinnen Margaret Whigham (senere hertuginne av Argyll), musikkstjernen Jessie Matthews og skuespiller Noel Coward nevnes. Det er antatt at intime brev fra hertugen til Coward ble stjålne fra Cowards hus i 1942. Av den britiske historikeren Lucy Moore blir det også antatt at George hadde en affære med Indira Raje, Maharani av Cooch Behar (1892–1968) i de sene 20-årene.