A lo largo de su matrimonio, ambos tuvieron amoríos: ella, con Hugh Gaitskell, líder del Partido Laborista y ; él, por su parte, mantuvo una larga relación en Jamaica con una de sus vecinas, Blanche Blackwell, madre de Chris Blackwell, que fundó el sello Island Records.