Entre sus amantes destacaron María Robinson, actriz que para vengarse del abandono de Jorge terminó vendiendo sus cartas a los periódicos; Grace Dalrymple-Elliott, la esposa escocesa de un médico de Londres; Olga Zherebtsova, noble rusa que alegó haber tenido un hijo suyo; y Francisca Twysden, Lady Jersey, que dominaría su vida por algunos años.