Det ble påstått at ekteskapet skrantet på grunn av affæren Georg hadde med kurtisanen Frances Villiers, grevinne av Jersey. Det er likevel mest sannsynlig at Caroline var lite opptatt av sin ektemann, og dermed lite interessert i hvem han hadde romantiske forhold med.