Selv syntes heller ikke Caroline at hennes ektemann var spesielt attraktiv, og det ble stadfeste fra begge hold at de to bare hadde samleie tre ganger i løpet av ekteskapet, to ganger den første natten og en gang den andre. Prinsesse Charlotte Augusta, det eneste ektefødte barnet til Georg, ble født 7. januar 1796. Prinsen og prinsessen av Wales bodde aldri sammen siden, selv ved offentlige opptredener var de ikke sammen. Både Caroline og Georg hadde romantiske forhold med andre, og dronningen fikk derfor klengenavnet "The Immoral Queen" ().