Caroline ble kalt tilbake til Storbritannia i 1820 igjen da hennes ektemann tiltrådte tronen. Hun takket nei til forslag om pengegaver dersom hun holdt seg borte. Da hun ankom England 6. juni brøt det ut et opprør til støtte for Caroline. Kongen spurte ministerne sine om han kunne bli kvitt henne. Pains and Penalties Bill 1820 ble godkjent for å kunne frata Caroline dronningtittelen og oppheve ekteskapet. Det ble hevdet at hun hadde hatt et utenomekteskapelig forhold med en mann fra en lavere sosial stand på det europeiske kontinentet, Bertolomeo Pergami, og Theodore Majocci og andre vitner vitnet under rettssaken. På denne tiden ble dette nærmest sett på som forræderi å være utro mot kongen. Georg IV selv hadde også hatt utallige utenomekteskapelige forhold, men ingen kunne sette noen straff på ham. Pains and Penalties Bill gikk gjennom i House of Lords, men ble ikke lagt fram for House of Commons, da det var lite trolig at den ville gått gjennom her. Caroline slo fast at det var riktig at hun hadde vært utro med en mann, nemlig ektemannen til Maria Fitzherbert, og med dette refererte hun til kongen og hans utroskap. Caroline skulle til å entre Westminster Abbey under kroningsseremonien den 21. juni 1821, men hun ble stoppet. Til tross for kongens forsøk på å gjøre henne mindre populær, hadde Caroline fortsatt bred støtte hos folket.