キャロライン・オブ・ブランズウィック
3日後、セント・ジェームズ宮殿で結婚式が行われたが、式にのぞんだジョージはやけくそのように酔っぱらい、弟たちに左右を支えられて立っている有様であった。
1796年1月に長女シャーロットが生まれてすぐに2人は別居した。シャーロット王女は王家が養育し、母キャロラインから引き離された。1806年にキャロラインが不倫の子を産んだという噂が立てられ、シャーロット王女への面会が制限された。キャロラインの不貞を調査した『ザ・ブック』がトーリー党によってまとめられ、これがキャロライン側についたホイッグ党によりのちに公開されると、ジョージ4世の乱交ぶりが明らかとなり、キャロラインに国民の同情が集まった。
娘と会うのをジョージに妨害され、孤独の生活に追いやられた被害者というイメージをホイッグ党の手腕で強く国民に印象付けたキャロラインは、議会から年金を得て、1814年から大陸諸国への旅行を許されて出国し、外国暮らしを始めた。エルサレムで聖キャロライン騎士団を設立、愛人のバルトロメーオ・ペルガーミ(Bartolomeo Pergami)を総長に任命した。
1816年、シャーロット王女がザクセン=コーブルク=ザールフェルト公家の末子レオポルト(後に初代ベルギー国王レオポルド1世となる)と結婚したが、翌1817年に男子を死産して間もなく死去した。自分と暮らしたことのない娘であったが、その死に目にも会えなかった。
1820年1月、国王に即位したジョージ4世は、法的には今や王妃であるキャロラインとの離婚を考えた。