Mange av de best kjente historiene om kongens galskap stammer fra en pamflett utgitt av Philip Withers i 1789, , som påstod at Georg hadde håndhilst på et eiketre i den tro at det var Fredrik den store. Her er det snakk om falske og overdrevne anekdoter. Monarkistene forsøkte å dysse ned kongens plager, mens whig'ene overdrev dem. I 1789 ble Georg erklært frisk, og først i 1801 kom et tilbakefall, der han igjen endte med å falle i koma. Igjen kom han seg, men i juni 1804 ble han syk igjen i noen tid. Dronning Sophie hadde vært bekymret og noe forlegen over tidligere sykdomsutbrudd; nå var hun direkte redd for sin mann, og sørget for aldri å være alene med ham. Om kvelden låste hun soveromsdøren sin og slapp ham aldri inn. Denne avvisningen virket sterkt på kongen, som ble helt ute av seg. Permanent ble situasjonen først etter tilbakefallet i oktober 1810, da han igjen ble lagt i tvangstrøye. I 1811 avla legene erklæring for Parlamentet om at (Kongen vår er sinnssyk). Han som hadde vært strengt monogam, la seg etter den sytti år gamle hoffdamen lady Elizabeth Pembroke med kjærlighetsbrev og obskøne forslag. De siste 8-9 år av livet sitt var han blind og døv, og tilbrakte sine dager alene på nordsiden av Windsor-slottet. Her spilte han litt harpe, samtalte med avdøde venner, og blottet seg iblant for tjenerskapet.