世一度短暂病发，病愈后更责备这病是天主教问题迫出来的。最终在1801年3月14日，皮特不再任首相，并由下议院议长亨利·阿丁顿接任。阿丁顿任内反对天主教解放、创立周年帐目制度、废除入息税以及开始裁军。在1801年10月，他与法国和解，并在1802年签订《亚眠和约》。乔治本人并不相信与单凭《亚眠和约》就可与法国拥有「真正」的和平，他仅仅视和平为「实验」而已。未几在1803年，两国再度互相宣战，但公众舆论却普遍不信任由首相阿丁顿带领国家作战，相反，公众的目光重新投到了皮特身上。在1804年，乔治又一次受旧病影