随着法国在史上着名的特拉法加海战中，败于英国海军将领纳尔逊勋爵而告吹。在欧洲战事的失利对皮特的健康状况构成很大打击，最后更在1806年于任内病故。皮特死后，谁人出掌内阁再次成为问题，而这次则由格伦维尔勋爵夺得首相一位。格伦维尔勋爵上任后筹组了所谓的「贤能内阁」，当中以起用查尔斯·詹姆士·福克斯任外相最受关注。受时局所困，乔治这次任命福克斯实属迫不得以，对福克斯的态度也较之以前友善。可是福克斯在1806年9月逝世后，乔治与内阁陷入了公开的冲突。为了提高征募新兵的效率，内阁建议准许罗马天主教徒