ב-1804 לקה ג'ורג' שוב במחלתו. לאחר החלמתו התפטר אדינגטון ופיט מונה כראש ממשלה במקומו. פיט רצה למנות את פוקס כשר בממשלתו, אך המלך התנגד. ויליאם גרנוויל ראה בכך עוול שנעשה לפוקס וסירב להצטרף לממשלה החדשה. פיט התרכז בהקמתה של הקואליציה האנטי-צרפתית השלישית שכללה את אוסטריה, רוסיה ושוודיה. גורלה של קואליציה זו לא היה שונה משתי קודמותיה והיא התמוטטה ב-1805. הכישלונות באירופה גבו מחיר מבריאותו של פיט והוא מת ב-1806. במקומו מונתה ממשלה בראשותו של ויליאם גרנוויל שאחד מחבריה היה פוקס, שאת מינויו קיבל המלך בלית ברירה. לאחר מותו של פוקס בספטמבר 1806 נקלעו המלך והממשלה לעימות. כדי להרחיב את הגיוס הציעה הממשלה בפברואר 1807 לבטל את ההגבלות על גיוס קתולים כך שאלה יוכלו לשרת בכל דרגי הצבא. המלך הורה לממשלה להוריד את ההצעה מעל סדר היום ולא להעלות אותה לעולם. השרים הסכימו לבטל את הצעד הזה אך סירבו להתחייב בקשר למצבים עתידיים. הממשלה פוזרה ובמקומה הוקמה ממשלה בראשות הדוכס מפורטלנד כשההנהגה האמיתית שלה הייתה בידיו של שר האוצר ספנסר פרסיבל. הפרלמנט פוזר ובבחירות שהתקיימו זכתה הממשלה לרוב בפרלמנט שתמך בה.