樞密院議長
雖然皮特下野，不過同樣反對天主教解放的波特蘭公爵則獲留在阿丁頓內閣供職，但由於波特蘭年紀漸大，體力不支，他遂改任重要性較低的樞密院議長，名義上繼續參與政府決策。不久以後，阿丁頓成功在1802年與法國的拿破崙簽訂《亞眠條約》，暫時終止英、法間的戰爭，可是戰火旋於1803年重新燃起，國內輿論遂紛紛要求皮特重新出任首相，以帶領國家作戰。在這種背景下，皮特於1804年5月重新出任首相一職，並著手改組內閣。最初，皮特有意組成一個強勢的聯合內閣，除打算由波特蘭公爵出任掌璽大臣外，另外又希望邀請反對派的福克斯加入內閣，然而有關建議隨即遭喬治三世反對而告吹，波特蘭惟有在新政府繼續擔任樞密院議長。