不管部大臣
到1805年1月，皮特有意委任西德默斯勳爵入閣供職，但內閣卻沒有出缺，結果波特蘭自願將樞密院議長一職讓予西德默斯勳爵，自己則改任不管部大臣。到1806年1月23日，皮特因積勞成疾而卒故任上，首相一職遂由其表弟格倫維爾勳爵接任。格倫維爾勳爵繼任首相後，籌組了「賢能內閣」，波特蘭公爵遂趁機從內閣抽身退休，由此逐漸淡出政壇。