05年1月，皮特有意委任西德默斯勋爵入阁供职，但内阁却没有出缺，结果波特兰自愿将枢密院议长一职让予西德默斯勋爵，自己则改任不管部大臣。到1806年1月23日，皮特因积劳成疾而卒故任上，首相一职遂由其表弟格伦维尔勋爵接任。格伦维尔勋爵继任首相后，筹组了「贤能内阁」，波特兰公爵遂趁机从内阁抽身退休，由此逐渐淡出政坛。
再任首相.退出内阁后的波特兰公爵主要花时间在布尔斯楚园休养，打算安享晚年。可是晚年的他备受肾病及痛风困扰，在1806年3月还接受一个移除肾石的手术，而那时候麻醉药尚未发明