首相一职遂由其表弟格伦维尔勋爵接任。格伦维尔勋爵继任首相后，筹组了「贤能内阁」，波特兰公爵遂趁机从内阁抽身退休，由此逐渐淡出政坛。
再任首相.退出内阁后的波特兰公爵主要花时间在布尔斯楚园休养，打算安享晚年。可是晚年的他备受肾病及痛风困扰，在1806年3月还接受一个移除肾石的手术，而那时候麻醉药尚未发明，所以手术为波特兰带来极大痛楚。 另一方面，波特兰安享晚年的愿望很快就落空，原因是格伦维尔勋爵的「贤能内阁」争端不断，组阁仅约一年多，就在1807年3月垮台。其时由于缺乏具份量的人物驾