父である第3代ポートランド公爵もそれを受けて小ピットを支持するようになり、1805年に小ピットがアディントンを入閣させようとしたときに枢密院議長の座をアディントンに譲り、自身は無任所大臣に転じるほどだった。