小ピットと疎遠になっていたグレンヴィルは入閣せず、フォックスとともに反対党を続けたが、小ピットは首相再任からわずか2年後の1806年1月に病死した。ジョージ3世は後任首相の選定に苦慮したが、結局第3代ポートランド公爵ウィリアム・キャヴェンディッシュ＝ベンティンクから「アウステルリッツ後の状況を鑑み、反対党に組閣させるのが得策」との助言を受けたことでグレンヴィルに組閣の大命を与えることにした。