グランヴィル・ルーソン＝ゴア (初代スタッフォード侯爵)
しかし1767年12月には第一大蔵卿の第3代グラフトン公爵オーガスタス・フィッツロイの求めに応じる形で枢密院議長に就任した。以降10年以上の長期にわたって同職に在職した。1771年2月にガーター勲章を受勲する。はじめアメリカ独立戦争継続派だったが、途中で考えを変えたため、1779年11月に枢密院議長を辞職してノース卿内閣から離れた。
彼は「国王の友」と呼ばれる親国王派の議員と見られていたので、1782年3月にノース卿内閣が崩壊した際には国王ジョージ3世から組閣を打診されたが、彼は組閣のためには野党ロッキンガム侯爵派の協力が不可欠であり、自分ではそれを得ることは不可能と判断して拝辞した。1783年3月の第2代シェルバーン伯爵ウィリアム・ペティ内閣の崩壊後も組閣の打診を受けたが、やはり拝辞している。
1783年12月にウィリアム・ピット(小ピット)内閣が成立すると再び枢密院議長として入閣した。1784年11月からは王璽尚書へ転任した。1786年3月1日にスタッフォード侯爵(Marquess of Stafford)に叙せられる。1794年7月に第3代ポートランド公爵ウィリアム・キャヴェンディッシュ=ベンティンクの入閣を機に王璽尚書を辞した。
1803年10月26日にスタッフォードシャーのトレンタム・ホール(英語版)で死去した。
1744年12月にニコラス・ファザカーリー(Nicholas Fazakerley)の娘エリザベス(?-1746)と結婚したが、彼女は結婚後間もなく死去した。
1748年3月に初代ブリッジウォーター公爵スクロープ・エジャートンの娘ルイーザ(1723-1761)と再婚し、彼女との間に以下の4子を儲けた。
第1子(長女)マーガレット・キャロライン・ルーソン=ゴア(1753-1824) : 第5代カーライル伯爵フレデリック・ハワードと結婚。
第2子(次女)ルイーザ・ルーソン=ゴア(1757-1827) : 初代準男爵アーチボルド・マクドナルド(英語版)と結婚。
第3子(長男)ジョージ・グランヴィル・ルーソン=ゴア(1758-1833) : 初代サザーランド公爵、第2代スタッフォード侯爵、第3代ゴア伯爵
第4子(三女)アン・ルーソン=ゴア(1761-1832) : エドワード・ヴァーノン・ハーコートと結婚
1768年5月には第6代ギャロウェイ伯爵アレグザンダー・ステュアートの娘スザンナ(?-1805)と三度目の結婚をし、彼女との間に以下の4子を儲けた。
第5子(四女)ジョージナ・オーガスタ・ルーソン=ゴア(?-1806) : 第2代セント・ジャーマンズ伯爵(英語版)ウィリアム・エリオット(英語版)と結婚。
第6子(五女)スーザン・ルーソン=ゴア(1771-1838) : 初代ハロービー伯爵(英語版)ダドリー・ライダー(英語版)と結婚。
第7子(六女)シャーロッテ・ソフィア・ルーソン=ゴア(1771-1854) : 第6代ボーフォート公爵ヘンリー・サマセット(英語版)と結婚。
第8子(次男)グランヴィル・ルーソン=ゴア : 初代グランヴィル伯爵