オーガスタス・フィッツロイ (第3代グラフトン公)
1763年4月にジョン・ウィルクスが『ノース・ブリトン(英語版)』紙で国王の演説を批判して逮捕されると、5月に盟友の第2代テンプル伯爵リチャード・グレンヴィル=テンプルとともにロンドン塔でウィルクスに面会したが、後にウィルクスの保釈を渋ったことでテンプル伯爵と決裂した。
その後、グラフトンの貴族院における地位が上昇を続け、1763年8月にジョージ3世から大ピットへ組閣の大命が下ったとき、大ピットはグラフトンを閣僚に任命しようとしたという(ただし、このときは大ピットが組閣に失敗した)。ホレス・ウォルポールも同年12月の手紙でグラフトン公爵がよく賞賛されていると述べ、官職に就任したことはまだないが、すでに一流の政治家であるとした。大ピットは1765年にも組閣の大命を与えられ、今度はグラフトンを国務大臣に任命しようとしたが、グラフトンと決裂したテンプル伯爵が入閣を拒否したため再び組閣に失敗、代わって第2代ロッキンガム侯爵チャールズ・ワトソン=ウェントワースが組閣した。これにより1765年7月に第1次ロッキンガム侯爵内閣が成立、グラフトンは北部担当国務大臣を務めた。
次第に夫婦関係は冷えていき、グラフトン公爵は1763年頃からナンシー・パーソンズ(英語版)との愛人関係が始まった。一方、アン夫人も不倫をしており、1764年1月に娘のジョージアナを連れて家を出た。9歳になる息子のジョージ(英語版)(のちの第4代グラフトン公爵)は父のもとに留まった。
1767年になると、アン夫人は、まだ籍はグラフトン公爵の妻のままだったが、第2代アッパー・オソリー伯爵ジョン・フィッツパトリックの子を妊娠、同じ頃、グラフトン公爵は愛人ナンシー・パーソンズを伴いニューマーケットへ出入りする姿がたびたび目撃されるようになり、1767年頃には公然と連れ回すようになった。1768年4月にはグラフトン公爵がナンシー・パーソンズ(英語版)とともにオペラ鑑賞に向かう姿を目撃され、作家ジュニアス(英語版)などから攻撃された。
アン夫人は、1768年8月にアッパー・オソリー伯爵の子を出産した。1769年3月23日に議会によって夫妻の離婚の承認が得られると、アン夫人はその3日後にアッパー・オソリー伯爵と入籍した。
グラフトン公爵のほうはその頃にはナンシー・パーソンズとの関係を終え、1769年6月4日に第7代準男爵サー・リチャード・ロッテスレー(英語版)の娘エリザベス(1745年11月1日 – 1822年5月25日)と再婚した。
1768年2月には大陸亡命中だったジョン・ウィルクスが帰国し、3月の総選挙に出馬して当選したが投獄されたため、ウィルクス釈放運動が再燃した。
1769年2月の庶民院はグラフトン公爵らの働きかけによりウィルクスを議員から除名する決議をしたが、民衆のウィルクス支援熱は収まらず、補欠選挙でウィルクスを再選させた。庶民院での除名と補欠選挙での再選が2回繰り返された後、庶民院は選挙に介入してウィルクスを落選処分とした。
しかしこれは国制問題となり、議会内の野党勢力であるロッキンガム侯爵派やチャタム伯爵派、グレンヴィル派もウィルクス運動と連携を図るようになった。これにグラフトン自身の女性問題(#私生活を参照)や1769年末にチャタム伯爵が回復して登院してきたことが加え、1770年1月には閣僚からも野党側に同調する造反者が出るに至った。これが原因で総辞職に追い込まれた。
大蔵大臣のノース卿フレデリック・ノースが代わって組閣の大命を受けた。
ロッキンガム侯爵は大ピットを味方に引き入れようとしたが、大ピットは初代ニューカッスル公爵トマス・ペラム=ホリス(王璽尚書)の入閣に強く反対したため、協力を拒否した。ロッキンガム侯爵内閣が国王にも庶民院を掌握していた大ピットにも支持されないことになり、しかも内部分裂をおこししていたため、極めて弱体な内閣となった。
グラフトン公爵は1766年4月に辞任したが、その理由について貴族院で「私的な娯楽を楽しもうとするためというのは誤報である。(辞任の理由は)力が欲しいためであり、その力を与えられるのはただ1人(大ピット)だけである。」と述べ、さらに「これまでは将軍の職杖を手にしていたが、あの有能で偉大な大臣の下にならば根掘りくわや踏みすきを手に取る用意がある」(though he had carried a general's staff, he was ready to take up a mattock or spade under that able and great minister)とも述べた。
1756年11月に国王ジョージ2世の寝室侍従(英語版)に任命されたが、1758年6月初に辞任した。1756年12月にバラブリッジ選挙区(英語版)とベリー・セント・エドマンズ選挙区(英語版)の両方から庶民院議員に選出され、後者の代表として議員を務めた。翌1757年5月6日に祖父が死去したため、グラフトン公爵をはじめとする爵位を継承し、貴族院へ移籍した。爵位継承直後にサフォーク統監(英語版)に任命された。庶民院の在籍期間が半年にも満たなかったため活動がほとんどなく、採決での投票も1回しか行わなかった。
1760年にジョージ3世が即位すると、その寵臣である第3代ビュート伯爵ジョン・ステュアートが重用されたが、グラフトンはビュート伯爵に反対して野党に回った。1762年12月、七年戦争の予備講和条約に反対票を投じたことでサフォーク統監から解任されたが、1769年に再任され、以降1790年まで務めた。
この徴税案とはガラス、塗料、紙、茶に輸入関税をかけることであり、「タウンゼンド諸法」と呼ばれた。グラフトン公爵はチャタム伯爵に助言と議会への出席を求めたが、1767年5月31日に2人が会談した結論は徴税案を続けることと、北部担当国務大臣のヘンリー・シーモア・コンウェイに庶民院対策を任せることだった。
チャタム伯爵の病状が悪化する中、グラフトン公爵は辞任か、政務の責任を負うかの選択を余儀なくされたが、このときに後者を選んだため、英国人名事典ではチャタム伯爵内閣が1767年9月より「グラフトン公爵内閣」と呼ばれるようになったとしている。同9月にタウンゼンドが死去するとノース卿フレデリック・ノースが後任として財務大臣に就任、12月にはそれまでチャタム伯爵に反対されていた対米強硬派ベッドフォード派(英語版)の入閣(具体的には第2代ゴア伯爵グランヴィル・ルーソン=ゴアが枢密院議長に就任した)が決定した。
対植民地強硬派閣僚が増えていく中、対植民地政策で穏健なチャタム伯爵は内閣で孤立し、1768年10月に辞職に追い込まれた。グラフトン公も政策面ではチャタム伯爵に近い立場だったが、彼は政権に残留し、代わって組閣の大命を受けた。