ジョージ・ジャーメイン (初代サックヴィル子爵)
1770年11月にグレンヴィルが死去すると、今度はロッキンガム侯爵がジャーメインを自派に引き入れようとし、ジャーメインを1771年1月から2月にかけての自派の会合に招待したが、ジャーメインはロッキンガム派(英語版)の政見に賛成しておらず、1772年末にイギリス東インド会社の規制をめぐる法案でノース内閣を支持して野党だったロッキンガム派を失望させた。
その後の2年間には特定の会派に属しなかったが、1773年5月にロバート・クライヴを擁護するなど議会での演説を精力的に行い、『英国下院史(英語版)』はこの時期をジャーメインの演説者としての影響力が最も大きかった時期であるとして、中でも1774年初の米州植民地に関する演説を影響力の最も大きい演説とした。
1774年初にはボストン茶会事件によりボストン港法(英語版)やマサチューセッツ政府法(英語版)などの対策法が可決されたが、ジャーメインは1774年5月2日の演説でこれらの施策を擁護、「近くに座っている名誉ある紳士(ヘンリー・シーモア・コンウェイ)は論争が些細な事柄、すなわち税金に関するものであると述べた。誰がこのような主題に論議するか?ただ税金を諦めるだけでアメリカを沈静化できるならば、[...]その方策に飛びついて、平和、そして母国と植民地の意志疎通を促進すべきではないか?しかし、今税金を諦めたら、[...]私たちはグレートブリテンの憲法から離れることになる。ここで立場を堅持しなければ、私たちのうち最も有能の人でも(本国の)主権を支持する根拠を見つけられないだろう。[...]ここで退いたら、あいつらは全ての権利を主張して、私たちの議会(Parliament)をあいつらの議会(assembly)に取り替えるだろう。」と述べた。
さらに「陛下に対し、何らかの軍事的な職務をもって奉仕する能力がない」(unfit to serve his majesty in any military capacity whatever)と判定され、陸軍における昇進の道を完全に閉ざされた上、国王ジョージ2世がサックヴィルを枢密顧問官から除名するよう命じた。
この不遇期について、後年にホレス・ウォルポールが回想したところによると、「イングランドにおいて、人目のつくところでジョージ卿(サックヴィル)の隣に座ったり、彼に話したりする勇気があったのは私、サー・ジョン・アーウィン(英語版)、そしてブランド氏の3人だけだった」という。スコットランド貴族の第3代アーガイル公爵アーチボルド・キャンベル(英語版)は「彼はスコットランド人の友人です。彼の悪口は言わないようにしましょう」と述べ、王太子ジョージもサックヴィルの処遇を「異例であり、我が国の憲法に違反する」としたが、ウォルポールとサックヴィル自身を除き、だれもがサックヴィルの政治生涯が終わりを告げたと考えた。
1755年に少将に昇進、1757年に兵站副総監(英語版)に任命され、同年に第3カラビニアーズ連隊隊長から第2(王妃)竜騎衛兵隊(英語版)隊長に転じた。同1757年にジョン・モードント(英語版)率いるロシュフォール襲撃に関する調査委員会の委員に任命され、翌年に第3代マールバラ公爵チャールズ・スペンサー率いるサン・マロ襲撃で副指揮官の1人を務めた。遠征軍はカンカルで上陸したのちサン・マロに進軍、いくらかの船舶の積荷を燃やした後サン・マロに戻ったが、フランスの大軍が接近していると知ると急いで乗船した。続いてシェルブール=オクトヴィルに向かうものの、天候が悪かったため艦隊の指揮官リチャード・ハウは攻撃を行うべきでないと判断、ワイト島に戻った。