トマス・ペラム＝ホリス (初代ニューカッスル公爵)
しかし、これをピークにプロイセンのヨーロッパ大陸での勢いは止まり、彼らの人気はカナダにおけるフランスの根拠地であるケベックを占領したこの年以降はしだいに下降に転じていった。
さらに、ジョージ2世が1760年に崩御、孫のジョージ3世が即位すると、その家庭教師役を務めていた第3代ビュート伯爵ジョン・ステュアートが国務大臣に任じられ、発言力を増した。国王とビュート伯爵は七年戦争の早期講和を目指しており、完全勝利まで戦争続行を主張する大ピットと対立を深めた。1761年8月にフランスとスペインが同盟を締結すると、大ピットはスペインにも宣戦布告することを要求したが、国王とビュート伯爵はそれに反対した。ニューカッスル公爵も財政が持たないことと国民の厭戦気分が高まっている事を理由にスペインとの開戦には反対、孤立した大ピットは10月に辞職した。
大ピットが閣内を去るとビュート伯爵の権勢は更に増し、ニューカッスル公爵も閣内で孤立しはじめた。スペインとは結局1762年1月に戦争になったが、ビュート伯爵はその戦費を捻出するためにニューカッスル公爵のプロイセンへの供与金続行案に反対した。ニューカッスル公爵にビュート伯爵を押しとどめる力はもはやなく、プロイセンへの供与金廃止が決定されるに及んで5月に辞職した。後任の首相にはビュート伯爵が就任した。1762年末までにニューカッスル公に近い政治家はほとんどが政府役職を更迭されている。
しかし、フランスは1756年5月、トゥーロンに大軍を集結させ、地中海に浮かぶ英領ミノルカ島に上陸させた(セント・フィリップ砦包囲戦)。イギリスは5月17日にフランスに対して宣戦布告した(七年戦争)。しかし、ミノルカ島奪還に派遣されたジョン・ビング率いる艦隊は敗北し(ミノルカ島の海戦)、ミノルカ島は6月28日に占領された。これに世論が激昂し、ニューカッスル公爵とビングに対する批判が高まった。ビング提督は軍法会議にかけられて銃殺刑に処せられた。ニューカッスル公爵はビングに全責任を押しつけ、彼を軍法会議にかけることで保身を図ったが、イギリス軍は北アメリカでも敗戦を重ねたため、批判熱は収まらなかった。内閣に見切りを付けたフォックスは庶民院院内総務を辞職。ニューカッスル公爵は大ピットに協力を要請するも拒否され、総辞職は避けられなくなった。
11月に内閣総辞職、代わって第4代デヴォンシャー公爵ウィリアム・キャヴェンディッシュが首相に就任したが(ピット=デヴォンシャー公爵内閣)、事実上の指導者は大ピットだった。しかし、ニューカッスル公爵を排除して作られたこの政権は与党内の支持を広げられず、1757年4月に国王から更迭された。