首相退任時ノースはいまだ49歳だったので政界からの引退は考えてはいなかった。庶民院内にはいまだ彼を支持する保守派議員が数多くいた。1782年秋の庶民院勢力図はシェルバーン伯爵派(政府派)140議席、ノース卿派120議席、フォックス＝ポートランド派90議席、独立系・去就不明200議席となっていた。ノースに再起の野望があることが判明すると政府もフォックス派も彼への接近を図った。ノースは選べる立場にあったが、1783年に入った頃には急進派のフォックスとの同盟に傾いていた。そして同年2月14日のノースとフォックスの会談によって両者の連合が確認された。正反対と見られていた両派の連携は世間を驚かせた。その背景は第一にはノースの権力欲、加えてノースがアメリカ独立戦争敗戦の失政の弾劾から逃れたがっていたことがある。世間向けの大義名分として政府の講和条約反対があったこともある。この両派の連携で1783年2月19日と21日の議会でシェルバーン伯爵内閣の講和条約案非難決議が可決され、シェルバーン伯内閣は総辞職に追い込まれた。これにより国王ジョージ3世は、しぶしぶ第3代ポートランド公爵ウィリアム・キャヴェンディッシュ＝ベンティンクを名目上の首相とするフォックス＝ノース連合に組閣の大命を与えた。ノース卿は同内閣に内務大臣として入閣した。しかしジョージ3世は急進的で共和主義者のフォックスを忌み嫌い、このことを裏切りとして許さなかった。この内閣が倒れたその年の12月でノースの閣歴は終わった。この連立内閣の大きな成果の一つはアメリカ独立戦争を終わらせるパリ条約に署名したことだった。新しく首相になったウィリアム・ピット（小ピット）は長持ちするとは考えられず、ノースは声に出してピットを批判し、再度首相に復帰できる望みを抱いていた。しかしピットはその後20年間も政界に君臨し続け、ノースとフォックスは野党のままだったので、憤懣が募ることになった。
国内議会においては1780年後期からノース内閣の立場は若干回復していた。アメリカ南部での戦局が比較的安定していたためだった。しかし1781年夏になると南部の戦況もイギリスの劣勢が目立ち始めた。コーンウォリス伯はヨークタウンへ撤退したが、ニューヨークから派遣されたイギリス艦隊はフランス艦隊に阻まれて現地に到着できず、ヨークタウンで孤立したコーンウォリス伯は1781年10月19日に降伏した。これは独立戦争のイギリスの敗戦を決定づけた。コーンウォリス伯降伏の報は1781年11月下旬にイギリス本国に伝わり、本国政界はすさまじい衝撃を受けた。これはノース内閣にとって致命的打撃となった。野党の批判が高まったのはもちろんのこと、政権内部も分裂し、まず1782年2月にジャーマインが辞職に追い込まれた。しかし野党の政府批判の機運はもはやこれだけでは収えられなかった。同年2月22日にはアメリカでの戦争終結を求める動議が提出された。同動議は234対215で否決されたが、同月27日には同じような内容の動議が再度提出されて今度は234対215で可決された。さらに3月8日と3月15日にはノース内閣不信任案が提出された。どちらも僅差で否決されているものの、もはや庶民院におけるノースの求心力は無くなったことは明白だった。ノースは3月20日をもって首相職を辞した。ノース卿の辞職後、第二次ロッキンガム侯爵内閣が成立したが、同年7月にロッキンガム侯は死去。国王ジョージ3世の人選によってシェルバーン伯爵内閣が成立したが、フォックス派はそれに反発して下野した。皮肉な事に1782年はノース卿やサンドウィッチ伯が採用した政策が大きくものを言って海軍が勝利し、戦争はイギリスに再度傾きかけた。1783年にイギリスはノースが辞めさせられたときよりもかなり有利な休戦条件を設定する事ができた。
板東俘虜収容所跡地のうち、東側の約1/3は現在「ドイツ村公園」となっており、当時の収容所の基礎（煉瓦製）や給水塔跡、敷地内にあった二つの池や所内で死去した俘虜の慰霊碑が残されている（残る西側は県営住宅や一般の住宅地になっている）。2007年11月から2011年にかけて鳴門市教育委員会による発掘調査が行われ、地中に埋まっていた建物の基礎などが再確認された。2012年4月に調査報告書がまとめられ、収容所が存在した当時に捕虜によって作成された測量図通りに遺構が発見されたと記載された。鳴門市は2014年度に国の史跡への指定申請をおこなう予定であったが、発掘成果のとりまとめに時間がかかり、2018年度を目標とすることが2015年2月に報じられた。鳴門市では2015年度に収容所敷地の確定作業を実施し、地権者の同意を確認して申請をおこなうとしている。2018年6月、国の文化審議会から板東俘虜収容所跡を史跡に指定する旨の答申がなされ、同年10月15日付けで指定された。なお、史跡指定の対象は元の敷地（5万7000平方メートル）のうち、国・徳島県・鳴門市が所有する約3万7000平方メートルである。また、徳島県は板東俘虜収容所関係資料のユネスコ記憶遺産への申請を目指し、2016年度から3年間の予定でプロジェクトを予算化した。住宅に転用されたバラッケには解体後、民間に払い下げられたものがあった。長らくその所在は明確ではなかったが、2002年に倉庫や牛舎として再利用されているバラッケが発見され、現在までに同様に再利用された建物は8カ所発見されている。最初に再発見された2つのバラッケ（安藝家バラッケ・柿本家バラッケ）は2004年に国の登録有形文化財に登録された。このうち柿本家バラッケは2006年にドイツ館南側の「道の駅第九の里」に解体・移築され、店舗施設「物産館」として利用されている。地元ではその後発見されたものも含めた建物を元の場所へ移築復元することを目標としたNPO法人が2008年10月に結成された。映画『バルトの楽園』撮影に際して2005年に板東に建設され、撮影終了後2009年2月まで公開されたロケセット（BANDOロケ村）はドイツ村公園とは別の場所で規模も実際とは異なるが、2010年4月に一部を移築の上で「阿波大正浪漫 バルトの庭」として再公開するにあたり、現存する実際のバラッケ1棟も敷地内に移築・公開された。「阿波大正浪漫バルトの庭」は2015年5月6日限りで閉園したが、施設の今後については未定となっている。