对方为头号敌人，其中福克斯更多次极力谴责诺斯，使外界有舆论认为福克斯为了重返政府才不惜一切与诺斯修好。尽管乔治三世极力阻止，但在得到托利党及以福克斯为首的辉格党反对派支持下，他们在1783年4月2日在下院取得足够优势，成功使谢尔本政府垮台。这个「福克斯-诺斯联盟」掌政后选择由波特兰公爵担任首相，但大权则落在分别出任内政大臣的诺斯勋爵及外务大臣福克斯身上。而这次也是乔治三世自登位以来，首次没有参与其中的组阁行动。面对英国在美国独立战争中大败，再受福克斯与诺斯的组阁打击，乔治三世曾一度心灰意冷而有意退位。