Da North i mars 1782 måtte gå av, trådte Fox inn i Rockinghams kabinett som utenriksminister. Der befant han seg imidlertid fra starten av i uhjelpelig politisk og personlig konflikt med Shelburne, som på sin lott hadde fått forhandlingene med kolonistene i Nord-Amerika, mens fredsforhandlingene i Paris med Frankrike og Spania stod under Fox' oppsikt. Denne konflikt foranlediget Fox' avgang, da Shelburne etter Rockinghams død i juli samme år ble dennes etterfølger, etter at Fox forgjeves hadde prøvd å få kongen til å gi hertugen av Portland ledelsen av kabinettet. Kort derpå begikk Fox det for ham selv og hans parti kanskje mest skjebnesvangre feilsteget under hele hans politiske karriere. For å styrte Shelburne, som imidlertid var whig likesom han selv, allierte han seg nemlig i 1783 med torypartiets anfører North, hvis statskunst og hele politiske personlighet han tidligere hadde angrepet med stor skarphet. Likesom sin nye forbundsfellet opptrådte han kort derpå i parlamentet mot de av regjeringen avsluttede fredssonderingene med Frankrike og Spania, selv om disse sonderinger hadde gav så gode vilkår som England under de davarænde forhold kunne ha begjært.