82年垮台后，辉格党的罗金汉勋爵第二次上台组阁，但在任仅数月而病故，结果乔治以谢尔本勋爵为新首相。不过，辉格党政要查尔斯·詹姆士·福克斯却拒绝在谢尔本勋爵的内阁供职，并要求英王委以波特兰公爵为首相。到1783年，下议院成功迫使谢尔本下野，其政府遂由福克斯-诺斯联盟所取代。这个政府由波特兰公爵任首相；福克斯任外相；诺斯勋爵任内务大臣，但波特兰公爵仅是政府有名无实的首脑，实权则握于福克斯及诺斯勋爵二人手上。乔治三世对于任命一些他不愿意的人士到内阁供职感到苦恼，但波特兰的内阁很快就在下院建立起优势，使他不易撤换