不愿意的人士到内阁供职感到苦恼，但波特兰的内阁很快就在下院建立起优势，使他不易撤换内阁。此外，乔治对于政府引入《印度草案》，计划将印度政府的管治权力由东印度公司转移到一批国会专员，也表现得非常不满。下院通过有关草案后不久，乔治就授权坦普尔勋爵，着他通知上议院贵族，表示谁投票通过草案，谁就是他的敌人，结果草案在他的恐吓下被上院否决。三日后，波特兰内阁垮台，由小威廉·皮特接任首相，而坦普尔勋爵也一同到内阁供职。在1783年12月17日，国会通过一项动议，谴责皇室在国会投票背后施加影响，形同「重大罪行」，坦普尔勋