Etter at Frederick Norths regjering falt i 1782 fikk Petty ansvar for det nydannede innenriksdepartementet. Da statsminister Charles Watson-Wentworth døde uventet bare noen få måneder senere ble han utnevnt til ny statsminister. Charles James Fox nektet å akseptere Pettys regjeringsovertakelse, og trakk seg fra regjeringen sammen med sine støttespillere. En av dem som ble trukket inn som erstattere var den 23 år gamle William Pitt den yngre. Fox og North, som tidligere hadde vært bitre fiender, fant nå sammen i opposisjon, og i 1783 hadde de tilstrekkelig støtte i parlamentet til å tvinge fram et regjeringsskifte mot kongens ønske.