Etter at Spania inngikk den bourbonske familiepakten med Frankrike i 1761, gikk Pitt inn for krig mot Spania. Da kongen og de fleste ministrene motsatte seg dette, gikk Pitt av 5. oktober 1761. Georg gav ham da en årlig pensjon på 3 000 pund sterling, og hans hustru, lady Hester Grenville, fikk tittelen baronesse Chatham. Som leder av opposisjonen angrep Pitt heftig både måten fredsforhandlingene ble ført på og Parisfreden i 1763. I konflikten mellom regjeringen og de amerikanske koloniene like etter tok Pitt parti for koloniene, og forsvarte kolonienes rett til politiske friheter med glødende veltalenhet.