El 1766 el rei el va proposar com a substitut del primer ministre i va acceptar. En aquest retorn, el títol de comte de Chatham li va permetre estar a la Cambra dels Lords en lloc de la Cambra dels Comuns, tanmateix això li va fer perdre suport del poble. Una de les primeres decisions va ser efectuar un embargament sobre el comerç de cereals, cosa que va creure necessària per a la desastrosa collita d'aquell any. La decisió va tenir una forta oposició. Tot seguit li va arribar la notícia de la declaració d'independència de les colònies americanes i no va saber com reaccionar. La decisió de posar un impost sobre el te i altres productes per pressionar els colons va ser idea de Charles Townshend. Pitt va començar a tancar-se al seu despatx i a no voler rebre ningú; es rumorejava que la gota l'havia portat a la demència. Va dimitir, però va tornar a la política el 1770.