No obstante, tuvo que afrontar considerables desacuerdos dentro del mismo Parlamento, y fue sustituido en 1766 por William Pitt, a quien el rey nombró conde de Chatham.