Cuando se opuso al proyecto de ley de Impuestos Especiales, una impopular medida impulsada por Walpole, éste, que retiró la propuesta al ver que la oposición liderada por Chesterfield iba a tumbar la medida, lo convirtió en su enemigo.