Townshend satt også i Rockinghams (1765-1766) og, som skattkammerkansler, i Chathams ministerier, og fikk under den sist nevntes alvorlige sykdomssvakhet stadig større innflytelse. Han ble regjeringens sterke mann, noe han stadig utnyttet på en måte som ettertiden har bedømt som skadelig for koloniene. Han fikk ry på seg som brillant og elokvent finanspolitiker, men også etterhvert som uten et godt utviklet politisk instinkt.