Townshends forslag ble imidlertid forkastet, og han ble nødt til å fratre (mars 1763). Men han kom snart tilbake inn i kabinettet og drev igjennom med George Grenville dennes kjente dokumentavgift (1765), noe som ble innledningen til de forviklinger som kostet England dets amerikanske kolonier.