Kong Georg III begynte også å mistro ham, og vendte seg imot Bute etter å ha blitt kritisert for en offisiell tale som pressen gjenkjente som Butes eget verk. Bute hadde også vært forslagstiller for en kontroversiell ciderskatt som førte til betydelig fiendskap og til dels opprør i nettopp de områdene som framstilte cider. Striden førte til at Bude ble ytterligere upopulær, og ved midten av 1763 gikk han av som statsminister. Hans etterfølger George Grenville gjennomførte uansett skatten og beseiret opposisjonen i februar 1764. Hensikten med skatten var å skaffe inntekter for å betale for en fast britisk militær tilstedeværelse i koloniene. Sukkerskatten og stempelmerkeloven som ble pålagt amerikanerne ble foreslått av Bute, men gjennomført av Grenville. Regjeringen kjempet for skatten for redde ansikt mens den parlamentariske opposisjonen angrep den for å skaffe seg folkelig oppslutning. Det var på denne tiden at myten oppsto om at kongen og Bute sammensverget for endre konstitusjonen og innføre enevelde. Opposisjonen angrep Bute ved å henvise til hans skotske bakgrunn og slekt; hans navn Stuart, som spilte på frykten for jakobittopprør; og hans nærhet til dronningmoren. 1700-tallets faste uttrykk «Jack Boot» hadde betydningen en tåpelig person, og i henhold til historikeren John Naish hadde det sin opprinnelse i en nedsettende vurdering av Butes omdømme som statsminister.