Adelcrantz tilhørte Hattepartiet, der var den ene af de dominerede grupper i den svenske Riksdag i Frihedstiden. Derfor kom han i skudlinjen, da det konkurrerende parti, Huepartiet, kom til magten i Riksdagen i 1771. Huerne anklagede ham bl.a. for en kommission på grund af en ubetydelig ændring i slottets byggeplan. Kong Gustav III's statskup året efter sikrede imidlertid Adelcrantz' position og hans fortsatte uforstyrret sit arbejde.