Da han vendte tilbake til Sverige, var Gustav III blitt konge. Kong Gustav lot ham være ved hoffet og ga ham titulærembeter. I 1782 ble han , i 1783 og i 1785 medlem av kansellikollegiet med ansvar for pommerske og wismarske saker. Ved hoffet var han en avholdt selskapsmann og leilighetsdikter. Selv om forholdet til kongen etter hvert ble kjøligere, kom han med i hertug Karls krets, og ble en ivrig frimurer. I 1786 ble han medlem av Svenska Akademien som en av de tretten opprinnelige medlemmene valgt ut av Gustav III selv, og samme år ble han utnevnt til riksråd og kansellipresident. Han var æresmedlem av Kungliga Vitterhets Historie och Antikvitets Akademien fra 23. mai 1786. I navnet var han kongens utenriksminister, men i virkeligheten tok Gustav selv hånd om utenrikspolitikken. I 1788 måtte han følge kongen til Finland under krigen med Russland. På sensommeren samme år grep han imidlertid inn i begivenhetene, da han trodde kongen kom til å abdisere. Sammen med Ruuth, Taube, Armfelt og andre deltok i en plan med det formål å tvinge kongen til å slutte fred og inngå i en forsvarsallianse med Danmark og Russland.