Mens hans statsmannsrolle var utspilt, vedble han dog å bevare politiske interesser. Hans brudd med Bernstorff hadde vært bestemmende for hans synsmåte i den følgende tid, og skjønt han så å si ble utstøtt av statsrådet i 1773, hadde han dog i den følgende tid nærmest sympati for Guldberg og hans meningsfeller. Det lønnet seg for ham, for så vidt som han, etter i 1774 å bli utnevnt til gehejmekonferensråd, deretter i 1782 oppnådde å bli justitiarius i Højesteret og i 1783 fikk Elefantordenen. Noen år senere (1788) ble han forflyttet til stillingen som overpresident i København, men avgikk fra denne i 1794, og døde noen år senere. Hva han hadde av formue, omkring 29 000 riksdaler, testamenterte han til Sct. Hans Hospital.