Da kronprinsen, den senere Frederik VI i 1784 skulle opptas i statsrådet, lot Høegh-Guldberg seg selv oppta i rådet for å bevare makten. Men kronprinsen avskjediget Høegh-Guldberg på stedet og sendte ham til Århus som stiftamtmann, et embete han skjøttet godt til han fikk avskjed i 1802.