Høegh-Guldberg vokste opp i beskjedne kår i Horsens, hvor faren Jørgen Pedersen Høegh var bedemann. Hans onkel var prest og sørget for at han fikk studere, slik at han i 1754 fikk teologisk embetseksamen. Etter at han hadde vært professor ved Sorø Akademi, ble han i 1764 lærer for arveprins Frederik, sønn av Frederik V og Juliane Marie.