Han fikk først undervisning i arkitektur av arkitekt J. G. Løser. Deretter undervisningen på Den kongelige Tegneskole under Hans Ditlev Franciscus von Linstows ledelse. I 1823 ble Høegh ansatt av Linstow som dessinatør (teknisk tegner) ved Det kongelige slott. Årene 1825–1826 var han arbeidsleder på Hadeland for brudd av kleberstein til slottet. Som assistent for Linstow var han med på gjenreisingen av Grue kirke og utførte detalj- og interiørtegninger. Han var assistent hos Linstow fram til 1828, da han vikarierte som stadskonduktør i Christiania for Christian H. Grosch. Årene 1829-1830 var han byggeleder ved oppførelsen av Immanuelskirken og Latinskolen i Frederikshald (Halden) etter Groschs tegninger.