Han var sønn av fogd i Solør og Odalen Dines Guldberg Høegh, som omkom i brannen i Grue kirke i 1822, og hustru Pauline Lovise Juell. Hans bror Ole Peter Riis Høegh var en av Norges første sivilt utdannede arkitekter, og hans søster Hervora Høegh fikk en etterslekt som har gjort seg gjeldende innen rederinæringen, som farmor til Leif Høegh og Carl Høegh.