Foreldrene var oberst i Nordenfjeldske Dragonregiment Jacob Harboe (1736–1824) og Cecilia Marie Meyer. Han ble selv gift med danskefødte Julie Gertrude Mourier (1790–1840) i 1810. Hennes far var Ferdinand Louis Mourier, fra Sveits, professor og prest i den reformerte kirke i København. Henrik og Julie bodde i Arendal under hans amtmannsembete, og de fikk 7 barn inkludert Edvard Henrich Waldemar Harboe (1815-1894) (med etterkommeren Morten Harboe) og Lorentz Julius Torvald Harboe (1828-1867).