Han var bror til skipsreder, Larviks-ordfører, russisk konsul og stortingsrepresentant for Høyre Thomas Arbo Høeg, som etablerte rederiet Ths. Høeg & Co A/S (nå Arbo Høeg) i Larvik i 1886, og var onkel til botanikeren Ove Arbo Høeg. Han var gift i første ekteskap med Nicoline Louise Paus' (1842–1885), datter av skipsreder Nicolai Nissen Pauss, og i andre ekteskap med Grethe Marie Nielsen, datter av kjøpmann Christen Nielsen.