Han var sønn av Ole Alsing Høeg (1814–1876), eier av Drammens eldste bedrift, Peter Høegs seilmakeri (grunnlagt 1767), og var sønnesønn av Peder Nilsen Høeg (1768–1818), som overtok seilmakeriet fra pleiefaren Ole Abrahamsen Dahle. I 1870 brant seilmakeriet og gamle Høeg kom sterkt til skade. Peter Hannibal Høeg overtok da ledelsen av bedriften, som etterhvert ble Norges største seilprodusent i seilskipenes glanstid, med 32 ansatte som sydde seil for hånd. Han var også skipsreder.