Peder Nilsen Høeg var far til seilprodusent Ole Alsing Høeg (1814–1876), som igjen var far til seilprodusent, skipsreder og stortingsrepresentant Peter Hannibal Høeg og skipsreder, skipsmegler, russisk konsul, Larviksordfører og stortingsrepresentant Thomas Arbo Høeg, som grunnla rederiet Arbo Høeg. Thomas Arbo Høeg var far til botanikeren Ove Arbo Høeg.