Mange av H.B. Petersons slekt har vært statsråder og/eller stortingsrepresentanter: faren Theodor Peterson, oldefaren Momme Peterson, morfaren Johan Frederik Thorne, morbroren Johan Thorne og fetteren Ole Rømer Sandberg.