Helge Ole Bergesen var sønnesønn av skipsreder Ole Bergesen (1891–1955) og sønn til jurist Ole Bergesen (1916–1965).