Han var sønn av skipsreder og ordfører Ole Bergesen, sønnesønn av Sigval Bergesen d.e., oldebarn av Ole Bergesen (1832–1899) og far til Helge Ole Bergesen. Ole Bergesen tok examen artium ved Kongsgård skole i 1937 og ble cand.jur i 1941.