Bergesen var først gift med Caroline Berentsen, datter av forretningsmann Erik Berentsen i Stavanger. Hun døde i 1858, etter ett års ekteskap. Dette ekteskapet var barnløst. I 1859 giftet han seg med Martha Marie Sophie Søeborg Jensen (født i Ålesund i 1830), datter av distriktslege Peter Øllbye Jensen og Petrine Susanne Essendrop. Hun var utdannet lærerinne i København og ansatt som lærerinne ved borgerskolen i hennes hjemby Ålesund. Hennes mor drev i sin tid en ansett og kjent barneskole i hovedstaden.