Bergersen måtte tidlig ut i arbeidslivet. Sju år gammel begynte han som gjetergutt, og ved tretten års alder fikk han arbeid ved Fredrikstad Dampsag & Høvleri. Her var han med korte avbrudd ansatt i rundt tjue år. Han var metodistisk kristen og opprinnelig venstremann, «i en tid da begge deler ble betraktet som radikalt». Etter hvert ble han medlem av Arbeiderpartiet. Han var sentral i å få etablert fagforening og i aksjoner for å få tariffavtale. Dette førte til at han mista jobben i 1907. Fra da til 1911 var han omreisende agitator, dels for avholdssaken, dels for arbeiderbevegelsen. I 1911 blei han forretningsfører for kretssykekassen i Borge, og fra 1918 til sin død var han statsrevisor.