Etter lærerskolen på Notodden opererte han som lærer i ulike skolekretser på Østlandet, inntil han i 1907 slo seg ned i Kviteseid. I 1908 ble han gift med Johanna Bugge, datter av den avdøde språkmannen og forskeren Sophus Bugge (1833–1907). Dermed fikk han tilgang til enda mer vitenskapelig materiale. Berge satt med deler av svigerfarens samlinger, mens Universitetet i Oslo mente at Bugges materiale burde tilfalle Norsk Folkeminnesamling. Helt siden han tonet flagg i desentraliseringsstriden i 1919 var Berge imot å samle alt innsamlet materiale i en sentral institusjon, og gikk i stedet inn for fylkes- og bygdesamlinger.