Hans første stilling var som personlig hjelpeprest i Modum i 1935, deretter hadde han ulike stillinger som vikarprest i Oslo bispedømme fra 1937 til 1940. Fra 1940 var Berge – sammen med Conrad Vogt-Svendsen – sjømannsprest i Hamburg, og ble der engasjert i hjelpearbeidet for de norske fangene i Tyskland. Lister over fanger som Berge og Vogt-Svendsen utarbeidet, dannet senere grunnlaget for aksjonen med De hvite bussene. Berge tjenestegjorde i Hamburg til 1946.