Berge underviste da ved en av de to katolske skolene i Kristiania (St. Olafs skole, 1890-1895), og ble i 1895 kateket i den katolske menighet i Harstad. I 1898-99 er familien på Altagård, den gamle amtsgården i Alta, som fortsatt var i katolsk eie. Der virket han som lærer og vikarierte for presten. Han var også agent for avholdsbevegelsen.