Han deltok første gang på fylkesårsmøte i Arbeiderpartiet i 1916, stilte på Arbeiderpartiets liste ved valget i 1919, og var varaordfører i Ytre Rendal i 1920–22 og 1929–31. Berger gikk av som ordfører i desember 1955, på grunn av sykdom, og ble etterfulgt av varaordføreren Erik Husfloen.