Berge var i mange år Venstre-representant fra Lister og Mandals amt (nå Vest-Agder). Han møtte på Stortinget fra amtet 1892–1894 og 1898–1912 (fra 1909 for Frisinnede Venstre). Han var generalsekretær i Venstre 1899–1901, president i Odelstinget 1905, finansminister i Christian Michelsens regjering 1906–1907, kirkeminister i Jørgen Løvlands regjering 1907–1908, finansminister i Wollert Konows regjering 1910–1912 og i Otto B. Halvorsens andre regjering 1923.