Berge var innvalgt på Stortinget fra Rogaland fra 1969 til 1993. Han var finansminister 1986–1989 og kommunalminister 1992–1996. Han var parlamentarisk leder for Arbeiderpartiets stortingsgruppe 1990–1992. I 2021 ble han æresmedlem i partiet.