Berge ble ansatt som direktør i Oljedirektoratet i 1990, men tiltrådte ikke stillingen før ved årsskiftet 1997, ettersom han var stortingsrepresentant og kommunal- og arbeidsminister. Han var styreleder i det statlige oljeselskapet Petoro 2007-2014.