Berge representerte kretsen Tromsø, Bodø og Narvik på Stortinget 1904-06, der han var medlem av kirkekomiteen. På Stortinget representerte han Arbeiderpartiet, og var en av de fire aller første representantene dette partiet hadde på Stortinget. De andre tre var Alfred Eriksen, Meyer Foshaug og John Lind-Johansen. (Sosialisten Adam Egede-Nissen kom også inn på Storinget det året, på Venstres liste, men det tok enda mange år før han ble arbeiderpartipolitiker).