Berg speelde jarenlang in Engeland, bij Manchester United en Blackburn Rovers. Met die laatste club won Berg de Premier League in het &lt;a href="Engels%20voetbalkampioenschap%201994/95"&gt;seizoen 1994/95&lt;/a&gt; en de League Cup in 2002. In de finale tegen Tottenham Hotspur (2-1) was Berg aanvoerder omdat Garry Flitcroft geschorst was. Hij beëindigde zijn loopbaan in 2004 bij Glasgow Rangers. Berg stapte nadien het trainersvak in en was achtereenvolgens coach van FC Lyn, Lillestrøm SK en Blackburn Rovers. Berg was amper 57 dagen in dienst als trainer-coach van Blackburn. In tien wedstrijden werd onder zijn leiding maar één overwinning behaald, waarna de clubleiding ingreep en de Noor ontsloeg. In het seizoen 2020-2021 is hij trainer van Ominio Nicosia op Cyprus, een van de tegenstanders van PSV in de EuropaLeague.