Berge vokst opp i bydelen Øvre Blåsenborg i Stavanger som nest-yngste i en søskenflokk på åtte. Faren Håkon Berge døde da sønnen var seks år, og moren Bertine forsørget da familien ved å jobbe i hermetikkindustrien.