Bergh studerte med Fartein Valen. Han komponerte blant annet to strykekvartetter, en strykekvintett, en duo og en trio for strykere, korverk, konsert for klarinett og orkester, flere kantater. Korverket «And Death Shall Have No Dominion» (1976) til tekst av Dylan Thomas regnes som hans hovedverk. Han ble to ganger tildelt NOPA-prisen Årets verk: for «Fanitullen» i 1968 og for «Mini-kantate» i 1970.