Etter å ha lært klarinett gikk han over til saksofon i 1952 og spilte en del i Amerikabåten. Han var i besetningen til Einar Schanke (1955–56), Kjell Karlsen (1956–64), Rowland Greenberg (1960-64, 1974-81), Per Borthen (1966–). Videre spilte han i ektefellen Laila Dalseths orkestre. Senere spilte Bergh tenorsaksofon og sopransaksofon i Christiania Jazzband (fra 1990) og i Christiania 12 (fra 1992).