Bergh ble født i Tvedestrand og tok graden cand.philol. ved Universitetet i Oslo i 1973. Han var direktør for Arbeiderbevegelsens arkiv og bibliotek fra 1989 til 1999 og var deretter forskningsleder ved Institutt for innovasjon og økonomisk organisering ved Handelshøyskolen BI.