Han var sønn av høyesterettsadvokat Johannes Bergh (1900–1956) og var bror til jazzmusiker Totti Bergh (1935–2012). Johs. Bergh var gift med jazzvokalisten Karin Krog. De har to barn Cathrine Bergh og Dot Elisabeth Bergh.