Johan Ernst Berg var gift med , datter av prost Erik Schytte og søster til prost og stortingsmann Arnoldus Schytte. Hun hadde tidligere vært gift med fogd Jon Rygh og ble etter Bergs død gift med distrikslege Johan Friedrich Winter.