Herman var gift med Engel Brun. De hadde 2 barn, Hans Johannes Brun og Johan Herman Brun.