Han var sønn av sogneprest Peter Munch. I 1809 giftet han seg i med Johanne Sofie Hofgaard fra Skjeberg i Østfold. De fikk 11 barn. Han var far til historiker og professor Peter Andreas Munch, og farfar til maleren Edvard Munch.