Han ble gift 2. september 1773 med Ingeborg Lind (1746–1827), og hadde 8 barn. Mette Brun (1774-1844) gift med Jens Rolfsen, eidsvollsmann og forretningsmann Rasmus Rolfsen (1803-1867) gift med sin kusine Jannicke Brun (1809-1893) Nordahl Rolfsen Alf Rolfsen Ingeborg Rolfsen gift med James Grieg, hanskefabrikant Peter Lexau Grieg Nordahl Grieg, forfatter Harald Grieg, forlagsdirektør Johanne Grieg Cederblad, forfatter Ingeborg Rolfsen Grieg (1899-1944), forfatter under pseudonymet Sissel Aas Christen Brun (1778-1847), stiftstprost gift med Anna Elisabeth Suhling (1778-1860), 13 barn Jannicke Brun (1809-1893) gift med sin fetter Rasmus Rolfsen (1803-1867) Jacob Bentzon Brun (1807-1889), bakermester Søren Martens Brun, militær Viggo Brun (1885-1978), professor i matematikk Sven Brun (1812-1904), prest Christen Brun (1846-1917), biskop Johan Lyder Brun (1802-1865) prost gift med Karen Claudine Pavels (1802-1874; datter av Claus Pavels) Christen Brun (1828-1905), kunstmaler og konsvervator Johan Nordahl Brun (1839-1909), sogneprest Johan Lyder Brun (1870-1950) professor i teologi Blant etterkommerne er blant andre lesebokforfatteren Nordahl Rolfsen, maleren Alf Rolfsen, forfatteren Nordahl Grieg, høyesterettsadvokat Wilhelm Münter Rolfsen, forleggeren Else Lill Bjønnes og motstandsmennene og brødrene Didrik («Dixe») Cappelen og Hans («Hasse») Cappelen. Skuespilleren Rolf Berntzen var Nordahl Bruns tipptippoldebarn og fikk sammen med sin kone bosette seg i den tidligere bispeboligen som da ble flyttet til Gamle Bergen, samme huset som Nordahl Brun hadde bodd i som biskop.