Han var gift med Elisabeth Cathrine Rougtvedt (1755–1823). De var foreldre til bl.a. Marie Severine Blom (1778–1832), gift med eidsvollsmannen Didrich von Cappelen, Christine Johanne Blom (1782–1868), gift med statsråd Niels Aall, Andrea Blom, gift med generalmajor Peter Heinrich Butenschøn, Ellen Ulrica Blom, gift med Hans Jacob Hofgaard, Petronelle Margrethe Blom, gift med tollinspektør Anton Heinrich Scheel, skipsfører og skipsreder Andreas Rougtvedt Blom og skipsreder og dansk konsul i Skien Christopher Hansen Blom.