Han ble gift i første ekteskap 6. november 1842 i Trankil i Värmland med Märtha Persdotter (født 1823 i Skenhall i Värmland). Etter hennes død ble han gift i andre ekteskap 5. oktober 1855 i Berg i Østfold med Grethe Caroline Harridsleff (født 1829 i Berg), datter av kjøpmann i Frederikshald Peter Harridsleff (1794–1872) og Else Lem Hount, og barnebarn av prost og eidsvollsmann Peter Ulrik Magnus Hount. Han hadde tre barn i sitt første ekteskap og to barn i sitt andre ekteskap. Datteren fra første ekteskap Nora Martha Petersen (1845–1887) var gift med Saugbrugsforeningens bruksbestyrer Theodor Christian Haagaas (1823–1899). Blant deres etterkommere er skolemannen Theodor Haagaas, forleggeren Henrik Groth, motstandskvinnen Henriette Bie Lorentzen, tidligere arbeids- og velferdsdirektør Joakim Lystad og forlagsmannen Nils Johan Schjander. Datteren fra første ekteskap Emilie Petersen (1849–1909) var gift med bruksforvalter ved Cathrineholms Jernværk og proprietær Robert Edgren, sønn av rittmester og brukseier August Edgren og Göthilda Laura af Geijerstam. Blant deres etterkommere er flyveren og alpinisten Andreas Wyller (som etablerte Wyllerløypa), Tone Bjørneboe (gift med Jens Bjørneboe), teaterkritikeren Therese Bjørneboe og matematikeren John Wyller.