Han var gift med Sara Moss (1706-1767, begravet 4. juli samme år i Strømsø), datter av kjøpmann i Bragernæs, Nils Pedersen Moss og Maren f. Norup. De hadde 2 døtre og 2 sønner som ble offiserer; den ene var Niels Harbou.