Han hadde giftet seg i 1767 med Juliane Bang (1748–1834). Sammen fikk de sønnene Benoni og Jacques d'Aubert, som også var officerer.