Harsdorff giftet seg i 1770 med enken Elisabeth (Elsebeth) Margrethe Braun, født Fortling, datter av Jacob Fortling. Paret fikk tre barn hvorav to døtre overlevde; den ene døde ugift i 1802, den andre giftet seg og førte slekten videre under navnet Schaper.