Han ble gift med Marie Katharina Seyler (1762–1833) i Hamburg i 1781. Hun var datter av den sveitsiskfødte teaterdirektøren Abel Seyler og vokste opp hos onkelen, naturforskeren og hoffapotekeren Johann Gerhard Reinhard Andreae i Hannover, som bl.a. var en venn av Benjamin Franklin. Sophies bror var bankieren Ludwig Erdwin Seyler (1758–1836), medeier og sjef for Berenberg Bank og inngiftet i bankierdynastiet Berenberg/Gossler.