Han giftet seg den 10. juli 1671 med Anna Cathrine Mechlenburg (1649–1745), datter av landkommissær og assessor Willum Mechlenburg og Isabella de Brier. Sønnen Vilhelm de Tonsberg (1680–1731) ble stiftamtmann i Bergen og Akershus, datteren Elisabeth de Tonsberg ble gift med amtmann Niels Werenskiold.