Jeho manželkou byla od roku 1799 hraběnka Marie Terezie Schlabrendorfová (1781–1862), c.k. palácová dáma a dáma Řádu hvězdového kříže, s níž měl osm dětí. Dědicem rodového majetku byl syn Jindřich (1804–1854). Z dcer se Karolína (1811–1875) provdala za generála hraběte Františka Lamberga (1790–1848), který byl zavražděn v Budapešti během revoluce v roce 1848. Nejmladší z dcer Sidonie (1818–1898) byla manželkou hraběte Prokopa Lažanského z Bukové (1809–1875).