V roce 1798 se v Praze oženil s hraběnkou Marií Gabrielou Desfoursovou (1771–1840), vdovou po hraběti Františku Wallisovi (1769–1794), který padl ve válkách proti Francii. Z jejich manželství pocházely dvě dcery. Starší Josefína (1802–1881) se provdala za knížete Karla II. Schwarzenberga, mladší Gabriela (1804–1880) byla manželkou knížete Josefa Ditrichštejna. Gabriela dostala z otcovského dědictví cennou sbírku drahokamů a bývalé klášterní panství Žďár nad Sázavou, všechen ostatní majetek (panství Čimelice, Osov, Tochovice a nemovitosti v Praze) dostala Josefína, která tak významně přispěla k rozšíření majetku orlické větve Schwarzenbergů.