V roce 1754 se ve Vídni oženil s uherskou šlechtičnou hraběnkou Marií Terezií Kolonicsovou (1733–1802). Z jejich manželství se narodilo třináct dětí, pět z nich zemřelo v dětském věku. Hlavním pokračovatelem rodu byl nejstarší syn Rudolf (1761–1823), druhorozený Ladislav (1764–1793) padl ve válkách s revoluční Francií jako důstojník jezdectva. Nejmladší syn Eugen Kleofáš (1766–1841) zdědil Velké Heraltice.