V roce 1766 se oženil s hraběnkou Marií Annou Kolonicsovou (1744–1802). Měli spolu devět dětí, z nichž minimálně dvě zemřely v dětství. Synové František Gotthard (1769–1796) a Karel Gotthard (1774–1793) padli ve válkách s revoluční Francií. Dědicem majetku byl nejstarší syn Josef Gotthard (1767–1844).