V roce 1770 se oženil s Margaret Leveson–Gower (1753–1824), dcerou 1. markýze ze Staffordu. Z jejich manželství se narodilo deset dětí, z nichž tři zemřely v dětství. Dědicem hraběcího titulu byl syn George, další syn Frederick Howard (1785–1815) padl v bitvě u Waterloo. Dcera Isabella (1771–1848) byla manželkou 1. lorda Cawdora, další dcera Elizabeth (1780-1825) se provdala za 5. vévodu z Rutlandu.