Spencer giftet seg med Lavinia Bingham (1762–1831), datter av Charles Bingham, 1. jarl Lucan, den 6. mars 1781. De hadde ni barn: John Charles Spencer, 3. jarl Spencer (1782–1845) Lady Sarah Spencer (1787–1870), gift med William Lyttelton, 3. Baron Lyttelton, de hadde ingen barn. Hon. Richard Spencer (1789–1791), døde som spedbarn. Kaptein Hon. Sir Robert Cavendish Spencer (1791–1830), døde ugift. Hon. William Spencer (f. og d. 1792), døde som spedbarn. Lady Harriet Spencer (f. og d. 1793), døde som spedbarn.