Lord Spencer var gift to ganger. Han giftet seg første med sin kusine, Georgiana Poyntz (1799–1851), den 23. februar 1830. De hadde tre barn: Georgina Frances Spencer (1832–1852), døde ugift. John Poyntz Spencer, 5. jarl Spencer (1835–1910). Sarah Isabella Spencer (1838–1919), døde ugift.