Etter Georgianas død i 1851 giftet han seg 9. august 1854 for andre gang med Adelaide Horatia Seymour (1825–1877), datter av Horace Seymour og oldedatter av Francis Seymour-Conway, 1. marki av Hertford. De hadde 2 barn: Victoria Alexandrina Spencer (1855–1906), gift med William Mansfield, 1. vicomte Sandhurst. Paret fikk ingen barn. Charles Robert Spencer, 6. jarl Spencer (1857–1922).