В 1910 году ему наследовал сводный брат, Чарльз Спенсер, 6-й граф Спенсер (1857—1922), который в 1905 году получил титул виконта Элторпа из Грейт-Брингтона в графстве Нортгемптоншир, став пэром Соединённого королевства. В 1905—1912 годах он занимал должность лорда-камергера. В 1913 году был награждён Орденом подвязки. В 1922 году ему наследовал сын, Альберт Спенсер, 7-й граф Спенсер. В 1975 году его сменил сын, Джон Спенсер, 8-й граф Спенсер. Он женился в 1954 году на Фрэнсис Рут Рош (1936—2004). Среди их детей была Диана Спенсер (1961—1997), которая в 1981 году вышла замуж за принца Чарльза Уэльского.