Джордж Спенсер (1799—1864), младший сын 2-го графа, перешёл из англиканства в римско-католическую веру, стал священником и принял имя «Отец Игнатий Сент-Паул». Он работал в качестве миссионера и являлся кандидатом на беатификацию. Его старший брат, Фредерик Спенсер, 4-й граф Спенсер, был флотоводцем, придворным и политиком-вигом. Вначале он служил в королевском флоте, участвовал в войнах против Наполеоновской Франции и Греческой войны за независимость. Дослужился до чина вице-адмирала и стал рыцарем Ордена подвязки в 1849 году. Его сын, Джон Спенсер, 5-й граф Спенсер (1835—1910), известный как «Рыжий граф», поскольку его отличительной чертой были длинная рыжая борода, был близким другом премьер-министра Уильяма Гладстона. Он дважды занимал пост лорда-лейтенанта Ирландии (1868—1874, 1882—1885), был лордом-председателем Совета (1880—1883, 1886) и первым лордом Адмиралтейства (1892—1895). В 1864 году он стал рыцарем Ордена подвязки.