Da Whiggene kom til makten under lord John Russell i 1846, ble lord Spencer utnevnt til Lord Chamberlain of the Household. Han ble tatt i ed i Privy Council det samme året. Han trakk seg som Lord Chamberlain i 1848, men vendte tilbake til offentlig tjeneste som Lord Steward of the Household tidlig i 1854 under lord Aberdeen, en post han holdt inntil kort før hans død i 1857, de siste to årene under lord Palmerston. Han ble gjort til Knight of the Garter i 1849. Han ble også forfremmet til kontreadmiral i 1852 og til viseadmiral (i reserven) i 1857.