Regresó en diciembre de 1857, unos pocos días antes de la muerte de su padre, dejándolo a él como el nuevo Conde Spencer.