Spencer continuó su carrera política a pesar de su elevación a los Lores y su servicio, sobre todo en el período desde 1859 hasta 1866, en la familia Real, primero como mozo de cuadra para el Príncipe Alberto, y luego para el Príncipe de Gales.