Spencer tjenestegjorde for det meste av perioden 1859 til 1866, i kongehuset, som Groom til prins Albert først, og deretter til Prinsen av Wales. I 1876 var han vert for Østerrikes keiserinne Elisabeth som hadde kommet til Northamptonshire for å drive jakt. Keiserinnen bodde på Easton Neston som hun leide gjennom sin søster, eks-dronning Maria av De to sicilier.