Omtrent rett etter at Spencer forlot Cambridge ble han valgt til parlamentet fra South Northamptonshire som liberal, før hans avreise for en rundtur i Nord-Amerika. Han returnerte i desember 1857, noen få dager innen hans fars død, som gjorde han til den nye jarlen av Spencer. Han ble tatt i ed i Privy Council i 1858 og ble slått til Knight of the Garter i 1864. Spencer skilte lag med andre whig-aristokrater blant liberalene i 1866 på grunn av Russells reformforslag, som han støttet, og hans lojalitet ble belønnet med utnevnelsen til stattholder i Irland da Gladstone kom tilbake til makten i 1868. Irland kom til å bli en viktig oppgave for resten av Spencers lange politiske karriere. I denne første perioden som stattholder, måtte han håndtere gjennomføringen av den irske kirkeloven av 1869 og av den irske jordloven i 1870, som han begge støttet sterkt. Spencer gikk faktisk lenger enn de fleste av sine ministerkolleger, inkludert Gladstone selv, i å argumentere for etablering av statlige domstoler til å håndheve rettferdige leier på irske landeiere.