Spencer, sammen med de påfølgende , Chichester Fortescue og Spencers egen fetter, Lord Hartington, støttet tvangslovgivning for å håndtere økningen i jordbrukskriminalitet, men støttet samtidig en politikk om å løslate feniske fanger (irsk brorskap) når det var mulig. Spencer måtte også ta tak i Gladstones irske universitetslov i denne perioden. På tross av Spencers innsats for å sikre støtte fra det katolske hierarkiet for loven, resulterte det i nederlag i underhuset i mars 1873 fordi de motsatte seg det. Regjeringen fortsatte ytterligere ett år, frem til valgnederlaget i februar 1874, da Spencer også mistet sin post. Da Gladstone kom tilbake til makten med sin andre regjering i 1880, gikk Spencer med i regjeringen som Lord President of the Council, som har ansvaret for utdanningspolitikk, og var delvis ansvarlig for flere store utdanningsreformer i den perioden. Den stadig mer spente situasjonen i Irland, krevde en økende del av Spencers tid. Gladstones beslutning i mai 1882 om å slippe den irske nasjonalistpartilederen Charles Stewart Parnell fra fengsel, førte til at den hardere , W. E. Forster, sa opp sin post. Som et resultat av dette, ble Spencer Lord President mens han fortsatt beholdt sin ministerpost, og ble igjen utnevnt til stattholder for å overta ansvaret for regjeringens irske politikk.