Rosebery gikk av som partileder 8. oktober 1896. Han utviklet seg bort fra sitt eget partis holdninger, men forsøkte ved en tale i Chesterfield i desember å komme tilbake til aktiv politikk. Han hadde imislertid støttet boerkrigen og gått imot irsk home rule, og dermed var han aktuell som ministermateriale da de liberale vant tilbake regjeringsmakten i 1905.