Han var tilbake som kolonisekretær i 1874 og satte i gang med å innføre selvstyre for Kappkolonien på samme måte som han hadde gjort for Canada. Han tok for seg konseptet imperialisme i Afrika ved mange anledninger mens han hadde embetet. Han trakk seg i 1878 i opposisjon til Disraelis politikk i det østlige spørsmål, men da hans parti returnerte til makten i 1885, ble han Irlands stattholder. Hans korte periode i posten, kjent for en konflikt i et samvittighetsspørsmål mellom ham og Charles Stewart Parnell som hadde med hans forhandlinger med sistnevnte ovenfor hjemmestyre, ble avsluttet av enda en for tidlig oppsigelse. Han returnerte aldri til embetet.