Da de liberale dannet regjering i 1905 ble Elgin koloniminister. Som koloniminister førte han en konservativ politikk, og var en motstander av det generøse forslaget til løsning av Sør-Afrika-spørsmålet som ble foreslått av statsminister Henry Campbell-Bannerman. Forslaget ble gjennomført, til tross for koloniministerens motstand.