Grey was goewerneur van Suid-Australië van 1841 tot 1845 en van daardie jaar af van Nieu-Seeland, waar hy baie bygedra het tot die kolonie se vooruitgang. Hy kom in 1854 na die Kaap en was gewild by die Engelse en Hollandse koloniste asook die swart bevolking sodat hy die reputasie as "die beste goewerneur van alle tye" gekry het. Hy het deur die Kaapkolonie, die Oranje-Vrystaat en Natal gereis en vrede gesluit met Moshoeshoe en Adam Kok III.
Die goewerneur het die bou van 'n eerste spoorlyn in die Kaap aangemoedig en 'n groot bedrag geld geskenk vir die stigting van die eerste skool noord van die Oranjerivier, die latere bekende Grey-kollege in Bloemfontein waaruit die Universiteit van die Vrystaat ontstaan het. Hy het ook hospitale vir swart mense laat bou om die invloed van toordokters teen te werk en sy private biblioteek aan die inwoners van die Kaapkolonie geskenk.
In 1859 word hy ontslaan omdat hy 'n beweging vir die vereniging van Suid-Afrika voorgestaan het. Nadat hy in ere herstel is, is hy na sy ou amp in Nieu-Seeland gestuur in 1861. Hy word later lid van die Nieu-Seelandse parlement en was eerste minister van 1877 tot 1879.
Grey was die Goewerneur van die Kaapkolonie van 5 Desember 1854 tot 15 Augustus 1861. Hy het in 1855 Grey-kollege in Bloemfontein gestig en in 1856 die Hoërskool Grey in Port Elizabeth. In Suid-Afrika het Grey met ’n ferm hand oor die inboorlinge gewerk en was daarop uit om vir hulle afsonderlike land te gee vir hul eksklusiewe gebruik. Hy het meer as een maal opgetree as arbiter tussen die regering van die Oranje-Vrystaat en die inboorlinge en het uiteindelik tot die gevolgtrekking gekom dat ’n gefedereerde Suid-Afrika die beste vir almal sou wees. Die Oranje-Vrystaat sou hierby inval en die Zuid-Afrikaansche Republiek waarskynlik ook. Grey was egter sy tyd 50 jaar vooruit en die koloniale owerhede wou nie sy voorstel aanvaar nie. Hul instruksies ten spyt, het Grey voortgegaan om ’n unie te propageer.