Han ble valgt til overoppsynsmann for Auckland Province i 1875 og til medlem av parlamentet i valget i 1875. Grey motsatte seg avskaffelsen av provinsene, men hans motstand viste seg å være ineffektiv og provinssystemet ble avskaffet i 1876. Grey ble så parlamentsmedlem for Thames i 1876. Nederlaget til Harry Atkinson som statsminister den 13. oktober 1877 gjorde at Grey ble valgt til statsminister av parlamentet. Hans regjering fungerte ikke særlig godt. Grey forsøkte å dominere regjeringen og havnet i konflikt med guvernøren. Hans periode som statsminister regnes av historikere som mislykket. Mot slutten av 1879 fikk Greys regjering problemer på grunn av skattlegging av land. Til slutt ba Grey om et tidlig valg i 1879. Grey hadde nå dårlig helse og han trakk seg tilbake fra politikken i 1890 og dro til Australia. Da han returnerte til New Zealand, ba en delegasjon ham om å stille opp for Newton–setet i Auckland som han ble valgt til uten motstand. I desember 1893 ble Grey igjen valgt for Auckland.