Han ble valgt til parlamentet i 1885 som representant for Berwick-on-Tweed. Han tjenestegjorde mellom 1892 og 1895 under Archibald Rosebery som understatssekreterær i utenriksdepartementet i Gladstones siste regjering. Under andre boerkrig (1899-1902) ble de liberale splittet i to leirer mellom de radikale pro-boerne og de liberale imperialistene. Grey stod fast på imperialistenes side sammen med Rosebery og Herbert Henry Asquith.