V Campbell-Bannermanově vládě byl jmenován ministrem zahraničí a funkci si udržel i v následující Asquithově vládě (1905–1916), stal se tak nejdéle úřadujícím britským ministrem zahraničí ve 20. století, po téměř čtyřiceti letech byl také prvním zahraničním ministrem, který nebyl peerem. Jeho nevýhodou pro výkon funkce byla neznalost cizích jazyků, uměl pouze anglicky a při jednáních se zahraničními diplomaty musel používat tlumočníky. Na rozdíl od předchozích konzervativních vlád, které vnímaly Rusko jako hrozbu, Edward Grey prosadil spojenectví s Ruskem v zájmu zachování velmocenské rovnováhy v Evropě. Spojenecká smlouva s Ruskem byla podepsána v roce 1907. Později se podílel na mírovém urovnání druhé marocké krize a řešení stavu po balkánských válkách, v roce 1912 uspořádal konferenci velvyslanců v Londýně. V roce 1912 obdržel Podvazkový řád. Mezitím také navštívil Německo a několikrát jednal s německým císařem Vilémem II. Sám byl odpůrcem válečného konfliktu, ale zahraniční politiku musel podřídit komplexním zájmům Británie v zájmu uchování velmocenského postavení a v létě 1914 oznámil vstup Spojeného království do válečného stavu s Německem a Rakouskem-Uherskem. Greyovým posledním významným počinem byl podpis Sykes-Picotovy dohody dohody o rozdělení vlivu Francie a Británie v Malé Asii v květnu 1916. S celou Asquithovou vládou odstoupil v prosinci 1916.