Edward Grey var det eldste av oberst George Henry Grey og Harriet Jane Pearsons elleve barn. Hans farfar, George Grey, 2. baronet av Fallodon, var også en framtredende liberal politiker, og hans farfars far, George Grey, 1. baronet, av Fallodon, var Charles Grey, 1. earl Greys tredje sønn og yngre bror av statsministeren Charles Grey, 2. earl Grey. Edward Grey fikk sin utdannelse i Winchester og ved Balliol College i Oxford.