Джон де Грей был старшим сыном Джона де Грея из Ротерфилда (Оксфордшир) и его жены Маргарет де Одингселл. Он принадлежал к старинному рыцарскому роду, возводившему свою генеалогию к Аншетилю де Грею, участнику нормандского завоевания Англии. В довольно близком родстве с Джоном находились бароны Греи из Хитона, Ратина, Уилтона и Коднора. Отца Джона в 1297 году вызывали в королевский совет как лорда Грея из Ротерфилда.