Джон де Грей принадлежал к старинному рыцарскому роду, основатель которого, Аншетиль де Грей, участвовал в нормандском завоевании и получил земли в Центральной Англии. Джон был вторым сыном Генри де Грея из Ротерфилд Грейса в Оксфордшире и его жены Изабеллы Бардольф; дата его рождения неизвестна. После смерти отца в 1219 году большая часть его владений досталась старшему сыну Ричарду; Джон же получил только поместье Ширланд в Дербишире. Позже (до 1232 года) Грей женился на вдове Джона Сегрейва, единственной дочери Роджера де Кауз, и благодаря этому получил земли в Бакингемшире и Бедфордшире. Наконец, второй или третий брак, заключённый в 1251 году, принёс ему владения в Девоне и других графствах.