Джон де Грей принадлежал к старинному рыцарскому роду, основатель которого, Аншетиль де Грей, участвовал в нормандском завоевании и получил земли в Центральной Англии. Джон был старшим сыном Ричарда де Грея, 2-го барона Грея из Коднора, и Джоан Фицпейн, дочери Роберта Фицпейна, 1-го барона Фицпейна. Он родился примерно в промежутке между 1305 и 1311 годами в главной семейной резиденции — замке Коднор в Дербишире. После смерти отца в 1335 году Джон унаследовал его земли и баронский титул.