Джон родился 9 или 29 октября 1300 года в Ротерфилде. В 1311 году он потерял отца, от которого унаследовал семейные владения (главным образом в Оксфордшире и Йоркшире). В 1321 году Грей был признан совершеннолетним; с этого момента он участвовал в походах в Шотландию (1322, 1323, 1327), в боевых действиях в Гаскони (1325). В 1330 году Джон был посвящён в рыцари.