Семейные владения были относительно невелики и к тому же разбросаны по нескольким графствам. Поэтому Грей, как и его отец, стремился повысить свой статус за счёт военной службы. Он участвовал в походах короля Эдуарда III в Шотландию в 1334, 1336 и 1338 годах, позже сопровождал короля в Нижние земли (1338—1340), а в 1341 году снова сражался на севере. В 1345—1346 годах барон в качестве рыцаря-баннерета сопровождал Генри Гросмонта в Аквитании, где развернулась война с французским королём. 26 августа 1346 года Грей сражался при Креси, позже под началом Гросмонта осаждал Кале (1347), воевал во Фландрии (1348), в Нормандии и Бретани (1355); только ради реймсской кампании 1359—1360 годов он перешёл под командование Джона Гонта, графа Ричмонда (зятя Гросмонта). Сэр Джон стал кавалером ордена Подвязки, в 1353 году он выполнял обязанности военного комиссара в Дербишире и Ноттингемшире, в 1359 или 1360 году был назначен хранителем замка Рочестер в Кенте.