Уолтер-младший родился, по разным данным, в 1319 году или около 1330 года и стал единственным сыном. Он впервые упоминается в качестве обвиняемого в суде в 1340 году. 8 июля 1341 года Пейвли унаследовал часть имущества своего дяди Генри Бергерша. В последующие годы он активно участвовал в войне на континенте, получившей позже название "Столетняя война". Под началом своего дяди Бартоломью Бергерша Пейвли служил в Бретани в 1342 и 1345 годах (в частности, вместе с сэром Уолтером Мэнни находился в 1342 году в Ренне); в 1343 году пребывал в Гаскони, в 1346 году сражался при Креси рядом с Чёрным принцем. В 1347 году Уолтер вместе со своим двоюродным братом Бартоломью Бергершем участвовал в осаде Кале, в 1349 году снова был в Гаскони, в 1351 году служил под началом Генри Гросмонта на море, в 1355 году воевал на юге Франции, а в 1358 году — в Бретани. В 1356 году он сражался при Пуатье. За свои военные заслуги в 1348 году Пейвли был избран одним из первых рыцарей ордена Подвязки.