La carrière militaire de Despenser débute dès 1355, pendant la guerre de Cent Ans. Il combat aux côtés d'Édouard de Woodstock en France et est présent à son éclatante victoire à Poitiers le . Édouard le Despenser reste en Gascogne jusqu'en , date à laquelle il appareille pour Londres avec le Prince Noir. En récompense de ses services, il est créé baron en . Despenser accompagne le roi Édouard III lors de sa dernière chevauchée en 1359-1360. Il est fait chevalier de l'ordre de la Jarretière en 1361.