Despensers militärische Karriere begann bereits 1355, als er während des Hundertjährigen Kriegs im Gefolge seines Schwiegervaters am Feldzug des Schwarzen Prinzen in der Gascogne und am 19. September 1356 an der Schlacht von Poitiers teilnahm. Er blieb vermutlich bis März 1357 in Südwestfrankreich und kehrte im folgenden Monat mit dem Schwarzen Prinzen nach London zurück. Am 15. Dezember 1357 wurde er als Baron by Writ in das Parlament berufen und damit zum Baron le Despenser erhoben. Als König Eduard III. im Oktober 1359 seinen letzten Feldzug nach Frankreich unternahm, gehörte Despenser zum königlichen Heer, und er blieb mindestens bis 1361 in Frankreich. 1361 wurde er in den Hosenbandorden aufgenommen.