Nach dem Tod seiner Mutter erbte Despenser am 21. Juli 1337 deren Besitzungen, darunter Glamorgan mit Caerphilly Castle. Am 15. November 1338 wurde er als Baron by Writ in das Parlament berufen und somit zum Baron le Despenser erhoben. Während des Hundertjährigen Krieges kämpfte er 1340 in der Seeschlacht von Sluis. 1346 nahm er am Feldzug des Königs nach Nordfrankreich und an der Schlacht von Crecy teil.