Die Spannungen, die es unter Eduard II. in England zwischen dem König und dem Adel gab, wurden durch die Bevorzugung Despensers, den schmachvollen Fehlschlag des Feldzugs von 1319 gegen Schottland und zuletzt durch Despensers Expansionsbestrebungen in den Welsh Marches verschärft. Als Despenser 1320 die Herrschaft Gower von dem verschuldeten Baron William de Braose kaufen wollte, kam es zum Widerstand der anderen Marcher Lords unter Führung von John Mowbray, dem Schwiegersohn von Braose, der um sein Erbe fürchtete. Dem Bündnis der Marcher Lords gegen Despenser gehörten unter anderem Humphrey de Bohun, 4. Earl of Hereford, Roger Mortimer of Wigmore, Maurice de Berkeley und Hugh de Audley an. Im Oktober 1320 besetzte Mowbray Gower. Der König intervenierte und zwang Mowbray bis Ende des Jahres, Gower unter die Verwaltung des Königs zu stellen. Damit fürchteten die Marcher Lords nicht nur die Bestrebungen Despensers, sondern auch um ihre Privilegien in den Welsh Marches. Im sogenannten Despenser War eroberte und plünderte das vereinte Heer der Marcher Lords im Mai 1321 Despensers Besitzungen in Südwales. Der Earl of Lancaster schloss sich der Rebellion an. Im August 1321 marschierten die Rebellen mit ihrem Heer nach London. Im Parlament erhoben sie schwerwiegende Beschuldigungen gegen Despenser und seinen Vater: Beeinträchtigung der königlichen Macht, Verhinderung des Zugangs zum König ohne ihre Anwesenheit, Einsetzung korrupter Beamter und Veruntreuung des Besitzes der Tempelritter. Der jüngere Despenser wurde dazu der widerrechtlichen Ermordung des Rebellen Llywelyn Bren beschuldigt. Der Earl of Pembroke, einer der gemäßigten Barone, riet dem König, den Forderungen der Rebellen nachzugeben, und am 14. August stimmte der König im Parlament der Verbannung der Despensers aus England zu. Die Rebellen wurden dagegen am 20. August für ihre Vergehen während des Kriegs vom Parlament begnadigt.