Dopo la morte di Gaveston Edoardo si era preso un altro favorito, Ugo Despenser il giovane, accanto al quale stava suo padre Hugh le Despenser, I conte di Winchester, i favori accordatigli portarono di nuovo il paese alla rivolta che culminò nella Guerra dei Despenser combattuta fra il 1321 e il 1322. Edmondo giocò un ruolo chiave nella sua soppressione e quando Bartholomew de Badlesmere, Lord Steward, passò alla fazione nemica Edoardo nominò Edmondo Lord guardiano dei cinque porti al posto di Badlesmere il 16 giugno 1321. Nel parlamento del luglio 1321 Edmondo stette brevemente dalla parte dei nobili quando appoggiò l'esilio dei Despenser, ma tornò sui propri passi asserendo di essere stato sotto costrizione e in novembre fece parte del concilio che ne annullava l'allontanamento.