Par la suite, les forces anglaises sont repoussées d'Écosse par Robert Bruce après une défaite retentissante à Bannockburn en 1314 et une grande famine apparaît : le mécontentement envers croît pendant les années qui suivent. Face à ces échecs, le roi doit céder quelque temps une partie de son pouvoir à l'opposition baronniale. La famille Despenser, en particulier Hugues le Despenser « le Jeune », devient proche d'Édouard, mais en 1321, Lancastre et ses alliés s'emparent des terres des Despenser et contraignent le roi à les exiler. En réponse, conduit une campagne militaire éclair, à l'issue de laquelle il fait capturer puis exécuter Lancastre. Le roi et les Despenser renforcent leur mainmise sur le pouvoir, en révoquant formellement les réformes de 1311, en faisant exécuter leurs ennemis politiques et en leur confisquant leurs possessions.