Damory est considéré par les autres barons d'Angleterre comme un favori avide. L'Angleterre se trouve à ce moment-là dans une situation difficile à cause des défaites militaires contre l'Écosse et la Grande famine de 1315-1317. Ces crises, additionnées aux faveurs que fait pleuvoir le roi sur ses courtisans, attirent le mécontentement des grands barons du royaume, dont le chef de file est Thomas Plantagenêt, 2 comte de Lancastre. Damory et Lancastre sont hostiles l'un à l'autre : en , Lancastre occupe les châteaux royaux de Knaresborough et d'Alton, tous deux administrés par Damory. Il accuse également le favori de vouloir attenter à sa vie. En , les barons modérés Aymar de Valence, 2 comte de Pembroke, et Bartholomew de Badlesmere envoient à Damory une lettre dans laquelle ils lui demandent de refuser les nouveaux dons que lui fait le roi. En , Lancastre et les favoris d'Édouard parviennent à un compromis lors de la signature du traité de Leake.