Многие английские лорды были недовольны возвышением королевских фаворитов. Глава оппозиции Томас Ланкастерский в 1317 году занял два замка, принадлежавших Дамори, а позже обвинил Роджера в организации покушения на его жизнь. Двое умеренных оппозиционеров, Бартоломью Бэдлсмир, 1-й барон Бэдлсмир, и Эмер де Валенс, 2-й граф Пембрук, в ноябре того же года направили Дамори письмо с просьбой быть более умеренным, когда он принимает подарки короля. Позже решающее влияние на короля приобрёл Диспенсер, женившийся на ещё одной даме из рода Клеров (сестре Элизабет) и решивший захватить всё наследство. Перед лицом этой угрозы Дамори перешёл на сторону оппозиции. В 1321 году он примкнул к лордам Валлийской марки, поднявшим мятеж (это была "Война Диспенсеров"), а после их капитуляции бежал на север, к Томасу Ланкастерскому. В сражении с королевским войском при Бертон-Бридже Роджер был тяжело ранен и попал в плен. Как изменник он был приговорён к смерти, но тут же получил помилование от Эдуарда II, который по-прежнему чувствовал к нему симпатию. Спустя три дня Дамори умер от раны.