I 1321 benyttet Humphrey og andre adelige det urettmessige drapet Llywelyn som symbol på Despensernes tyranni. Humphrey, Hugh D'Audley, Roger D'Amory og andre adelige sendte et opprop med klager til kongen hvor de krevde Despenser fjernet. Da kongen nektet gikk adelen til opprør og herjet eiendommene til Despenser i rundt ti dager. Humphrey tok med seg alle sønnene til Llywelyn i sin tjeneste. Edvard ble tvunget til forvise far og sønn Despenser for en tid som han benyttet til å samle tropper til å gå imot opprørene. Også Thomas Plantagenet, 2. jarl av Lancaster, tidligere en av kongens støttespillere og hans fetter, slo seg sammen med opprørene.