I mellomtiden hadde Hugh de Despenser den yngre albuet seg inn og blitt en ny favoritt av Edvard og det ble utstrakt antatt at de to hadde seksuelt forhold på denne tiden. Hugh var på samme alder som Edvard. Hans far, Hugh den eldre, hadde støttet Edvard og Gaveston tidligere. Familien Despenser var bitre fiender av Lancaster, og med Edvards støtte økte de sin maktbase i Welsh Marches, en prosess som også gjorde dem til fiender av Roger Mortimer de Chirk og hans nevø Roger Mortimer av Wigmore, deres rivaler som herrer i dette området. Mens Isabella greide å få til et slags samarbeid med Gaveston, ble det økende grad klart at at hun fikk til et tilsvarende kompromiss med Hugh den yngre. Beklagelig for Isabella var hun fortsatt på kant med Lancasters fraksjon, noe som ga lite manøvreringsrom. I 1321 bevegde Lancasters allianse seg mot familien Despenser, sendte tropper inn i London og krevde at de ble landsforvist. Aymer de Valence, 2. jarl av Pembroke, en moderat baron med sterke franske bånd, ba Isabella om å intervenere i et forsøk på å forhindre borgerkrig. Isabella gikk offentlig ned på sine knær og tryglet Edvard om å forvise far og sønn Despenser, noe som ga ham en unnskyldning å gjøre dette uten å tape ansikt, men Edvard hadde til hensikt å tilbakekalle dem ved første anledning.