Hugh Despenser den yngre var nå godt forskanset som Edvards nye favoritt og fortrolig, kanskje også som elsker, og over de neste fire årene drev de sammen et hardt undertrykkende styre av England, en «feiende hevn» preget av konfiskering av land, utstrakt fengsling, henrettelser og straffeforfølgelser av utvidete familiemedlemmer, inkludert kvinner og eldre. Dette ble fordømt av samtidens kronikører og det synes å ha skapt bekymringer også hos Isabella, da flere av de enkene som ble forfulgt var blant hennes venner. Hennes forhold til Despenser den yngre fortsatte å forringes, Despenserne nektet å betale de penger de skyldte henne eller levere tilbake hennes festninger ved Marlborough og Devizes. Faktisk har ulike forfattere pekt på at det er antydninger til Hugh Despenser den yngre kan ha forsøkt å angripe henne selv på et vis. Det er åpenbart at Edvard etter slaget ved Boroughbridge begynte å behandle henne langt mindre sjenerøst og hun ble ikke belønnet av noe av krigsbytte. Senere det samme året ble Isabella fanget inn i enda et nederlag da Edvard på nytt forsøkte å rette opp tidligere nederlag i Skottland med en ny militær kampanje. Det kom til varig å forgifte hennes forhold til ektemannen og Despenserne.