Als wegen der englischen Besitzungen in Südwestfrankreich ein neuer Krieg mit Frankreich drohte, entzog ihr der König auf Drängen der Despenser im September 1324 die Verwaltung ihrer Ländereien und damit ihre Einkünfte. Die Begründung hierfür war, dass sie möglicherweise mit ihrem Bruder, dem französischen König Karl IV. sympathisierte und diesem eine Landung auf ihren Besitzungen ermöglichen würde. Eduard II. gewährte ihr stattdessen täglich acht Mark für ihre laufenden Ausgaben sowie £ 1000 jährlich für die Kosten ihres Haushalts. Nach anderen, aber falschen Angaben erhielt sie täglich nur 20 Shilling. Auf jeden Fall war Isabelle nun finanziell von ihrem Mann abhängig geworden und musste aus finanziellen Gründen viele ihrer Freunde und französischen Diener entlassen. Ende September entzog ihr der König auch die Aufsicht über die Erziehung ihrer drei jüngeren Kinder. Dazu musste sie Eleanor de Clare, eine Nichte des Königs und Frau des jüngeren Despenser, als Hofdame in ihren Haushalt aufnehmen. Eleanor diente als Agentin der Despenser, was dazu führte, dass Isabelle ohne ihr Wissen keine Briefe mehr schreiben und versenden konnte. Isabelle war nun nahezu eine Gefangene, und die Ehe zwischen ihr und dem König war praktisch gescheitert. Als Despenser erfuhr, dass Isabelle in Kontakt mit den oppositionellen Bischöfen Adam Orleton und Henry Burghersh stand, soll er angeblich den Mönch "Thomas Dunhead" an den Papsthof gesandt haben, um den Papst um die Auflösung der Ehe von Isabelle mit dem König zu bitten.