Isabella sørget for å være adskilt fra Edvard fra denne tiden og lot ham leve sammen med Hugh Despenser. Mot slutten av 1322 forlot hun hoffet for å reise på en ti måneders pilegrimsferd rundt i England. Da hun kom tilbake besøkte hun kortvarig kongen, men nektet å avlegge troskapsed til Despenserne og ble fjernet fra prosessen å gi kongelig understøttelse. Ved slutten av 1324 da spenningene vokste mellom Frankrike og England, konfiskerte Edvard og Despenserne alle besittelser som tilhørte dronningen, overtok driften av hennes husholdning, og arresterte og fengslet alle franske i hennes stab. Hennes yngste barn ble fjernet fra henne og plassert i forvaring hos Despenserne. Ved dette tidspunkt synes det som om Isabella oppga ethvert håp om forsoning med Edvard var over, og hun begynte å overveie radikale løsninger.