Isabellas forhold til Gaveston var komplisert. Baronenes opposisjon til Gaveston, fremmet særlig av Thomas av Lancaster, var økende, og Filip IV begynte i hemmelighet å finansiere denne fraksjonen ved å benytte Isabella og hennes husholdning som mellomledd. I en tid ble Edvard tvunget til å forvise Gaveston til Irland, og begynte å vise Isabella langt større respekt, foruten å gi henne betydelige landområder og støtte. Som svar begynte Filip IV å minske sin støtte til de engelske baronene. Gaveston kom imidlertid tilbake fra Irland, og ved tidsrommet 1309-1311 synes det som de tre sameksisterte stort sett greit. Faktisk betraktet Gavestons fremste fiende, Thomas av Lancaster, dronningen til å være en alliert av Gaveston. Isabella hadde begynt å skaffe seg sine egne støttespillere ved hoffet, hovedsakelig familien de Beaumont, i seg selv i opposisjon til huset Lancaster, og hadde sin opprinnelse fra Frankrike, som hun selv. Seniormedlemmet av familien, Isabella de Vesci, hadde vært en nær fortrolig til Edvards mor Eleonore av Castilla. Støttet av sin bror Henry de Beaumont, hadde Isabella de Vesci blitt en nær venn av dronning Isabella.