Durch die Misserfolge des Königs bei den Konflikten in der Gascogne und in Schottland wuchs die Unzufriedenheit über die Willkürherrschaft von Despenser. Der sogenannte Krieg von Saint-Sardos in der Gascogne von 1323 bis 1325 war zwar letztlich eher unbedeutend, doch für König Eduard II. und die Despensers hatte er unkalkulierbare Konsequenzen. Der König war unfähig oder unwillig, sein Reich zu verlassen, um einen Frieden zur Beendigung des Konflikts zu schließen, so dass er im März 1325 seine Königin Isabella, die Schwester des französischen Königs Karl IV., als Vermittlerin nach Frankreich sandte. Die Königin konnte einen Frieden aushandeln, wozu der König dem französischen König als Lehnsherrn für die Gascogne huldigen sollte. Der König wollte nun immer noch nicht nach Frankreich reisen, erlaubte aber seinem Sohn und Thronfolger Eduard an seiner Stelle, König Karl IV. zu huldigen. Nach der Huldigung kehrten jedoch weder die Königin noch der Thronfolger nach England zurück. Im Januar 1326 schrieb die Königin an John Stratford, den Bischof von Winchester, dass sie nicht eher nach England zurückkehre, bis die Despensers vom Hof entfernt würden. Despenser muss die Gegnerschaft gegen seine Herrschaft gespürt haben, denn er wandte sich an den Papst, da er sich von schwarzer Magie bedroht fühlte. Im Mai 1326 trafen zwei päpstliche Legaten in England ein, die Despenser zwei Briefe des Papstes überbrachten. Im ersten Brief wurde Despenser aufgefordert, die Aussöhnung von König und Königin zu unterstützen, während er im zweiten allgemein aufgefordert wurde, bessere Beziehungen zu unterhalten. Im Grunde waren die Briefe eine Aufforderung an Despenser, sich vom Hof zurückzuziehen. Der König ließ die Legaten daraufhin festsetzen. Nachdem er sie in Dover Castle befragt hatte, verließen sie wieder England.