Im Despenser War 1321 führte König Eduard II. eine Kampagne gegen die Mortimers, damals eine potentiell rebellische Familie von Marcher Lords, durch. Nach einem kurzen Krieg belegte die Krone Bridgwater Castle bis 1326, damit Roger Mortimer, 1. Earl of March die Burg nicht als Operationsbasis nutzen könnte, wenn er aus der Haft entfliehen oder von seinem Exil in Frankreich zurückkehren würde. Roger Mortimer kehrte aus Frankreich zurück, und zwar mit Eduards Gattin Isabelle. Als Eduard und Isabelle den Thron bestiegen hatten, gaben sie die Burg an die Mortimers zurück, die aber den Unterhalt vernachlässigten und den Burggraben teilweise verfüllen ließen. Nur die St-Mark-Kapelle und eine Scheune wurden repariert, bis in den 1380er- und 1390er-Jahren auch die Türme, das Torhaus und die Barbakane wieder verstärkt wurden. Bis 1450 waren private Wohnhäuser innerhalb der Burgmauern errichtet worden und der militärische Wert der Festung schwand dahin.