Im ersten Krieg der Barone wurde die Burg von König Johann Ohneland kontrolliert. Ihre Zerstörung wurde 1215 angeordnet, aber sie blieb erhalten. König Johanns Leutnant Falkes de Bréauté übernahm die Kontrolle der Burg und nach seinem Tod wurde die Zerstörung der Burg 1228 ein zweites Mal angeordnet, aber augenscheinlich erneut ignoriert. 1300 wurde Stogursey Castle von der Familie "FitzPayne" in Stein erweitert, aber in den 1450er-Jahren dann von Yorkisten in den Rosenkriegen zerstört. Im 17. Jahrhundert wurde auf dem Burggelände ein Wohnhaus errichtet. Es wurde in den 1870er-Jahren restauriert, fiel aber Ende des 20. Jahrhunderts in Ruinen.