Dessen Sohn Roger Bigod, 5. Earl of Norfolk ließ die Burg auf ihre heutige Ausdehnung erweitern, so dass sie als eine der am besten befestigten Burgen von Wales galt. Nach dem Tod von Bigod 1306 wechselte die Burg im 14. Jahrhundert häufig den Besitzer und verlor an Bedeutung. Während der Rebellion von Owain Glyndŵr wurde sie 1403 wieder bemannt, doch wieder wurde sie wegen ihrer Stärke nicht von den Rebellen angegriffen. Nach der Schlacht von Tewkesbury sollte im Mai 1471 Roger Vaughan of Tretower, ein Halbbruder Black William Herberts auf Befehl Eduards IV. Jasper Tudor verhaften. Vaughan fiel jedoch Tudor in die Hände, der ihn in der Burg hinrichten ließ. 1508 erwarb Charles Somerset, der spätere Earl of Worcester die Burg. Unter ihm und seinen Nachfolgern wurde die Burg im 16. Jahrhundert weiter wohnlich ausgebaut.