Fra 1300-tallet, og særlig etter at krigene mellom England og Wales tok slutt tidlig på 1400-tallet, sank anleggets militære betydning. I 1312 kom det inn under kontroll av Thomas de Brotherton, jarl av Norfolk, og senere hans datter Margaret. Den ble befestet under opprøret ledet av Owain Glyndŵr i 1403 med 20 bevæpede menn og 60 langbueskyttere, men dens store størrelse, begrensede strategiske betydning, geografiske plassering og garnisonens størrelse bidro nok til at Glyndŵrs styrker avsto fra å angripe den, til tross for at de hadde et vellykket angrep på Newport Castle.