Festningen kom nå på engelske hender, skjønt det er opptegnelser som viser til at det har blitt brent ned i løpet av opprøret til Llywelyn Bren i 1316. I 1317 ble det gitt til Hugh Despenser den yngre, kongen yngling. Det ble beleiret uten resultat av styrkene til Owain Glyndŵr i 1403. Mot slutten av 1400-tallet ble festningen holdt av Rhys ap Thomas som gjorde omfattende utbedringer. I 1531 ble hans barnebarn henrettet for forræderi og festningen ble konfiskert av kronen, skjønt familien var i stand til å få det tilbake. Rundt 1600 ble Newton House bygget i nærheten og festningen ble da forlatt.