El castillo se entregó a Juan Holland, primer duque de Exeter, pero cuando éste fue ejecutado por Enrique IV, el castillo volvió a la familia FitzAlan una vez más.