El castell no va jugar un gran paper en la guerra fronterera contra Escòcia. A la Guerra de les Dues Roses el castell va estar en possessió de la Casa de Lancaster a 1462 i 1464. Els danys que es van produir al castell van provocar que aquest caigués en una decadència constant. Es va seguir deteriorant durant molts anys, i fins i tot van robar part de les seves pedres per construir altres llocs a la zona.