El castillo, reconstruido en piedra, fue un importante bastión de los Lord Marchers, de las dinastías de Clare y le Despenser, de los Condes Beauchamps de Warwick, de Ricardo de York gracias a su matrimonio con la familia Neville, y de la familia Herbert, Condes de Pembroke.