Cuando el 15º barón, Henry Bolingbroke, ascendió al trono como Enrique IV de Inglaterra, el castillo pasó a ser parte de las propiedades del Ducado de Lancaster.