Se tiene certeza de que Eduardo II de Inglaterra visitó el castillo y permaneció en él tres días en noviembre de 1323, tiempo en el que también visitó el Priorato de Norton.