In 1144 werd het kasteel tijdens de Anarchie belegerd door het leger van koning Stephanus, want er bevonden zich troepen in het kasteel die loyaal waren aan koningin Mathilde. In 1302 brak er een brand uit in de koninklijke vertrekken van het kasteel en wisten Eduard I en zijn tweede vrouw Margaretha van Frankrijk maar net aan de dood te ontsnappen.