Det var et foretrukket residens for hertugene av York, og flere av dets medlemmer ble født her, blant annet Margaret av York, hertuginne av Burgund, i 1446, og Rikard III i 1452. Det var også det endelige sted for fengslingen av Maria Stuart, skottenes dronning, som ble dømt og henrettet i festningen i 1587. Til tross for festningens størrelse og betydning, forfalt den i løpet av den siste perioden under Elisabeth I av England. Ved 1635, mindre enn 50 år etter Maria Stuarts henrettelse var den i ruiner, og ble deretter revet og det meste av dens murverk ble fjernet. Hva som ble igjen var hovedsakelig jordverk og skanser. Stedet er beskyttet som et vernet arkeologisk område og historisk monument av nasjonal betydning. Det er åpent for besøkende.