El apogeo del uso del castillo como prisión sobrevino en los siglos XVI y XVII, cuando personajes como Isabel I (antes de convertirse en reina) cayeron en desgracia y fueron retenidas entre estos muros.