En la historia del castillo figura como tema importante y recurrente el arresto y prisión de Álvaro de Luna que pasó un tiempo recluido entre estas paredes antes de ser trasladado a Valladolid para su ejecución.