Entre las personalidades históricas que han desfilado por el castillo, bien como «prisión de notables», bien como alojamiento, destaca el Fernando Álvarez de Toledo y Pimentel, duque de Alba, que lo habitó en 1580 a su regreso del destierro de Uceda.