Además de por Álvaro de Luna y sus herederos, la fortificación ha sido utilizada por distintas personalidades históricas, entre las que destaca la reina Isabel la Católica, que residió en ella cuando fue proclamada heredera de la Corona de Castilla.