Por este motivo el Cardenal Cisneros ordenó la demolición completa del castillo en 1516, aunque sólo se realizó un desmochado de la parte fuerte del mismo: