El castillo fue uno de los primeros en ser demolido, en 1516, por orden del cardenal Cisneros para evitar levantamientos contra Castilla.