El Cardenal Cisneros dio orden de derribo de la fortaleza, orden que no se cumplió en cuanto a la iglesia con sus dos torres almenadas y la casa parroquial o palacio de Carlos II.