Entre finales del siglo XVI y bien avanzado el siglo XX el castillo y su entorno sirvieron de cantera para extraer piedras que se utilizaron en nuevas construcciones de la ciudad, como iglesia Mayor de Santa María la Coronada y el Ayuntamiento, dejando a la fortaleza en las ruinas que han llegado hasta nosotros.