La soledad en la que quedó el templo a finales del siglo XVIII, pues la ciudad se había consolidado y extendido por el llano desde hacía ya más de dos siglos, y el incendio provocado por las tropas francesas en su huida de la ciudad después de su ocupación en 1810, pondrían fin a su actividad y a parte del edificio.