Durante la invasión napoleónica, el templo se utilizó como cuartel, quedando todos los muros llenos de troneras, lo que motivará que una vez terminada la guerra, el décimo duque de Osuna, don Francisco Borja Téllez Girón, ordene en el año 1813, su derribo y el levantamiento de un templo nuevo desde los cimientos.