El templo a lo largo de su historia ha sufrido importantes vicisitudes, debido a las inundaciones o incendios, como el acaecido en 1598 provocado tras el estallido del polvorín del puerto, terremotos, saqueos, etc.