La iglesia ha sido destruida muchas veces durante su historia. El terremoto de 1531 la dañó y el de 1755 y su tsunami destrozó el convento de Santo Domingo del que formaba parte que dejó en pie solamente la capilla que fue completamente restaurada en 1807 en estilo barroco mientras que espacio que ocupaba el antiguo convento se aprovechó para ampliar las avenidas y plazas del barrio. En 1959 hubo un gran incendio que mató a dos bomberos que tardó más de seis horas para extinguir y destruyó muchas obras de arte. En 1994, reabrió, pero los rastros del incendio todavía perduran. Por eso, cuando se visita se pueden notar los impactos de la historia.