El terremoto de 1812 destruyó la iglesia, pero poco después se construyó una gruta a la Virgen, conocida como Gruta de San Felipe y sólo quedaron lo que hoy se conoce como las Ruinas de San Felipe Neri.