Más adelante, los ermitaños fueron expulsados, acusados de prácticas poco ortodoxas, y poco después se instaló en el convento Jacinto Verdaguer, pero tuvo que abandonarlo por problemas económicos, y el Ayuntamiento de Horta lo derribó en 1895; del antiguo convento solo queda un Vía Crucis en el interior de la Clínica Solarium.