Con posterioridad, la capilla pasó por una época oscura en la que dejó de poseer un capellán y de procesionar la imagen de la Virgen del Carmen aunque a mediados del siglo XIX debido a la nueva importancia que cobró el Hospital de la Caridad la capilla recuperó de nuevo sus funciones.