El siglo XIX trajo consigo una serie de circunstancias que llevaron a la Cofradía a subsistir con dificultad, como la Guerra de la Independencia, la abolición de los gremios en la Constitución de 1812 o la desamortización de Mendizábal, que desposeyó a los Carmelitas de su convento.