Durante todo el siglo XIX se dio una paulatina decadencia y un llamativo descenso de cofrades.