Con la vuelta de la Corte a Madrid y la marcha de los Genoveses, la Cofradía decayó notablemente.