Ahí permanecería la cofradía hasta la exclaustración de 1868, pasando entonces a Santa María de los Reales Alcázares, en cuya sacristía, el 25 de marzo de 1881, se produciría una vital junta general de hermanos, que permitió a la cofradía superar el decaimiento producido por el cambio de sedes y por la pérdida de gran parte de sus bienes.