Las desamortizaciones de 1811, 1821 y finalmente la de 1835 suprimieron el convento y la cofradía abandonó la capilla para trasladarse al Sagrario.