Allí tuvo su sede y sus imágenes, hasta que en 1814, después de unos años buscando acomodo, fue solicitada por parte del penitenciario de la catedral Don Bernardo de Olea una nueva ubicación debido a que durante la invasión de los franceses en España durante la Guerra de la Independencia, estos además de quemar y saquear el Panteón de los Reyes y la propia colegiata de San Isidoro, provocaron un incendio en el convento el 1 de enero de 1809.