Parte del complejo, incluyendo la iglesia, pasó a manos de los padres del Oratorio, otro sector se convirtió en el Colegio de Caciques mientras que sus claustros de Humanidades sirvieron de Biblioteca Nacional del Perú, hasta que en 1943 desaparecieron debido a un voraz incendio.