Tras la expulsión de los jesuitas decretada por el rey Carlos III en 1767, el edificio tuvo diversas funciones: cuartel de un batallón del Regimiento de Flandes, colegio administrado por el gobierno virreinal y dirigido por el clero secular, sede temporal de la Escuela de Jurisprudencia, de algunas cátedras de la Escuela de Medicina y cuartel de las tropas norteamericanas y francesas en 1847 y 1862 respectivamente.