Permanecería así hasta 1767, cuando expulsada la orden jesuita del Virreinato del Perú, pasa a ser el local del Real Convictorio de San Carlos.