Permanecería así hasta 1767 cuando, tras la expulsión de la orden jesuita, pasa a ser el local del recién fundado Real Convictorio de San Carlos, colegio mayor que formaba parte del sistema universitario de la época.