Tras la expulsión de los jesuitas en 1767 fue regentado por clérigos antijesuitas, pero entró en rápida decadencia por lo que se le fusionó en 1770 con el Colegio Real de San Felipe y San Marcos dando paso al Convictorio de San Carlos que funcionó en el mismo local hasta 1787 hasta que se mudó al antiguo Noviciado de los Jesuitas de San Antonio Abad.