Para 1790, con los jesuitas expulsados desde 1767, sus antiguos colegios fueron reunidos en el Real Colegio Carolino, siendo José Mariano Lezama y Camarillo su primer rector.