Tras la expulsión de la Compañía de Jesús en 1767 se convierte en el Real Seminario de San Carlos Borromeo en honor a Carlos III.