El edificio antiguo, sede del Seminario Conciliar de San Carlos y San Ambrosio, comenzó a construirse en el año 1700 por miembros de la Compañía de Jesús, y fue concluido en 1767, antes de que los jesuitas fueran expulsados del Imperio español.