Cuando los jesuitas fueron expulsados de Piamonte en 1772, el palacio permaneció como sede del Observatorio astronómico de Milán y de la biblioteca fundada por los jesuitas.