Under disse omvekslende tider ledet Jacques-André Émery seminaret og kongregasjonen. I 1820–1838 ble det reist en ny bygning, som huset seminaret frem til 1906. Da ble det oppløst, grunnet den nye lov om skille mellom kirke og stat. Så la man en del av finansministeriet til bygningen.