I 1890–92 var han deputertkammerets visepresident og ble i 1893 valgt til dets president. Samme år ble han statsminister og innehadde samtidig utenriksministerposten. Han satte som mål å «omdanne den franske revolusjons prinsipper til et redskap for ordens opprettholdelse». Han undertrykte den anarkistiske voldspropagandaen, og motsatte seg grunnlovsendring og forslag om skille mellom stat og kirke.