I 1899 var han atter presidentkandidat, men tapte for Felix Faure. Han støttet Pierre Waldeck-Rousseaus og Émile Combes ministerier. Han kjempet för lovene vedrørende religiøse ordener og loven om skille mellom stat og kirke.