Han satt sammen med Radikalaosialistene og modererte sine standpunkter, selv om han fremdeles gav sin kraftige støtte til Combes-regjeringen, som var selve spydspissen for de antiklerikale republikanske kampsater. I juni 1903 overtok han ledelsen for tidsskriftet , som han hadde grunnlagt. Der ledet han an i arbeidet for å granske Dreyfus-saken, og for å skille kirke og stat. Det siste ble virkeliggjort ved lovgivning i 1905.