Etter å ha blitt partileder for det radikale parti presiderte Callicaux ved partikongressen i Pau, og ble på nytt finansminister i Gaston Doumergues ministerium i 1913. Avisen innledet da en inbitt pressekampanje mot ham. For å forhindre offentliggjørelsen av en del intime brev skjøt og drepte hans hustru Henriette Caillaux redaktøren for , Gaston Calmette, den 16. mars 1914. Men hun ble frikjent i domstolen, etter at Caillaux med stor temperamentsfullhet hadde forsvart hennes sak. Caillaux inleverte samtidig sin avskjedssøknad som regjeringsmedlem.