1567-ben ismét kitört a háborúskodás, ami a kancellár befolyásának csökkenéséhez vezetett. Végül a szélsőséges katolikus párt vezetői, a lotaringiai Guise hercegek nyomására 1568-ban felmentették, erőfeszítései összességében kudarcot vallottak. Ettől kezdve visszavonultan élt vignay-i kastélyában, leszámítva 1570-es emlékiratának átnyújtását a királynak, amiben a béke helyreállítását sürgette. 1572-ben, bár a Szent Bertalan éjszakáján kezdődött pusztítássorozat rá nézve is veszedelmes volt, nem esett baja. Az életművét romokban heverni látó, megtört államférfi 1573. március 13-án hunyt el.