Han ble i 1799 tvunget til å forlate sine politiske verv. Han utgav sine memoarer som pensjonist på forskjellige steder i Frankrike og han kom for første gang tilbake til Paris, cirka ti år senere, men han tok ikke del i offentlige eller politiske anliggender.