Det var først ved fredsslutninga i Campo-Formio i 1797 at det lyktes Napoleon å få La Fayette løslatt. Han ble nekta av direktoriet å vende tilbake til Frankrike, men kom hjem i 1799, og fortsatte å spille en viss politisk rolle. La Fayette slutta seg aldri til noen partier og grupperinger, men handla alltid etter sin egen overbevisning. I 1802 stemte han mot Napoleons utnevning til konsul på livstid, og i 1804 stemte han imot keisertittelen.