จอมพลเลอแฟฟวร์รับใช้นโปเลียนไปจนกระทั่งนโปเลียนพ่ายแพ้อย่างหมดท่าในสงครามสหสัมพันธมิตรครั้งที่หกในค.ศ. 1814 หลังจากนั้นเขาลงมติในวุฒิสภาเพื่อสนับสนุนการฟื้นฟูราชวงศ์บูร์บง และได้รับแต่งตั้งเป็นขุนนางฝรั่งเศสโดยพระเจ้าหลุยส์ที่ 18 อย่างไรก็ตาม เมื่อนโปเลียนหลบหนีจากเกาะเอลบาใน ค.ศ. 1815 เขาหันไปสมคบอดีตเจ้านายเก่าอีกครั้งในช่วงสมัยร้อยวัน ซึ่งจบลงด้วยความพ่ายแพ้ของนโปเลียน เลอแฟฟวร์ถูกถอดยศขุนนางแต่ไม่ได้ถูกถอดยศจอมพล ต่อมาในค.ศ. 1819 พระเจ้าหลุยส์ที่ 18 พระราชทานคืนยศขุนนางแก่เขา จอมพลเลอแฟฟวร์ถึงแก่อสัญกรรมในค.ศ. 1820 ในกรุงปารีส