В 1814 году Фабр подал голос за низложение Наполеона и образование временного правительства. Людовик XVIII сохранил за ним титул пэра Франции, однако во время Ста дней Фабр остался в палате пэров, вследствие чего после битвы при Ватерлоо 24 июля 1815 в составе группы из 29 пэров лишился этого звания, которое было ему возвращено в 1819 г. Опубликовал «Изыскания о налоге на табак и средствах его усовершенствования» (; 1802), «Письмо моему сыну о моих политических действиях» (; 1816), «Воспоминания и заметки одного пэра Франции» (; 1830—1832, без подписи автора).