Under Napoleon Is regjering var Destutt senator, men han tilhørte imidlertid «ideologenes» krets i Auteuil, som Napoleon avskydde. Foruten Destutt ingikk Constantin-François de Chassebœuf de Volney, Cabanis och Dominique Joseph Garat i denne krets. Ved restaurasjonen i 1814 ble han pair de France, men tilhørte like fullt den liberale opposisjonen og nølte ikke i 1830, da nesten blind, å kjempe på barrikadene. Hans fornuftsfilosofi og laissez-faire-økonomi var uforenlig med Napoleons politikk.