Het gevoerde beleid tijdens de Restauratie deed Dufour keren van kamp. Hij publiceerde liberale ideeën en voerde oppositie tegen koning Lodewijk XVIII. In 1820 kwam het tot een Assisenzaak tegen Dufour wegens politiek misdrijf. Hij werd vrijgesproken. Van 1827 tot 1828 zetelde hij in de Assemblée Nationale voor het departement Puy-de-Dôme en steunde opnieuw de liberale oppositie. Na de julirevolutie van 1830 regeerde koning Lodewijk Filips I van het Huis Orléans. Dufour ging weer de oppositie in en steunde de oppositiepartij der legitimisten.