Dès lors, ses vues politiques divergeant de celles de son ami Montalivet, les relations entre les deux hommes vont pendant quelque temps se refroidir. Il fit, dès 1837, partie de l’opposition à Molé et à Guizot. En 1848, Thiers lui offre un éphémère portefeuille ministériel à la veille de la Révolution et de l’arrivée au pouvoir de Louis-Napoléon Bonaparte à qui il s’opposa, organisant la campagne des banquets et faisant partie de la droite antirépublicaine à la Constituante en 1848. Il s'élève contre la reconnaissance du droit du travail par la république, évoquant « une voie qui conduit à la destruction de la société ». Il combattit à la Législative en 1850 la politique de l'Élysée. Au moment du Coup d'État du 2 décembre 1851, il est arrêté, enfermé à Mazas puis exilé un temps.