Après les journées de Juillet, il refusa de prêter serment à et fut rayé de la liste des pairs. Il resta attaché à la duchesse de Berry qu'il suivit en Angleterre et dans son voyage en Italie, et plus tard à Florence, à Rome et à Naples, et enfin dans son voyage en France en 1832. Arrêté avec elle à Nantes lors de la tentative d'insurrection, il fut incarcéré avec elle à Blaye puis jugé et acquitté par la cour d'assises de Montbrison. Il sollicita, mais obtint avec peine, de rejoindre à Blaye la duchesse de Berry (on le soupçonna alors d'être le père de « l'enfant de Blaye », rumeur démentie par Jacques Dinfreville), qu'il suivit ensuite successivement à Palerme, à Rome, à Florence.