Quand la Révolution de Juillet le contraignit à se retirer, le roi d'Espagne Ferdinand VII le fit peu après le Grand d'Espagne de première classe, avec le titre de duc d'Almazan de Saint -Priest, en reconnaissance de ses services. Il rejoignit alors le cercle de la duchesse de Berry à Naples et organisa son équipée malheureuse de 1832 en Provence. Il fut arrêté et libéré après un emprisonnement de dix mois. Ayant fait le nécessaire pour procurer en Autriche un asile à la duchesse, il revint à Paris, où il fut une des personnes les plus en vue de la société légitimiste jusqu'à sa mort.