En 1823, le duc d'Angoulême dirige l'Expédition d'Espagne, qui replace le roi Ferdinand VII sur le trône. Le duc devient alors une figure populaire chez les modérés et une partie des libéraux, en raison de son ordonnance d'Andujar, par laquelle il interdisait toute arrestation sans autorisation préalable du chef militaire français local, élargissait les prisonniers arrêtés sans motif et plaçait la presse sous le contrôle de l'armée française. Son épouse la duchesse d'Angoulême, avec laquelle il forme un couple notoirement uni, bénéficie de ce regain de popularité. On la considère comme un élément modérateur du pouvoir. Elle est d'ailleurs opposée à la création du ministère ultra Polignac, nommé par Charles X en 1829.