Bei Beginn des spanischen Feldzugs von 1823 gab Victor sein Ministeramt ab und begleitete den Herzog von Angoulême als Generalstabschef nach Spanien. Durch die Verträge, die er mit dem Hauptunternehmer aller Militärlieferungen, Ouvrard, schloss, wurde er später in den daraus entstehenden Prozess einbezogen und verlor am 19. Oktober 1823 seine Stellung.