Presque immédiatement il reçoit l'ordre de se rendre à Bayonne pour y réorganiser l'armée du Midi, défaite à la bataille de Vitoria () et complètement démoralisée. Bien que souvent battu par les vétérans de Wellington, et alors qu'il ne dispose que de conscrits sans expérience, il recule en bon ordre de l'autre côté des Pyrénées, parvenant à ralentir la progression des troupes anglo-hispano-portugaises, entrées sur le territoire français, par les combats qu'il livre à Orthez, Aire-sur-l'Adour, Vic-en-Bigorre et Tarbes. Ses laudateurs voit en ce mouvement de repli exemplaire, pendant lequel il dispute le terrain pied à pied face à des forces qui lui sont quatre fois supérieures, une illustration de son génie tactique. Enfin, le , il livre la bataille de Toulouse. Il ne réussit pas à convaincre le maréchal Suchet de réunir ses forces aux siennes, et ne peut battre lord Wellington.