I 1810 invaderte hans styrker Andalucía og erobret det raskt. Men da hans styrker snudde for å ta Sevilla klarte han ikke å erobre Cádiz. Han uttalte at «Gi meg Sevilla og jeg skal svare for Cádiz.» Dette førte til den langvarige og resultatløse beleiringen av Cádiz, en strategisk katastrofe for franskmennene. I 1811 marsjerte hans styrker nord inn i Extremadura og inntok Badajoz. Da den britisk-portugisiske arméen beleiret byen ledet han styrker til unnsetning, noe som førte til slaget om Albuera den 16. mai 1811.