Au milieu de l'année 1804, Napoléon ordonne de transférer la légion hanovrienne en France, espérant ainsi limiter les désertions. L'unité est d'abord assignée à la garde des côtes françaises de Méditerranée et de l'Atlantique, avant d'être incorporée au corps d'observation de la Gironde du général Junot en août 1807. Ce dernier envahit le Portugal dès l'année suivante, s'empare de Lisbonne mais est finalement vaincu par l'armée britannique du général Wellesley, futur vainqueur de Napoléon à Waterloo. L'armée française est rapatriée en France par la flotte anglaise, et la plupart des Hanovriens servant dans la légion en profitent pour déserter et rejoindre les rangs de la King's German Legion. La légion revient en Espagne l'année suivante, toujours au sein des troupes de Junot, dans le cadre de la venue de l'Empereur dans la péninsule ; avec un effectif qui ne dépasse pas 300 soldats, elle passe alors dans le corps d'armée du maréchal Soult et prend part aux opérations contre les Anglais du général Moore. À la fin de l'année, réduit comme peau de chagrin par les combats, le bataillon hanovrien est intégré aux forces du maréchal Ney.