Toen een Brits leger in 1809 het Zeeuwse eiland Walcheren onder de voet liep en de strategische vesting Bath veroverde (zie Walcherenexpeditie), zodat de weg naar Antwerpen open lag, stortte Napoleon een nieuwe vloed aan kritiek uit over zijn broer. Hoewel Lodewijk de Britse opmars een tijdig halt toeriep en ziekten de Britse troepen decimeerden, waarop inderhaast verzamelde troepen de vesting wisten te hernemen, hield Napoleon vol dat zijn broer een knoeier was. Zijn weigering om de in Holland impopulaire dienstplicht in te voeren was haast op een succesvolle Britse invasie uitgelopen. Lodewijk werd vervangen als legeraanvoerder door Bernadotte.