Han var tilbake hos Désirée og Oscar den 25. juli, uten oppdrag. Tre dager etter begynte britene et invasjonsforsøk av Walcheren med Antwerpen som første mål. Den 12. august fikk Bernadotte av politi- og innenriksminister Joseph Fouché, etter ordre fra Napoléon, oppdraget å lede forsvaret av keiserdømmet mot invasjonsstyrken. Situasjonen i den strategiske havnebyen Antwerpen var kaotisk ved Bernadottes ankomst den 15. august, og han organiserte omfattende forsvarsstillinger. Byen ble imidlertid aldri angrepet fordi invasjonsforsøket løp ut i sanden.