Napoleon benoemde hem tot prefect in de Franse Nederlanden. Hij trok naar Antwerpen waar hij het departement Deux-Nethes bestuurde (1809-1813). Hij maakte er de Walcherenexpeditie van de Britten mee en gaf, met zijn militaire ervaring, adviezen vanuit Antwerpen aan de vechtende Fransen. De Fransen verdreven de Britten uit Walcheren. Voyer d'Argenson kreeg als beloning van Napoleon de titel van baron van het keizerrijk. Voor verdere uitbouw van de haven van Antwerpen kreeg hij als adjunct-prefect, de jurist de Laussat. Voyer d'Argenson hield zich bijzonder bezig met de militaire verdediging van Antwerpen. De druk van Napoleon op de Antwerpse prefect nam belangrijk toe. Dit was te wijten aan de onrust van de Antwerpenaren door toenemende taksen en verplichte arbeid. De Antwerpse burgemeester de Weynsbroeck leidde het protest tegen het Frans bestuur. Napoleon was woest en eiste de onmiddellijke confiscatie van alle bezittingen van de Weynsbroeck. Prefect Voyer d'Argenson zag deze repressie niet zitten en nam ontslag (1813). Voyer d'Argenson zou de opening van de "Grand Bassin", vandaag Willemdok, niet meer meemaken (1813). Hij trok zich terug, deze keer niet in Poitou, maar in de Elzas. Voyer d'Argenson legde zich toe op de exploitatie van zijn staalfabriek.