Duvivier onderscheidde zich in de Slag bij Jena (1806) door een Pruisisch carré binnen te dringen. In de Slag bij Eylau (1807) liep hij twee wonden op in een cavaleriecharge tegen het Russische centrum. In 1807 werd hij kapitein-adjudant-majoor bij de Poolse lansiers van de Garde. Duvivier onderscheidde zich bij Somo-Sierra (1808), leverde strijd bij Abensberg en Essling (1809), maar vooral bij Wagram, waar hij gewond raakte.