Ayant reçu de nombreuses blessures en Égypte (dont une à la bataille d'Aboukir) en 1801, et durant les campagnes de 1803, 1804 et 1805 à la Grande Armée et de 1806 et 1807 en Allemagne et en Pologne, il dut prendre sa retraite en 1807. Mais, en 1812, Duvivier reprit du service en tant que lieutenant-colonel adjudant-major de la garde nationale.