In der entscheidenden Schlacht des Feldzugs am 2. Dezember 1805, der Drei-Kaiser-Schlacht bei Austerlitz, war es Vandammes Division neben der von Saint-Hilaire, die den entscheidenden Angriff erfolgreich durchführte. Zusammen mit den beiden anderen Divisionsgenerälen des Korps Soult, Saint-Hilaire und Legrand, sowie Friant, dem Kommandeur der 2. Division des III. Korps, der mit einem Gewaltmarsch von 112 Kilometern in nur 44 Stunden noch rechtzeitig auf dem Schlachtfeld erschien, wurde Vandamme nach der Schlacht mit dem Grand Aigle der Ehrenlegion ausgezeichnet. Dazu erhielt er noch Grundbesitz auf der Insel Cadzand in den Niederlanden. Da er verdächtigt wurde, Teile der Kriegsbeute des Feldzuges zur Tilgung seiner ungeheuren persönlichen Schulden verwendet zu haben, und sich ´darüber hinaus noch mit seinem direkten Vorgesetzten, Marschall Soult, überworfen hatte, musste Vandamme nach Frankreich zurückkehren und wurde er als Divisionskommandant durch Jean François Leval ersetzt.