Byl proslulý nesmírnou odvahou, histrionstvím, nevázaným způsobem života, tvrdostí až brutalitou, zanedbáváním disciplíny, neúctou k majetku v obsazených zemích a stal se, spolu s jinými veliteli (Lepicem, Lasallem, Muratem aj.), do jisté míry bájnou postavou armády. Po bitvě u Drážďan (Dresden) – 26. a 27. srpna 1813 – byl Vandamme Napoleonem pověřen úkolem pronásledovat s 30 000 muži poraženou armádu spojenců do Čech. Byl však u Chlumce (též Chlumec a Přestanov, něm. Kulm – 29. a 30. srpna 1813) zaskočen Rusy (generál Ostermann-Tolstoj) a po boji, kdy část armády se probojovala zpět k Velké armádě, byl Vandamme nucen se s 10 000 muži a 81 kanóny vzdát. Po zajetí byl přiveden k caru Alexandrovi a následně se odehrála proslulá strašná scéna, kdy car zhurta Vandammovi do tváře vmetl nadávky jako lupič a násilník a Vandamme silným hlasem zcela klidně odpověděl "„ano, jsem násilník a loupežník, ale nikdy v životě jsem si nepotřísnil ruce krví vlastního otce!!!“" (narážka na to, že Alexandr nastoupil na trůn po zavraždění svého otce, které sice asi přímo neorganizoval, ale patrně o jeho přípravách věděl). Bledý třesoucí se car nechal zajatce odvést a transportovat až na sibiřské hranice do Kazaně. Smyšlená historka z Marbotových pamětí neodpovídá realitě tolik jako dobové zprávy o spílání generálovi a snaze ho napadnout v českých městech, jimiž byl zajatec vezen.