In de Slag bij Kulm (1813) werd Vandamme ingesloten door de Pruisen en verloor het grootste deel van zijn korps. Hij werd samen met 13.000 van zijn soldaten gevangengenomen. Vandamme werd door Russische Kozakken naar Moskou gebracht, waar hij nogmaals beschuldigd werd van plundering. Hierop zou hij tegen tsaar Alexander I gezegd hebben: "Ik ben tenminste nooit beschuldigd van moord op mijn eigen vader" (een verwijzing naar de moord op tsaar Paul I). Vanuit Moskou werd Vandamme naar Kazan gebracht. Na de nederlaag van Napoleon en Restauratie in Frankrijk mocht hij weer terug naar Frankrijk komen en kreeg huisarrest in Kassel.