Wysokie morale i dyscyplina szwoleżerów ujawniły się podczas odwrotu Wielkiej Armii. Byli jedną z nielicznych jednostek, która zachowała zdolność bojową do końca. 25 października 1812 walczyli pod Borowskiem i Małojarosławcem z Kozakami. W tym też dniu służbowy szwadron uratował Napoleona pod Horodnią przed dostaniem się w ręce Kozaków. 17 listopada szwoleżerowie wzięli udział w bitwie pod Krasnem a 28 listopada walczyli nad Berezyną. 5 grudnia Napoleon opuścił wojsko udając się do Paryża. Towarzyszyła mu do Oszmiany 7. kompania szwoleżerów (nowo przybyłe uzupełnienie), jako osobista eskorta. Pułk eskortował cesarski skarbiec. Do Wilna dotarł 9 grudnia. W kampanii pułk poniósł ogromne straty. Pod koniec grudnia liczył tylko 374 ludzi; koni było jeszcze mniej. Jego liczebność była jednak i tak większa niż wszystkich pozostałych pułków konnych gwardii. Szwoleżerowie zyskali sobie wielkie uznanie przeciwników. Kozacy, którzy w ostatniej fazie odwrotu byli prawdziwą zmorą resztek Wielkiej Armii, niejednokrotnie uciekali na sam widok szwoleżerskich patroli.