Etter å ha nølt alt for lenge besluttet han så å trekke styrkene ut. Han trakk seg vestover, og vinteren kom. Tilbaketoget ble en katastrofe. Den tidlige vinteren kombinert med de franske soldatenes sommeruniformer, og mangel på mat og overnattingssteder, gjorde den franske hæren svak overfor stadige russiske angrep. Av de over menn som hadde rykket inn i Russland var det færre enn som kom seg i sikkerhet. Flesteparten av soldatene frøs ihjel eller døde som følge av skader fra stadige russiske bakholdsangrep. Mange døde av utmattelse og sult fordi mangelen på hester innebar at soldatene måtte gå.