Во время отступления из России, после сражения при Вязьме, встал во главе арьергарда, сменив корпус маршала Даву. После отступления главных сил Великой Армии из Смоленска прикрывал её отход и распоряжался подготовкой укреплений Смоленска к подрыву. Промедлив с отступлением, он был отрезан от Наполеона русскими войсками под началом М. А. Милорадовича. Он пытался пробиться, но, понеся большие потери, не смог осуществить своего намерения, отобрал лучшие части корпуса числом около 3 тысяч солдат и с ними перешёл Днепр севернее, у деревни Сырокоренье, бросив большую часть своих войск (в том числе всю артиллерию), которые на следующий день капитулировали. У Сырокоренья войска Нея перебирались через Днепр по тонкому льду; на участки открытой воды бросали доски. Значительная часть солдат при переходе через реку утонула, так что когда Ней соединился у Орши с главными силами, в его отряде оставалось лишь около 500 человек.