После потери Полоцка и последующих поражений корпуса Виктора положение французов в Витебске, где располагалась губернская администрация, оказалось трудным. Уже 4 ноября губернатор, , получил указание эвакуировать город и идти на Смоленск через Рудню. Пуже немедленно отправил госпиталь с охраной из 200 человек в Фальковичи, сам Пуже задержался и уже на следующий день получил приказ от Виктора не выходить из города, и вернуться, если он уже вышел, так как русские якобы не собирались атаковать Витебск. Зная участь Полоцка, Пуже тем не менее планировал отход, поручив сапёрам подготовиться к поджогу моста, и в это время с запозданием получил письмо от маршала Сен-Сира об отходе на Смоленск. После повторного приказа от Виктора оставаться в Витебске и известий о его отходе Пуже потерял надежду на благополучный исход.