撤退的俄国民众也指责他的懦夫行为。巴克莱承受着下属和皇帝的压力下开始了斯摩棱斯克会战（1812年8月17—18日）。拿破崙威胁了巴克莱唯一的退路以致巴克莱不得不率军从斯摩棱斯克撤退。丢失了俄国的圣城斯摩棱斯克，巴克莱遭到了将领和俄国人的强烈抗议，以致亚历山大一世皇帝也无法再置之不理。其时巴克莱已几乎无威信可言，如巴格拉季昂亲王之类的同僚和康斯坦丁大公等下属，甚至是士兵、平民，都公开表达对统帅撤退战略的不满。出于违背亚历山大一世本身意愿的决定，皇帝任命了曾在奥斯特里茨败于拿破崙之手的库图佐夫上将为俄军总司令，