С началом войны находился на прежней должности. Дивизия под командованием Захарова в составе 28-й армии вела боевые действия в ходе Смоленского сражения, а затем вела тяжёлые оборонительные бои в условиях окружения, из которого вышла к концу августа. В сентябре 1941 года дивизия Захарова участвовала в наступлении на Ельню, в октябре