В марте 1942 года Захаров был призван на службу в Рабоче-крестьянскую Красную Армию. Учился в Краснодарском пулемётно-миномётном училище, но не окончил его. С августа 1942 года — на фронтах Великой Отечественной войны. В одном из первых боёв был контужен. После выписки из госпиталя Захаров окончил курсы младших лейтенантов. Участвовал в боях на Малой Земле, Новороссийско-Таманской операции. К ноябрю 1943 года лейтенант Николай Захаров командовал пулемётным взводом 1339-го стрелкового полка 318-й стрелковой дивизии 20-го стрелкового корпуса 18-й армии Северо-Кавказского фронта. Отличился во время Керченско-Эльтигенской операции.