À la fin de 1941, juste après le début de l'invasion de l'Union soviétique par l'Allemagne nazie, il fut transféré au Nord, où il fut nommé chef d'état-major du théâtre du Nord-Ouest. Peu de temps après, il fut nommé chef d'état-major du front de Kalinine, un poste qu'il occupa la majeure partie de l'année 1942. En 1943, il fut nommé chef d'état-major du front de la steppe, renommé le deuxième front ukrainien vers le milieu de l'année. C'est à ce titre que Zakharov s'est révélé comme l'un des meilleurs commandants militaires de l'Union soviétique par sa participation dans la planification d'un certain nombre d'opérations couronnées de succès contre les forces allemandes, d'abord comme subalterne du maréchal Ivan Koniev, puis sous le maréchal Rodion Malinovsky.