Cap a finals de 1941, després de l'inici de l'operació Barbarroja, va ser destinat al nord, on va ser nomenat Cap de l'Estat Major del Front Nord-occidental. Poc després, va ser nomenat Cap de l'Estat Major del Front de Kalinin, càrrec que ocupà la major part de 1942. El 1943 va ser nomenat Cap de l'Estat Major del Front de l'Estepa, que passà a anomenar-se 2n Front Ucraïnès cap a mitjans d'any. Va ser en aquest càrrec on Zakhàrov es mostrà com un dels màxims comandants militars. Ajudà a planejar diverses operacions brillants contra les forces alemanyes, com les de Belgorod-Khàrkiv, Kirovohrad, Korsun Xevtxenko, Uman Botoshanskii, Iaşi-Chişinău, Debrecen, Budapest, Viena o Praga, primer com a subordinat del Mariscal Ivan Kóniev i després de Rodion Malinovski. Després del final de les hostilitats contra els alemanys, Zakhàrov va ser traslladat a l'est, on va ser nomenat Cap de l'Estat Major del Front Transbaikal, on col·laborà en la planificació de la posterior invasió de Manxúria.