바르바로사 작전이 개시되어 독일군이 소련을 침공하자, 그는 오데사 군관구 관할인 남부전선에서 싸웠다. 그러나 모스크바 공방전 당시인 1941년 말에 북부로 전임되어 북서전선군의 참모장이 되었다. 1943년에는 스텝전선군의 참모장이 되었고, 이 전선군은 후에 제2 우크라이나 전선군으로 이름을 바꾼다. 그는 이때 독일군에 대한 작전을 입안하는데 큰 재능을 발휘하였다. 자하로프는 참모장교로서 지휘관이었던 이반 코네프와 로디온 말리노프스키를 보좌하였다. 독일과 전쟁이 끝나자 극동으로 파견되어 일본에 대한 공세를 입안하였다.