Đến cuối năm 1941, sau khi Chiến dịch Barbarossa nổ ra, ông được chuyển lên phía bắc, được bổ nhiệm làm Tham mưu trưởng Phương diện quân Tây Bắc. Không lâu sau đó, ông lại được bổ nhiệm làm Tham mưu trưởng Phương diện quân Kalinin và giữ vai trò này trong hầu hết năm 1942. Năm 1943, ông được bổ nhiệm làm Tham mưu trưởng Phương diện quân Thảo Nguyên, sau được đổi tên thành Phương diện quân Ukraina 2 vào khoảng giữa năm. Chính trong thời gian này, Zakharov đã chứng tỏ mình là một trong những chỉ huy quân sự hàng đầu của Liên Xô. Ông đã tham gia lập kế hoạch cho một số chiến dịch xuất sắc chống lại các lực lượng Đức, đầu tiên là dưới quyền Nguyên soái Ivan Konev, và sau đó là Nguyên soái Rodion Malinovsky. Sau khi chiến sự phía Tây kết thúc, Zakharov được chuyển về phía Đông, được bổ nhiệm làm Tham mưu trưởng Phương diện quân Zabaikal và tham gia lập kế hoạch cho Chiến dịch tấn công chiến lược Mãn Châu sau đó.