Trong năm 1944, Zakharov được giao trách nhiệm chỉ huy Phương diện quân Belorussia 2 trong Chiến dịch Bagration. Hiệu suất của phương diện quân trong chiến dịch này bị phê bình là không đạt được mục tiêu, và từ tháng 11, Zakharov đã bị giáng chức xuống làm chỉ huy Tập đoàn quân Cận vệ 4, được giao nhiệm vụ băng qua sông Danube và tham gia bao cây quân Đức ở Budapest trong Chiến dịch Budapest. Tháng 4 năm 1945, Zakharov được bổ nhiệm làm Phó Tư lệnh Phương diện quân Ukraina 4.