Júniusban, a Bagratyion hadművelet kezdete előtt két héttel a 2. Belorusz Front parancsnokává nevezték ki (elődjét, Petrovot Mehlisz feljelentései következtében váltotta le Sztálin). A hadművelet kezdetén a szovjetek gyorsan áttörtek. Zaharov jobbszárnyán Rokosszovszkij az első napokban mélyre előrehatolt és a német 4. hadsereg (Tippelskirch) hátába került, amely eddig több-kevesebb sikerrel visszaverte a 2. Belorusz Front támadásait (igaz, közben visszavonult). A német „Közép” hadseregcsoport nagyon súlyos veszteségeket szenvedett, ennek következtében Zaharovot július 28-án előléptették hadseregtábornokká. Novemberben Rokosszovszkij került a helyére, Zaharov alacsonyabb beosztást kapott. A háború végén a 4. Ukrán Front parancsnokhelyettese volt.