大战.德苏战争爆发后，敖德萨军区部队扩编的第9集团军参谋长，1941年7月设立西北方向总指挥部，伏罗希洛夫把扎哈罗夫调去任参谋长，1941年8月至12月任苏军后勤部副部长。1941年12月被科涅夫调到任参谋长至1942年12月，1942年5月30日获得中将军衔，1943年4月随科涅夫调到预备方面军、1943年6月改名为草原军区、1943年7月又改名为草原方面军任参谋长。1943年10月随草原方面军改名为乌克兰第2方面军继续任参谋长至战争胜利结束。1943年10月20日获得中将军衔，1945年5月29日获得