洛夫把扎哈罗夫调去任参谋长，1941年8月至12月任苏军后勤部副部长。1941年12月被科涅夫调到任参谋长至1942年12月，1942年5月30日获得中将军衔，1943年4月随科涅夫调到预备方面军、1943年6月改名为草原军区、1943年7月又改名为草原方面军任参谋长。1943年10月随草原方面军改名为乌克兰第2方面军继续任参谋长至战争胜利结束。1943年10月20日获得中将军衔，1945年5月29日获得一级上将军衔，1945年6月随乌2方面军调远东改编为外贝加尔方面军任参谋长至当年10月战争结束。S