狙撃軍団長として、独ソ戦を迎え、後に軍副司令官となった。1942年2月～5月、第3軍司令官。1943年9月、第47軍司令官。1943年10月、第1ウクライナ戦線の第40軍司令官となり、ドニエプル強行渡河とウクライナ右岸の解放に参加した。ドニエプル強行渡河の功績に対して、ソ連邦英雄の称号が授与された。その後、第2ウクライナ戦線の編成下で、ヤッシー＝キシニョフ攻勢、ルーマニア、ハンガリー、チェコスロバキアの解放に参加した。戦時中、ジュマチェンコ指揮下の部隊は、最高司令官令で16回指摘された。