第二次世界大战期间，1939年9月什捷缅科参加了入侵波兰，在乌克兰方面军第6集团军司令部作战部任见习参谋。苏芬战争时在总参作战部帮助工作，得到了华西列夫斯基赏识。1940年秋毕业于总参军事学院，进入总参作战部方向处工作，处长为米哈伊尔·尼古拉耶维奇·沙罗欣。1941年8月起任总参作战部方向处副处长。莫斯科战役后，担任总参谋部作战部近东处负责人，晋升少将军衔，参与了英苏入侵伊朗行动。1942年6月任总参作战部副部长，参与了克里木战役、高加索会战、斯大林格勒战役等。先后受到了上级安东诺夫、贝利亚的赏识。1943年4月起任总参作战部第1副部长。由于准备库尔斯克会战计划，得到斯大林的肯定，1943年5月出任总参作战部部长。每夜子时后要收集整理掌握过去一昼夜从方面军到师一级的作战情况，向最高统帅汇报、回答疑问，制定作战计划。1943年11月晋升上将军衔，陪同最高统帅参加德黑兰会议。1943年底至1944年还作为大本营代表参与了解放克里木战役、列宁格勒-诺夫哥罗德战役、白俄罗斯会战之莫吉廖夫战役、普斯科夫—奥斯特罗夫战役，1945年6月参与制定粉碎日本关东军的作战计划。