Em agosto de 1941, logo após a invasão alemã, Chtemenko foi apontado como vice de Charokhin, cargo que ocupou até depois da Batalha de Moscou, quando foi designado como chefe do departamento responsável pelo Oriente Próximo. Como tal, Chtemenko monitorou as condições das tropas soviéticas estacionadas no recentemente ocupado Irã. Em junho de 1942, ele substituiu Charokhin como chefe de departamento. Chtemenko participou do planejamento operacional das batalhas pela Crimeia, pelo Cáucaso e por Stalingrado. Em maio de 1943, ele foi promovido a chefe da Diretoria de Operações, servindo sob o comando direto do marechal Alexander Vasilevski. Em novembro daquele ano, ele acompanhou Josef Stalin à Conferência de Teerã.