Tháng 8 năm 1941, sau khi cuộc xâm lược của Đức nổ ra, Shtemenko được bổ nhiệm làm phó của Sharokhin, một chức vụ mà ông nắm giữ cho đến sau trận Moskva, khi ông được bổ nhiệm làm Trưởng ban Cận Đông, đặc trách theo dõi các hoạt động của quân đội Liên Xô đồn trú tại Iran. Tháng 6 năm 1942, ông được điều động thay thế chức vụ của Sharokhin. Shtemenko đã tham gia vào kế hoạch hoạt động của chiến dịch tại Krym, Kavkaz và Stalingrad. Tháng 5 năm 1943, ông được thăng chức làm Cục trưởng Cục Tác chiến, phục vụ trực tiếp dưới thời quyền Nguyên soái Liên Xô Aleksandr Vasilevsky. Tháng 11 năm đó, ông tháp tùng Stalin đến dự Hội nghị Tehran.