Shtemenko tình nguyện gia nhập Hồng quân năm 1926. Năm 1930, ông gia nhập Đảng Cộng sản, và tốt nghiệp Trường Phòng không ở Sevastopol cùng năm. Sau vài năm ở Pháo binh, ông chuyển sang binh chủng Thiết giáp, hoàn thành việc học tại Học viện Cơ giới hóa và Mô tô hóa vào năm 1937. Ông chỉ huy một trung đoàn xe tăng cho đến tháng 9 năm 1938, khi ông được triệu tập đến Học viện Bộ Tổng tham mưu. Vào cuối tháng 8 năm 1939, cùng với các học viên khác, Shtemenko được chỉ định làm sĩ quan tham mưu cho lực lượng Liên Xô chuẩn bị cho Cuộc xâm lược Ba Lan và tham gia chiến dịch. Trong Chiến tranh Xô-Phần, ông là trợ lý trong Bộ Tổng tham mưu. Sau khi trúng tuyển vào Học viện vào mùa thu năm 1940, yêu cầu của Shtemenko được chuyển đến các quân đoàn xe tăng mới tổ chức đã bị từ chối và thay vào đó, ông được đưa lên làm phụ tá cho tướng Mikhail Sharokhin, một lãnh đạo trong Cục Tác chiến.