Sergei Štemenko nacque in una famiglia contadina nel villaggio di Urjupinsk. Il suo cognome originale era Štemenkov con il suffisso "-ov" come altre persone del luogo, ma dopo la morte del padre, la madre cambiò il cognome del figlio in uno stile ucraino: Štemenko. Štemenko entrò come volontario nell'Armata Rossa nel 1926. Nel 1930 si iscrisse nel Partito Comunista, e si laureò nella scuola antiaerea di Sebastopoli nello stesso anno. Dopo molti anni nell'artiglieria, si spostò nelle forze corazzate, completando i suoi studi nell'accademia di meccanizzazione e motorizzazione nel 1937. Fino al 1938 comandò un reggimeno di carri armati, quando fu convocato all'Accademia dello stato maggiore sovietico. Nel tardo agosto del 1939, insieme ad altri cadetti, fu assegnato come ufficiale dello stato maggiore sovietico per la preparazione dell'Invasione sovietica della Polonia, a cui prese parte. Durante la Guerra d'inverno servì come assistente dello stato maggiore sovietico. Dopo essersi immatricolato all'accademia nell'autunno del 1940, Štemenko richiese di essere trasferito ai nuovi corpi corazzati sovietici ma la sua richiesta fu respinta e fu nominato aiutante del generale Mikhail Sharokhin, capo del dipartimento del direttorato delle operazioni.