Sergei Chtemenko nasceu em uma família de camponeses na aldeia ucraniana de Uriupinsk. Seu sobrenome original era Chtemenkov, com o sufixo "-ov", mas após a morte de seu pai, sua mãe mudou o sobrenome russo para o estilo ucraniano, Chtemenko. Chtemenko voluntariou para o Exército Vermelho em 1926, e em 1930 ele se juntou ao Partido Comunista e se formou na Escola Antiaérea em Sevastopol. Depois de vários anos na artilharia, ele se mudou para o Corpo de Blindados, completando seus estudos na Academia de Mecanização e Motorização, em 1937. Ele comandou um regimento de tanques até setembro de 1938, quando foi convocado à Academia do Estado Maior. No final de agosto de 1939, com outros cadetes, Chtemenko foi designado como oficial para forças soviéticas que se preparavam para a invasão da Polônia. Durante a Guerra Soviética-Finlandesa, ele serviu como assistente no Estado-Maior. Depois de se matricular na Academia no outono de 1940, o pedido de Chtemenko para ser transferido para o novo Corpo de Tanques foi rejeitado e ele foi destacado como assistente do general Mikhail Charokhin, um chefe de departamento na Diretoria de Operações.