Hijo de campesinos, Chernenko ingresó en el Partido Comunista de la Unión Soviética (PCUS) en 1931, participando de forma destacada en la práctica política del estalinismo durante la década de los años 1930, principalmente en la eliminación de los kuláks.