Kaganovitsj jukset ved valget av ny generalsekretær under partikongressen i 1934. Kaganovitsj var en av Josef Stalins fem mest betrodde medarbeidere frem til slutten av utrenskningene mot slutten av 1930-årene, men hadde viktige posisjoner i politbyrået helt til Stalin døde.