出生在帝俄基辅省西部拉多梅什利的卡班纳村，哥哥有米哈伊尔·莫伊谢耶维奇·卡冈诺维奇，兄弟四人在20岁前都加入了布尔什维克。1911年加入俄罗斯社会民主工党（布）之后，在乌克兰各地的制鞋厂和皮革厂建立了一连串共产主义小组。1917年春担任顿涅茨克苏维埃副主席。十月革命爆发时，卡冈诺维奇是戈梅利市党组织的领导人，并被推举为代表。俄国内战时，任下诺夫哥罗德省和沃罗涅日省的一把手，后任突厥斯坦自治共和国领导人。 1924年，卡冈诺维奇当选为俄共（布）中央组织局委员兼书记处书记，1925年兼任乌克兰共产党（布）第一书记。1928年任莫斯科州委第一书记。1930年到1935年，卡冈诺维奇担任莫斯科州委和市委书记、政治局委员。1934年联共十七大出任中央监察委员会主席和政治局外事委员会主席。从1935年到1944年，先后担任交通、重工业、燃料工业、石油各部人民委员。