经济技术装备供给委员会主席，负责大工业企业的重建。在联共十九大上也进入了中央主席团排在第九位。1953年斯大林去世后，任苏联部长会议副主席兼建筑物资工业部长和劳动与工资国家委员会主席。1957年6月底，在苏共中央主席团的倒赫鲁晓夫行动失败。出任在索利卡姆斯克的乌拉尔钾肥工厂厂长。 1961年10月，苏共二十二大通过了将卡冈诺维奇开除出党的决议，回到了莫斯科住在伏龙芝滨河大街公寓退休。自从1961年被开除党籍之后，卡冈诺维奇多次写信给时任领导人请求恢复党籍，他写过给赫鲁晓夫，勃列日涅夫，契尔年科和戈尔