カガノーヴィチは堅物のスターリン主義者であり、幹部会に残っていたが、1953年3月のスターリン死後にまもなく影響力を失くした。1957年、彼は強硬路線のスターリン主義者であるヴャチェスラフ・モロトフ、クリメント・ヴォロシーロフ、ゲオルギー・マレンコフ（いわゆる「反党グループ」）に従い、ここ2年でスターリン批判をますます激しくするかつての子分・フルシチョフに対する党内クーデターに参加したが、失敗に終わった。クーデター失敗の結果、カガノーヴィチは幹部会および中央委員会を解任され、そしてウラル地方の小さなカリウム工場の工場長の地位を与えられた。1961年、彼は党から完全に追放され、モスクワに住む年金受給者の1人となった。