カガノーヴィチは堅物のスターリン主義者であり、幹部会に残っていたが、1953年3月のスターリン死後にまもなく影響力を失くした。1957年、彼は強硬路線のスターリン主義者であるヴャチェスラフ・モロトフ、クリメント・ヴォロシーロフ、ゲオルギー・マレンコフ（いわゆる「反党グループ」）に従い、ここ2年でスターリン批判をますます激しくするかつての子分・フルシチョフに対する党内クーデターに参加したが、失敗に終わった。クーデター失敗の結果、カガノーヴィチは幹部会および中央委員会を解任され、そしてウラル地方の小さなカリウム工場の工場長の地位を与えられた。1961年、彼は党から完全に追放され、モスクワに住む年金受給者の1人となった。1987年、『クレムリンの狼：ソビエト連邦恐怖の設計者、L.M.カガノーヴィチ最初の伝記』と題した本が、米国人ジャーナリスト、スチュアート・カーンによって書かれた。本の中でカーンは、長らく行方不明であったカガノーヴィチの甥であると主張した。カーンはまた、モスクワ訪問中にカガノーヴィチと個人的にインタビューをしたと述べた。このインタビューでカガノーヴィチは1953年にスターリンが死んだことについて（毒殺と推定される）一部責任があると認めたと主張している。同様の異様な主張に、スターリンは晩年にカガノーヴィチの姉妹と結婚したとか、ユダヤ人であるカガノーヴィチがユダヤ人狩りの立役者だったというものがある。こうした主張は全て事実かという問題は、カーンはカガノーヴィチと話したことはないし、その本の内容も嘘っぱちだと、娘を含め生き残った家族は、手紙の中で述べている（当時のNKVD長官ラヴレンチー・ベリヤが、スターリンに毒を盛ったという説が流れている）。
1935年から1937年まで、カガノーヴィチは運輸人民委員（大臣）として働いた。大粛清の開始前でさえ、彼は「破壊活動家」として何千人もの鉄道管理者や経営者の逮捕を組織化した。1937年から1939年までは、彼は重工業人民委員であった。1939年から1940年までは、石油工業人民委員を務めた。彼の仕事は、規律の統制とスターリン政策への追従を進めるため、あらゆる所での逮捕と繋がっていた。1930年代末の全党協議会において、「外国のスパイ」と「サボタージュを行う者」を探し出し、迫害する一層の努力が必要だとの演説を行った。スターリンの命令を実行するうえで、その冷酷無比ゆえに、彼は「鉄のラーザリ」の渾名を付けられた。これら数年間に死んだ多くの一人に、航空機産業人民委員だったラーザリの弟ミハイル・カガノーヴィチがいた。1940年1月10日、ミハイルはカザンの航空機工場「N24」の工場長に降格させられた。1941年2月、共産党第18回大会の期間、ミハイルはもし工場が締め切りを逃すなら党から追放されると警告された。1941年6月1日、ラーザリからの電話のあと、ミハイルは自殺した。大祖国戦争（独ソ戦）期、カガノーヴィチは北カフカース及びザカフカース戦線の政治委員（軍事会議メンバー）を務めた。1943年から1944年にかけての彼は再び運輸人民委員を務めていた。1943年、彼は社会主義労働英雄の称号を授与された。1944年から1947年まで、資源開発相であった。1947年、彼はウクライナ共産党第一書記となった。1948年から1952年の間は国家資源供給委員会（Gossnab）議長、そして1952年から1957年は閣僚会議第一副議長（副首相）であった。カガノーヴィチは1957年まで政治局員及び幹部会員であった。彼はまた、のちのソ連共産党第一書記となるニキータ・フルシチョフの初期の指導者でもあった。フルシチョフは1930年代、カガノーヴィチのモスクワ市における代理人として頭角を現した。1947年、フルシチョフがウクライナの指導的地位を解任され、格下の政府首相職に留められたとき、スターリンは彼に代えて（その年に復職するその時まで）カカノーヴィチを派遣した。
明治元年9月14日（1868年10月30日）、庄内軍の一番大隊と二番大隊は帰国して自領防衛戦に徹することになった。しかし、庄内武士の誇りのために一番大隊・二番大隊の勇猛さを示そうと、酒井了恒（吉之丞）の主張により最後の一戦をすることになった。9月15日、一番隊は刈和野を出発して上淀川に行き、亀ヶ崎隊と協力して敵を打ち払う予定にしていた。峰吉川を過ぎて峰の山峠に差し掛かった頃、荒川方面に新政府軍がいるという情報が入った。そこで荒川に向かったが、敵はいなかった。午後2時頃、刈和野付近で一関軍と新政府軍との間で銃撃戦が始まる。油断しきっていた一関軍は敗走をはじめ、庄内軍に援軍を要請した。新政府軍は久保田藩、新庄藩、島原藩を後方に置いて、薩摩藩、福岡藩、平戸藩、大村藩の九州連合軍1,000名の精鋭で進撃を開始した。そこに、庄内軍二番大隊が刈和野二度目の奪回戦を展開することになった。酒井吉之丞は病床にあったので、副将の竹内茂祐（右膳）が指揮を執った。新政府軍は前回のように胸壁陣地を築く暇がなく、遮蔽物がない中で戦闘を行った。敗走してきた一関軍に弾丸を与えて踏みとどまらせ、夕方まで戦いぬいた。100メートルの距離で、新政府軍と庄内軍が銃撃戦を展開した。9月16日、庄内軍は川を越えて対岸より刈和野の敵を横撃させる、大胆な迂回作戦を考える。両軍の間に激しい銃撃戦が続いて膠着状態になっていた時に、病床の酒井吉之丞が駕籠に乗って指揮して味方を叱咤激励した。すると庄内軍は勢いを取り戻し、午前11時頃に新政府軍は押され始めた。ついに、神宮寺から駆けつけた一番大隊の竹内大作隊が背後から攻撃を始めたことをきっかけとして、午後2時頃に新政府軍は角館方面へ敗走し始めた。これを機に仙台藩軍も攻撃を開始した。新政府軍は、薩摩軍が戦死者3名・負傷者5名、福岡軍が戦死者4名・負傷者4名、大村軍は戦死者7名・負傷者32名、平戸軍は戦死者14名の被害を出した。この戦闘の後、山本登雲助（山口藩士。奥羽鎮撫隊監軍すなわち前線指揮官であるが、見当違いの采配が多くこの頃には発言力を失っていた）は、「庄内兵の勢いが以前にも増して強く抗し難い、久保田城は風前の灯であろう」と弱音を吐いた。しかし前山清一郎（佐賀藩参謀。山本に代わる実質的な指揮官）は、「越後口の新政府軍が進軍してきているため庄内兵は撤退しようとしている。勢いが増したのは撤退時に追撃されるのを恐れてのことだ」と看破して、追撃を命じた。