1952年、党幹部会（政治局を改称）員となる。1953年、スターリンが死去したことにより、ソ連に大きな変化がもたらされる。ヴォロシーロフは、首相となったゲオルギー・マレンコフとソ連共産党書記局の主導権を握ったフルシチョフによって国家元首である最高会議幹部会議長に選出された。この三者は、スターリンの死の直後にラヴレンチー・ベリヤの逮捕を共謀していた。1956年、第20回党大会でフルシチョフがスターリン批判を開始すると、ヴォロシーロフは、一時的にマレンコフ、ヴャチェスラフ・モロトフ、ラーザリ・カガノーヴィチら、旧スターリン派（いわゆる「反党グループ」)に加わり、フルシチョフ攻撃に走った。しかし、1957年6月、フルシチョフが権力闘争に勝利すると、ヴォロシーロフはフルシチョフ側に寝返った。