Le rapport Khrouchtchev dévoilé lors du congrès du PCUS en février 1956, semble indiquer que cette faveur était en train de faiblir au début des années 1950. Selon ces révélations, Vorochilov ne pouvait plus assister aux réunions du Politburo sur ordre de Staline qui voyait en lui un « agent anglais » à surveiller d'abord et à éliminer ensuite. Son épouse est décédée en 1959.