Després de la denúncia de Khrusxov contra Stalin el 1956, al XX Congrés del PCUS (conegut com el "discurs secret", Voroixílov s'uní temporalment a la facció conservadora amb Malenkov, Làzar Kaganòvitx i Viatxeslav Mólotov (l'anomenat "Grup antipartit"), en un intent de retirar a Khrusxov del poder al juny de 1957, però aviat canvià de bàndol i recolzà a Khrusxov.