加入俄国社会民主工党。1906年4月参加在瑞典斯德哥尔摩举行的俄国社会民主工党第四次代表大会，与终生挚友斯大林结识。1917年参加俄国二月革命和十月革命，11月，担任彼得格勒委员，与捷尔任斯基一起从事肃反委员会的组织工作。1918年与斯大林参与了察里津战役，因指挥不当遭俄共布中央指责。在1919年3月召开的俄国共产党（布尔什维克）第八次代表大会上，伏罗希洛夫作为军事反对派的一员遭俄共布中央定罪。因丢失哈尔科夫遭革命法庭起诉。1921年出任北高加索军区司令，1924年改任莫斯科军区司令，1925年11