希洛夫出生于俄罗斯帝国叶卡捷琳诺斯拉夫省（今乌克兰卢甘斯克州利西昌斯克）镇的一个铁路工人家庭。1903年加入俄国社会民主工党。1906年4月参加在瑞典斯德哥尔摩举行的俄国社会民主工党第四次代表大会，与终生挚友斯大林结识。1917年参加俄国二月革命和十月革命，11月，担任彼得格勒委员，与捷尔任斯基一起从事肃反委员会的组织工作。1918年与斯大林参与了察里津战役，因指挥不当遭俄共布中央指责。在1919年3月召开的俄国共产党（布尔什维克）第八次代表大会上，伏罗希洛夫作为军事反对派的一员遭俄共布中央定罪。因丢失