伏罗希洛夫出生于俄罗斯帝国叶卡捷琳诺斯拉夫省（今乌克兰卢甘斯克州利西昌斯克）镇的一个铁路工人家庭。1903年加入俄国社会民主工党。1906年4月参加在瑞典斯德哥尔摩举行的俄国社会民主工党第四次代表大会，与终生挚友斯大林结识。