Ворошилов је рођен у Веркњеју, близу Јекатаринослава (сада Дњепропетровск), Украјина, тада унутар Руског царства. Ступио је у бољшевичку партију 1903. Након Руске револуције 1917, био је члан украјинске привремене владе, и комесар за унутрашње послове. У совјетској одбрани Царицина током руског грађанског рата, постао је близак са Стаљином. Био је добро познат по помагању Стаљину у Војном савету (који је водио Лав Троцки). Учествовао је на Јужном фронту Руског грађанског рата и у Пољско-совјетском рату са 1. коњичком армијом.