Vorošilov syntyi Verhnejessä lähellä Jekaterinoslavia (nyt Dnipro, Ukraina) työläisperheen poikana. Hänen ensimmäinen ammattinsa oli metallityömies. Hän liittyi bolševikkeihin vuonna 1903 ja oli mukana vuoden 1905 vallankumouksessa, jonka avulla saavutettiin väliaikaisia poliittisia uudistuksia. Lokakuun vallankumouksen jälkeen hän oli mukana Ukrainan väliaikaishallituksessa sisäasiain kansankomissaarina.