וורושילוב נולד בכפר ורחניה (Верхнее), ליד העיר יקטרינוסלב (דניפרופטרובסק) באימפריה הרוסית. עד גיל 12 היה רועה ולא למד קרוא וכתוב. בגיל 12 קורב על ידי מורה הכפר ולמד במשך שלוש שנים. הוא הצטרף למפלגה הקומוניסטית (שטרם נקראה בשם זה) ב־1903 ובשנת 1905 היה ציר בוועידה הבולשביקית בלונדון. בשובו לרוסיה נשלח לסיביר לחמש שנים. בעקבות המהפכה הקומוניסטית היה לחבר בממשלה הזמנית האוקראינית וכיהן כקומיסר לענייני פנים. במהלך קרבות ההגנה על העיר צאריצין במלחמת האזרחים היה לידידו הקרוב של סטלין.