לאחר פלישת הנאצים לברית המועצות פיקד וורושילוב על הכוחות בחזית הצפון מערבית וגילה אומץ לב רב (מסופר עליו כי הנהיג אישית מתקפה נגד כוח שריון גרמני בעודו חמוש באקדח בלבד). צבאו של וורושילוב עצר את הצבא הגרמני לפני לנינגרד. היו ששיבחו את תפקודו, בעוד אחרים ביקרו אותו על שלא הצליח למנוע את המצור על לנינגרד. לקראת סוף 1941 הוחלף וורושילוב על ידי ז'וקוב ונשלח להקים את צבא הוולגה. בהמשך מונה לפקד על כוחות הצבא על הגבול עם יפן. הוא שב לחזית הצפונית בסוף ינואר 1942. בסוף 1943 השתתף בועידת טהראן.