Непосредствено след нападението на Германия над Съветския съюз, на маршала е даден поста главнокомандващ на Северозападното направление (просъществувало до 5 септември 1941 г.), управляващо няколко фронта; а после за пет дена (5 – 10 септември) е главнокомандващ на Ленинградския фронт. От една страна, Ворошилов показва храброст – в една от битките повежда контраатака срещу немските танкове, само с пистолет в ръка, но от друга – голяма некомпетентност и неспособност да предотврати свиването на обръча около Ленинград. Заради това е освободен от заемания пост – на неговото място е изпратен Георгий Жуков. До края на войната на Ворошилов са давани не толкова отговорни длъжности – последователно е назначен за представител на Ставката на Върховното главно командване за формирането на резервни войски (септември 1941 – февруари 1942 г.), представител на Ставката за Волховския фронт (февруари – септември 1942 г.), главнокомандващ на партизанското движение (от септември 1942 до май 1943 г.), председател на Трофейния комитет при ГКО (май – септември 1943 г.), председател на Комисията по въпросите за примирията (септември 1943 – юни 1944 г.). Участва и в работата на Техеранската конференция.