Почетком немачке инвазије на Совјетски Савез, јуна 1941, Ворошилов је командовао северозападним правцем и лењинградским фронтом. Показао је значајну личну храброст - у једном тренутку је лично предводио контранапад против немачких тенкова, наоружан само пиштољем - али и велику неспособност, и није успео да спречи Немце да опколе Лењинград. Разрешен је те дужности, и заменио га је много способнији Георгиј Жуков. 1945—1947. је надгледао успостављање комунистичког режима у Мађарској.