Durante la seconda guerra mondiale fu membro (1941–1944) del Comitato di Difesa dello Stato insieme a Stalin, Molotov, Malenkov, e Berija. Comandò le truppe sovietiche dal novembre 1939 al gennaio 1940 durante la guerra russo-finlandese, fino a quando non venne sollevato dall'incarico per la scarsa capacità strategica e militare dimostrata, che aveva causato ingenti perdite di uomini all'Armata Rossa. Quando la leadership del Partito si riunì nella dacia di Stalin a Kuncevo, quest'ultimo urlò infuriato contro Vorošilov rimproverandolo per le sconfitte subite; al che questi rispose che il fallimento era stato causato dell'eliminazione dei migliori comandanti sovietici durante le purghe volute proprio da Stalin e accompagnando la sua affermazione rompendo sul tavolo un piatto di carne arrosto. Nikita Chruščёv raccontò che questa fu l'unica volta nella quale fu testimone di una lite così furibonda nella dirigenza del Partito. Inoltre, Vorošilov venne biasimato anche per l'iniziale insuccesso della guerra in Finlandia e, poco tempo dopo, venne sostituito da Semën Timošenko alla carica di Commissario della Difesa. A causa dei suoi fallimenti in campo militare, Vorošilov venne trasferito ad occuparsi del settore culturale.