Μεταξύ 1941-1944, κατά τη διάρκεια του Β΄ Παγκοσμίου Πολέμου, ο Βοροσίλοφ ήταν μέλος της επιτροπής κρατικής άμυνας. Ο Βοροσίλοφ διέταξε τα σοβιετικά στρατεύματα κατά τη διάρκεια του Χειμερινού πολέμου από τον Νοέμβριο του 1939 έως τον Ιανουάριο του 1940, αλλά λόγω του κακού σχεδιασμού της Σοβιετικής Ένωσης και της ανικανότητας του Βοροσίλοφ ως στρατηγού, ο Κόκκινος Στρατός υπέστη περίπου 320.000 απώλειες σε σύγκριση με 70.000 φινλανδικές απώλειες. Όταν η ηγεσία συγκεντρώθηκε στη ντάκα του Στάλιν στο Κούντσεβο, ο Στάλιν φώναξε στον Βοροσίλοφ για τις απώλειες. Ο Βοροσίλοφ απάντησε αναλόγως, κατηγορώντας τον Στάλιν για αποτυχία στην εξάλειψη των καλύτερων στρατηγών του Κόκκινου Στρατού στις εκκαθαρίσεις του. Βόροσιλοφ στη συνέχεια χτύπησε μια πιατέλα ψητού χοίρου γάλακτος στο τραπέζι. Ο Νικήτα Χρουστσόφ δήλωσε ότι ήταν η μόνη φορά που είδε τέτοια έκρηξη. Ο Βοροσίλοφ, ωστόσο, έγινε ο αποδιοπομπαίος τράγος για τις αρχικές αποτυχίες στη Φινλανδία. Αργότερα αντικαταστάθηκε ως Κομισάριος Άμυνας Σεμιόν Τιμοσένκο. Ο Βοροσίλοφ έγινε τότε Αναπληρωτής πρωθυπουργός αρμόδιος για θέματα πολιτισμού.