Počas vojny s Fínskom v 19391940 sa po prvýkrát prejavili dôsledky represií v dôstojníckom zbore ako aj Vorošilovove nekompetentné vedenie armády. Pôvodnou prípravou plánu na vpád do Fínska bol poverený B. M. Šapošnikov. Jeho plán bol však národným komisariátom obrany zhodnotený ako pesimistický a vypracovaním nového plánu boli poverení Vorošilov a K. A. Mereckov. Plán útoku bol síce následne schválený, ale sovietsky postup za zbytočne krvavých strát stroskotal. Za čo bol Vorošilov z funkcie odvolaný. Počas 2. svetovej vojny bol veliteľom Severozápadného frontu, neskôr Leningradského frontu, pričom aj v týchto funkciách si neviedol dobre. Koncom októbra 1942 bol členom Hlavného stanu povereným organizáciou nových jednotiek. Presne o rok neskôr bol na čele partizánskeho hnutia a v máji 1943 bol menovaný predsedom Trofejného výboru, ktorého úlohou bolo riadenie a ekonomické využitie získanej koristi z území nepriateľa.