Počas občianskej vojny bol v rokoch 1918-1920 významným veliteľom Červenej armády v oblasti Caricynu a spoločne s F.E. Dzeržinským bol spoluzakladateľom tajnej politickej polície Čeka. Po skončení občianskej vojny sa ako Stalinov blízky spolupracovník dostal do významných politických funkcií. Roku 1921 pomáhal tiež potlačiť povstanie námorníkov v Kronštadte. V rokoch 19251940 pôsobil ako komisár pre obranu ZSSR, od roku 1926 člen Politbyra, od roku 1937 Najvyššieho sovietu. Zásluhy z občianskej vojny, dobré vzťahy so Stalinom a politická angažovanosť mu roku 1935 vyniesli hodnosť maršala ZSSR.