V lednu 1922 byl jmenován zástupcem velitele Severokavkazského vojenského okruhu, v srpnu 1923 se pak stal zástupcem hlavního velitele ozbrojených sil pro jezdectvo a od dubna 1924 působil ve funkci inspektora jezdectva. V roce 1932 absolvoval Frunzeho vojenskou akademii. V listopadu 1935 se stal prvním maršálem Sovětského svazu, spolu s Michailem Tuchačevským, Klimentem Vorošilovem, Alexandrem Jegorovem a Vasilijem Bljucherem a byl jmenován velitelem Moskevského vojenského okruhu. Období stranických a armádních čistek v letech 1937–38 přežil jako blízký Stalinův přítel bez obtíží, roku 1938 byl jmenován členem sovětské Hlavní vojenské rady. V době čistek také neblaze proslul jako člen vojenského tribunálu, který „soudil“ maršála Tuchačevského a 7 dalších vysoce postavených sovětských důstojníků. Tehdy i projevil své nedostatečné vzdělání ohledně moderního vojenství, když prohlásil: „Tuchačevského návrhy zavést ve velkém měřítku tanky do Rudé armády by pro nás byly velkou pohromou!“ Když Sovětský svaz napadl Finsko, stal se jedním z předních velitelů sovětských jednotek; jeho velení je považováno za jeden z důvodů katastrofálních výsledků Rudé armády v zimní válce, jelikož nedokázal vůbec pochopit moderní válečnictví, teorii ani praxi. V roce 1940 byl jmenován do funkce prvního náměstka lidového komisaře obrany, v témže roce se stal členem Ústředního výboru Komunistické strany Sovětského svazu.