Roku 1923 byl již velitelem pluku a v roce 1930 velel brigádě. Období Velkého teroru a čistek v armádě přežil díky tomu, že se zachoval zcela jinak než ostatní velitelé – začal si stěžovat na všechny strany včetně samotnému Stalinovi, což mu zřejmě zachránilo život (po vyznamenání v úspěšné bitvě u Chalchyn Golu si jej Stalin velmi oblíbil, takže případné zatčení již nadále nepřicházelo tolik do úvahy). V 30. letech působil ve funkci velitele jezdecké brigády, v letech 1931 až 1933 krátce pracoval v Generálním štábu Rudé armády. Od roku 1933 velel jezdecké divizi, za vynikající výsledky této divize obdržel v roce 1935 první z celkem šesti Leninových řádů. Ve druhé polovině 30. let působil nejprve ve funkci velitele jezdeckého sboru, posléze jako zástupce velitele jízdy Běloruského vojenského okruhu. V závěru 30. let také krátce sloužil na Dálném Východě. Zde v letech 1939 až 1940 velel 1. sovětsko–mongolské armádní skupině, která bojovala proti japonské Kuantungské armádě na mongolské hranici v letech 1938 až 1939. Vše začalo jako běžná šarvátka na hranicích a rychle vyústilo v opravdovou válku. Japonci zaútočili s 80 000 muži, 180 tanky a 450 letouny. Tento útok vyústil do rozhodující bitvy u Chalchyn Golu. Zde napodobil Hannibalovu taktiku a během několika dnů byli Japonci poraženi. Za tuto operaci získal své první vyznamenání titulem Hrdina Sovětského svazu.