1921年出任北高加索军区司令，1924年改任莫斯科军区司令，1925年11月至1934年6月任苏联陆海军人民委员和苏联革命军事委员会主席，1934年至1940年任苏联国防人民委员。1929年中东路事件期间坐镇赤塔设置野战总部。1935年11月，首批荣膺苏联元帅军衔。