1921年3月にはクロンシュタットで水兵の反乱、5月にはタンボフ州での3万人の農民蜂起などがあったが、いずれもトゥハチェフスキーがこれを鎮圧。1924年にはレーニンが死去し、スターリンがその後継として独裁権力を掌握しはじめ、1925年にはスターリンの腹心のクリメント・ヴォロシーロフが陸海軍人民委員（のちの国防人民委員）になり、反スターリン的またはその見なされる将校たちが多数追放されはじめたが、内戦時代からの国家的英雄であるトゥハチェフスキーにはさすがのスターリンも手が出せず、1925年から1928年までの間、トゥハチェフスキーは赤軍参謀長に就任し、1931年からは陸海軍人民委員代理兼兵器局長に就任する。この間、赤軍再編成や機械化部隊・空挺部隊などの導入など、一貫して赤軍の機械化・近代化につとめ、その運用のための縦深作戦理論の確立に指導的役割を果たした。こうした功績により、1934年からは共産党中央委員会委員候補に選出され、1935年にはヴォロシーロフら4名とともにソ連赤軍最初の元帥の一人となった。しかしスターリンは。トゥハチェフスキーはスターリンにとってもっとも不愉快な人物となり、ついにスターリンはその抹殺を目論むようになる。