军中服役，他与布琼尼之后成为苏共内部受到斯大林青睐的所谓“骑兵派”的主要成员，掌握着红军的主要指挥权。在国内战争和波苏战争战争的末期，铁木辛哥已成为红军骑兵的总指挥。1930年代，他先后担任驻白俄罗斯（1933年）、基辅（1935年、1938年）、北高加索（1937年）、哈尔科夫（1937年）等地红军的总司令。到1939年，其辖制范围已包括苏联的整个西部边境地区。在1939年与德国联合武力瓜分波兰的战斗中，铁木辛哥担任了乌克兰方面军总司令。同年，他当选为苏共中央委员会委员。由于与斯大林的密交，铁木辛哥在