926年9月进修班结业后被派回外贝加尔历任骑兵第3旅旅长、骑兵团团长，不久被派往蒙古人民共和国担任蒙古人民革命军骑兵第1师的教官，1928年9月归国后被任命为库班骑兵独立第5旅旅长兼政治委员，因战功卓着又获得第3枚红旗勋章。1929年1月又进莫斯科伏龙芝军事学院高级首长进修班进修了两个月。同年，在远东特别集团军司令布留赫尔的指挥下，罗科索夫斯基参与了因中东路事件而爆发的与中国东北军张学良部的战争。1930年起先后任骑兵第7师和第15师师长，1932年2月库班第5旅扩编为骑兵第5师并升任师长。因由于训练工