民革命军骑兵第1师的教官，1928年9月归国后被任命为库班骑兵独立第5旅旅长兼政治委员，因战功卓着又获得第3枚红旗勋章。1929年1月又进莫斯科伏龙芝军事学院高级首长进修班进修了两个月。同年，在远东特别集团军司令布留赫尔的指挥下，罗科索夫斯基参与了因中东路事件而爆发的与中国东北军张学良部的战争。1930年起先后任骑兵第7师和第15师师长，1932年2月库班第5旅扩编为骑兵第5师并升任师长。因由于训练工作成绩突出，结果荣获了苏联政府的最高级勋章：列宁勋章。1935年9月苏军採用军衔制被授予师级军衔，193