採用军衔制被授予师级军衔，1936年初被任命为隶属列宁格勒军区的骑兵第5军军长，离开了服务多年的偏远的外贝加尔地区，来到军部所在地：俄罗斯的古老城市普斯科夫。
大清洗及复职.1937年8月，罗科索夫斯基突然遭到逮捕，有人指控他与波兰和日本的谍报机关有瓜葛，被判处死刑。由于老上司铁木辛哥元帅出面干预，罗科索夫斯基在被执行死刑时，当时旁边的两个同时被处决的死刑犯都被处决了，唯独罗科索夫斯基被打了一颗空包弹，故此性命得以保全。最终经过两年半的审查，查明所控不实，铁木辛哥以大战在即，军队缺