Rokossowski walczył także w wojnie domowej w Mongolii. Był dowódcą dywizjonu, a potem pułku kawalerii, był kilkakrotnie ranny i odznaczony za odwagę i umiejętności dowódcze. W 1919 wstąpił do Rosyjskiej Komunistycznej Partii (bolszewików). We wrześniu 1924, jako dowódca 27 pułku kawalerii, z Zabajkala został skierowany do Wyższej Szkoły Kawalerii w Leningradzie (w czasie kursu szkołę przemianowano na Kawaleryjskie Kursy Doskonalenia Dowódców i skrócono okres szkolenia z dwóch lat do jednego roku). Ukończył ją we wrześniu 1925, wraz z Gieorgijem Żukowem. Kolejno dowodził pułkiem, brygadą, dywizją i korpusem kawalerii. W latach 1926–1928 był instruktorem armii w Mongolii, w 1930 dowódcą 7 Samarskiej Dywizji Kawalerii, a później 5 Korpusu Kawalerii. 26 listopada 1935 został mianowany komdiwem. W 1936 roku został wysłany do Hiszpanii jako doradca przy wojskach republikańskich.