Το 1928 επέστρεψε στη Μόσχα, για να φοιτήσει στη Στρατιωτική Ακαδημία του Φρούνζε και τη δεκαετία του 1930 ανέλαβε τη διοίκηση διάφορων μεραρχιών του Κόκκινου Στρατού. Ήταν στρατιώτης του 5ου τάγματος των Δραγώνων του Καργκοπόλ και πήρε πολέμησε στις μάχες της Βαρσοβίας, του Λοτζ, στην Λιθουανία και την Λεττονία. Το 1937 ο Ροκοσόφσκυ διώχθηκε από το Λαϊκό Κομισαριάτο Εσωτερικών Υποθέσεων, και φυλακίστηκε θεωρούμενος ως κατάσκοπος. Εξήλθε από τη φυλακή το 1940. Ο Σεμιόν Τιμοσένκο, ωστόσο, του εμπιστεύτηκε χωρίς δισταγμό τη διοίκηση ενός σώματος και ο Ροκοσόφκσυ τον δικαίωσε απόλυτα, αφού ο σχηματισμός του ήταν ο μόνος που αντεπιτέθηκε με επιτυχία κατά τις πρώτες ημέρες της Επιχείρησης Μπαρμπαρόσα, καθηλώνοντας τον εχθρό για μία εβδομάδα.