Ως διοικητής της 16ης Στρατιάς συνέβαλε στην απώθηση των Γερμανών από τη Μόσχα και τον Ιούλιο του 1942 ανέλαβε τη διοίκηση του Μετώπου του Μπριάνσκ. Δύο μήνες αργότερα, ο Στάλιν αποφάσισε να τον ορίσει επικεφαλής του Μετώπου του Ντον, απ' όπου συμμετείχε στην εκμηδένιση της 6ης Στρατιάς στο Στάλινγκραντ. Μετά τη μεγάλη νίκη στις όχθες του Βόλγα, ο Ροκοσόφκσυ άφησε τη σφραγίδα του σε όλες τις μεγάλες μάχες του Ανατολικού Μετώπου που ακολούθησαν, όπως το Κουρσκ, η Λευκορωσία (όπου προήχθη σε στρατάρχη), η απελευθέρωση της γενέτειράς του Πολωνίας και η κατάληψη του Βερολίνου. Του απονεμήθηκε δύο φορές το μετάλλιο του Ήρωα της Σοβιετικής Ένωσης.