Begin 1942 werd Rokossovski overgeplaatst naar het Brjanskfront. Hij commandeerde de rechterflank van het Sovjetleger bij de terugtocht naar de Don en Stalingrad. Tijdens de Slag om Stalingrad commandeerde Rokossovski het Donfront en leidde de noordelijke vleugel van Sovjetaanval om het Zesde Leger van Paulus te omsingelen en vervolgens te vernietigen. In 1943 werd hij bevelhebber van het Centrale Front. In datzelfde jaar leidde Rokossovski met succes defensieve acties bij Koersk, en leidde toen de aanval ten westen van Koersk die de laatste belangrijkste Duitse aanval aan het oostfront versloeg. Daarna werd hij overgeplaatst naar het Eerste Wit-Russische Front, dat hij commandeerde tijdens de Sovjetaanval door Wit-Rusland en Polen. Hij voerde Operatie Bagration aan, die de Sovjetlegers in 1944 aan de oostoever van de Wisla tegenover Warschau bracht. Hiervoor kreeg hij de titel Maarschalk van de Sovjet-Unie.