Na Sowjet-mislukkings in die Winteroorlog is Rokossofski weer ingestel weens 'n dringende behoefte van ervare offisiere. Na die inval van Duitsland in die Sowjetunie het Rokossofski sleutelrolle gespeel in die verdediging van Moskou en die teenoffensiewe in Stalingrad en Koersk. Hy was 'n belangrike rol in die beplanning en uitvoering van 'n deel van Operasie Bagration - een van die mees deurslaggewende suksesse van die Rooi Weermag van die oorlog - waarvoor hy as Slaghaar van die Sowjetunie aangestel is.