Po sovětských neúspěších v zimní válce byl Rokossovskij kvůli naléhavé potřebě zkušených důstojníků povolán. Po německé invazi do Sovětského svazu hrál Rokossovskij klíčovou roli při obraně Moskvy a protiofenzívách u Stalingradu a Kurska. Pomohl při plánování a realizaci části operace Bagration - jednoho z nejrozhodnějších válečných úspěchů Rudé armády - za kterou byl jmenován maršálem Sovětského svazu.