Cuando la Alemania Nazi invadió la Unión Soviética en junio de 1941, Rokossovski fue nombrado comandante del 16º ejército estacionado en Smolensk. Durante los choques germano-soviéticos librados en el invierno de 1941 y 1942, Rokossovski participó en la defensa de Moscú, al mando de Gueorgui Zhúkov.