Zu Beginn des Deutsch-Sowjetischen Krieges befehligte Rokossowski das 9. mechanisierte Korps in der Panzerschlacht bei Dubno-Luzk-Riwne, wo er einen erfolgreichen Gegenstoß bei Dubno durchführen konnte. Im Juli 1941 wurde Rokossowski daher zum Generalleutnant und Kommandeur einer ad hoc zusammengestellten operativen Gruppe der 16. Armee ernannt, die der sowjetischen Westfront unterstellt war und den Frontabschnitt bei Smolensk verteidigte (→Kesselschlacht bei Smolensk). Rokossowski konnte in seinem Abschnitt eine wirksame Verteidigung aufbauen und den deutschen Vormarsch erheblich verzögern. Nachdem er im Oktober 1941 mit seinem Stab aus dem Kessel von Wjasma entkommen war, wurde er zum Befehlshaber der 16. Armee ernannt und stellte sie aus verfügbaren Einheiten quasi neu auf. Während der Schlacht um Moskau verteidigte die 16. Armee den Frontabschnitt bei Istra.