Quan l'Alemanya nazi envaí la Unió Soviètica al juny de 1941, Rokossovski esdevingué comandant del 16è Exèrcit estacionat prop de Smolensk. Durant la dura lluita de l'hivern de 1941-42, Rokossovsky jugà un paper clau durant la Batalla de Moscou a les ordres del Mariscal Júkov. A inicis de 1942 fou traslladat al Front de Briansk. Allà lluita amb el flanc dret de les forces soviètiques mentre que els alemanys es dirigien cap al Don i Stalingrad a l'estiu de 1942. Durant la Batalla de Stalingrad Rokossovski, comandant el Front del Don, comandà l'ala nord del contraatac soviètic que encerclà el 6è Exèrcit alemany del mariscal Paulus i que feu possible la victòria soviètica. El 1943, després de ser nomenat comandant del Front Central, conduí amb èxit les operacions defensives al sortint de Kursk, i liderà el contraatac soviètic que derrotà la darrera gran ofensiva alemanya al Front Oriental i permeté als exèrcits soviètics avançar fins a Kíev. El Front Central va ser reanomenat 1r Front de Bielorússia, amb el que l'exèrcit soviètic penetrà a Bielorússia i a Polònia. Després de l'èxit de l'Operació Bagration, la reputació de Rokossovski quedà assegurada, i després d'aniquilar les forces alemanyes, els exèrcits de Rokossovski arribaren a la riba est del Vístula, tocant a Varsòvia. Per aquestes victòries va ser elevat al rang de Mariscal de la Unió Soviètica.