Les défaites de l'été 1941 entraînent son envoi par Staline comme représentant de la Stavka (le commandement des forces armées) sur les fronts les plus sensibles ; c'est ainsi que Joukov va avoir un rôle important sur le front de l'Est de la Seconde Guerre mondiale, coordonnant les troupes soviétiques lors de plusieurs opérations militaires majeures : il joue notamment un rôle important au début du siège de Léningrad, puis décisif lors de la bataille de Moscou ; il participe à la préparation de la contre-offensive de Stalingrad mais échoue devant Rjev ; il coordonne la partie nord de la bataille de Koursk, une partie de la reprise de l'Ukraine et la moitié sud de l'opération Bagration. Nommé commandant du principal front soviétique, le premier front biélorusse, Joukov dirige l'action principale de l'offensive Vistule-Oder, peine sur les hauteurs de Seelow et prend le centre de Berlin. C'est devant lui que les forces armées allemandes capitulent, le .