בקיץ 1939 הוטל על ז'וקוב להדוף את הצבא היפני שפלש למונגוליה. מונגוליה הייתה קשורה בחוזה הגנה וידידות עם ברית המועצות. הצבא היפני ראה עצמו בלתי מנוצח ועולה על הצבא הסובייטי. היפנים פלשו בכוח גדול למונגוליה באזור הנהר חלקין גול. בחודשים יולי-אוגוסט 1939 התנהל קרב מכריע וכבד, קרב חלקין גול, בין הסובייטים והיפנים בהשתתפות כוחות רגלים, שריון, ארטילריה ואוויר, שבו הובסו היפנים בידי הסובייטים תחת פיקודו של ז'וקוב, ונסוגו ממונגוליה. ז'וקוב קיבל על כך את אות גיבור ברית המועצות והוזמן לפגישה ראשונה עם סטלין. סטלין התרשם מכישוריו של ז'וקוב ומינה אותו למפקד הצבאי של אזור קייב, וב-31 בינואר 1941 מונה לראש המטה הכללי. בתפקיד זה היה בעת פתיחת מבצע ברברוסה, התקפת הפתע הגרמנית הרחבה על ברית המועצות.