Ήταν ένας από τους λίγους ανώτατους αξιωματικούς του Κόκκινου Στρατού που γλίτωσαν από τις σταλινικές εκκαθαρίσεις του 1937 - 1939, πιθανόν επειδή εκείνη την περίοδο διοικούσε την "1η Σοβιετική Στρατιά της Μογγολίας" που πολεμούσε εναντίον των Ιαπώνων. Στο σύντομο αυτό πόλεμο, ο οποίος προηγήθηκε του Β΄ Παγκοσμίου, ο Ζούκοφ διακρίθηκε για την πρωτοποριακή χρήση των μηχανοκίνητων δυνάμεων που του έφεραν τη νίκη στη Μάχη του Χαλχίν Γκολ και το παράσημο του «Ήρωα της Σοβιετικής Ένωσης». Το 1940 προήχθη σε στρατηγό και επιτελάρχη του Κόκκινου Στρατού.