ב־1923, בסיום לימודיו באקדמיה הצבאית של ברית המועצות, מונה ז'וקוב למפקד רגימנט הפרשים השביעי המוצב בסמרה, בדרום הרפובליקה הסובייטית הפדרטיבית הסוציאליסטית הרוסית. ב-1924 נשלח להתמחות בלוחמת פרשים בלנינגרד (סנקט פטרבורג). כשסיים את חוק לימודיו ב-1925, נקרא להתייצב לשירות במינסק. בשונה מהדרך הקונבנציונלית של נסיעה ברכבת, ז'וקוב, ביחד עם מפקד פלוגה ומפקד רגימנט נוסף שלמדו איתו, החליט לעשות את המסע בדהירה על סוסו. המסע, בן 963 קילומטרים, נמשך שבעה ימים ובמהלכו עברו השלושה דרך ויטבסק, אורשה ובוריסוב. במהלך המסע לא העריכו נכון את כמות המזון שהיו צריכים לקחת וכן סבלו מתקלות שונות, אולם הצליחו להשלים את המסע, שבמהלכו כל אחד מהם ירד במשקל בערך בשישה קילוגרם. בהמשך כל המעורבים במסע קיבלו שבחים מטעם דרג הפיקוד והדרג הממשלתי.
החל מ-1926 חתם על העסקה בהוראה קדם-צבאית בפקולטה הצבאית של האוניברסיטה הממלכתית הבלארוסית. ב-1929 השלים קורס פיקוד במטה הכללי העליון של הצבא האדום ובמאי 1930 התמנה לפקד על בריגדת (חטיבה) הפרשים השנייה בסמרה. בתפקיד זה היה נתון לפיקודו של מפקד דיוויזיית (אוגדה) הפרשים השביעית, קונסטנטין רוקוסובסקי. לאחר שנה בתפקיד נשלח לפיקוד הצבאי של הרפובליקה הסובייטית הסוציאליסטית הבלארוסית, בחסות ירונים אובורביץ'. ז'וקוב היה חסיד של לוחמת השריון המודרנית ונודע כמתכנן זהיר וכקפדן בענייני משמעת. הוא עלה בדרגה והתמנה לעוזר המפקח הראשי של חיל הפרשים של הצבא האדום. במרץ 1933 התמנה למפקד דיווזיית הפרשים הרביעית והוצב בסלוצק.
החל מ-1937 היה למפקד קורפוס (גיס) הפרשים השלישי והשישי והחל מ-1938 היה לממלא מקום מפקד מערך הפיקוד הצבאי העליון בבלארוס. הטיהורים הגדולים של סטלין בשורות הצבא האדום בסוף שנות השלושים פסחו עליו, והוא אף קודם בדרגות בידי ההנהגה הפוליטית של ברית המועצות. במהלך הטיהורים הופנו מצד קולגות בצבא האדום האשמות כלפי ז'וקוב על ש"לא ראה את האויבים של העם" ועל כך שהיה "קצר טווח־ראייה פוליטי." בתגובה התלונן בטלגרף לסטלין ולקלימנט וורושילוב, שר ההגנה באותה העת (המשרה נודעה אז בשם הקומיסר האחראי על הצבא והצי).
קרב חלקין גול.
בקיץ 1939 הוטל על ז'וקוב להדוף את הצבא היפני שפלש למונגוליה. הפלישה הייתה חלק מסדרת התכתשויות צבאיות על גבי הגבול בין ברית המועצות לסין, במדינת החסות מנצ'וקוו שהקים הצבא היפני, כחלק מהשאיפות הטריטוריאליות של יפן בסין. האינטרסים המנוגדים בין ברית המועצות לקיסרות היפנית, כמו גם האידאולוגיות המנוגדות שהנהיגו את שתי הארצות, הובילו ליחסים קרים ביניהן ולהתכתשויות הצבאיות על גבי הגבול. למעשה, התקיימה מלחמה מוגבלת ובלתי-מוכרזת בין ברית המועצות ליפן מאז הפלישה היפנית למנצ'וריה. מונגוליה הייתה קשורה בחוזה הגנה וידידות עם ברית המועצות, שהסדירה בה ממשלה קומוניסטית שהייתה בעלת ברית של מוסקבה עוד מאז מלחמת האזרחים בתחילת שנות העשרים. הצבא היפני ראה עצמו בלתי מנוצח ועולה על הצבא הסובייטי. היפנים פלשו בכוח גדול למונגוליה באזור הנהר חלקין גול.
במאי, הפלישה היפנית נבלמה בידי כוח מונגולי-סובייטי משותף שספג אבדות כבדות. ז'וקוב נשלח למזרח הרחוק הרוסי למערכה מול יפן בעיקר בזכות תפיסתו האסטרטגית וידיעתו בתחום חיל השריון. ביוני הגיע לחזית הקרב דרך הרכבת הטרנס-סיבירית כשהמשימה המקורית שלו הייתה לפקח על התפקוד של הכוחות הסובייטים והמונגולים. ז'וקוב הגיש דו"ח תקיף לסטאבקה (הפיקוד הצבאי העליון היושב במוסקבה) על המצב הרעוע של הכוחות ובעקבותיו מונה למפקד החזית כולה. הפיקוד הסובייטי על המערכה התבסס בעיר צ'יטה, הממוקמת בחבל עבר הבאיקל. בין יוני ליולי התכתשויות מזעריות בין שני הצבאות הסתכמו בשוויון כללי בחזית. ב-20 באוגוסט הורה ז'וקוב על פתיחת מתקפת נגד ממושכת שבה התקיים תיאום צבאי בין חילות רגלים, שריון, ארטילריה ואוויר של הכוחות הסובייטים. תחילה פתחו הכוחות בהפצצה אווירית וארטילרית ובהמשך בהתקדמות חילות הקרקע. לאחר כיתור כמעט מוחלט של הכוחות היפנים, ב-31 באוגוסט, אלו פנו לנסיגה מוחלטת מהטריטוריה המונגולית חזרה לקו הגבול בינלאומי.
הקרב היה למעשה הביצוע הראשון בשטח של תורת המלחמה של מלחמת בזק הכוללת שיתוף פעולה נרחב בין חילות הצבא. אותה אסטרטגיה צבאית הייתה בשלבי פיתוח בידי מפתחי תורות לחימה גם בצבאות נוספים באותה העת, בהם היינץ גודריאן בגרמניה או באזיל לידל הארט בבריטניה. ז'וקוב נקרא במאי 1940 למוסקבה, קיבל שם את אות גיבור ברית המועצות, הועלה בדרגה לגנרל ארמייה (הדרגה השנייה הכי בכירה בשורות הצבא האדום) והוזמן לפגישה ראשונה פנים אל פנים עם סטלין. סטלין התרשם מכישוריו של ז'וקוב ומינה אותו למפקד הצבאי של אזור קייב.
פיקוד אזור קייב – כיבוש בסרביה.
אזור קייב, אשר השתרע על רוב שטחי הרפובליקה הסובייטית הסוציאליסטית האוקראינית, היה ממחלקות הצבא האדום החשובות ביותר. בהיותו המפקד הצבאי של האזור, ז'וקוב פעל לטפח יזמות בקרב החילות ההנדסיים ומוכנות צבאית כוללת לקראת תרחישי מלחמה אפשריים. ז'וקוב מצא עניין מיוחד ביזמותו הצבאית של מיכאיל קלשניקוב הצעיר, שהחל שירותו רק שנתיים קודם לכן. ז'וקוב שלח את קלשניקוב למוסקבה לפתח את תוכניותיו ולבסוף יזם את רובה הסער AK-47 שהתפרסם והפך נפוץ ברחבי העולם, ונקרא על שמו של מפתחו בכינוי "קלשניקוב".
על אף ייסוד יחסים דיפלומטיים עם ממלכת רומניה ב-1934, ברית המועצות הגדירה את שטחי בסרביה ובוקובינה הצפונית כטריטוריות השייכות לה ונתונות תחת כובש רומני זר (הצבא הרומני השתלט על השטחים במהלך מלחמת האזרחים ברוסיה עקב העובדה שרוב האוכלוסייה יושבת האזור רומנית). ז'וקוב לקח חלק בישיבה מכרעת של ההנהגה הצבאית ב-13 ביוני 1940, שבראשה עמד סטלין, ובה הוחלט לפעול למען הסיפוח של הטריטוריות. ב-20 ביוני קיבל הוראה להכין את הכוחות שבפיקודו לקראת פלישה כוללת לשטחי רומניה בתוך ארבעה ימים. ב-28 ביוני הגישה מוסקבה אולטימטום לממשלה הרומנית בבוקרשט שבו איימה במלחמה כוללת אלמלא רומניה תאפשר מרצון סיפוח של השטחים לברית המועצות. לקראת מועד סיום האולטימטום נשלחו כוחות גדולים מאזור פיקוד קייב לעבר הגבול הסובייטי-רומני המסוכסך על גדות הדניסטר, במטרה להמחיש את רצינות כוונות הממשלה הסובייטית. הממשלה הרומנית נכנעה לדרישה הסובייטית. הסיפוח הסובייטי של בסרביה ובוקובינה הצפונית התרחש ללא קרב, וז'וקוב פיקד על הכיבוש הצבאי של השטחים ועל מימוש הסדר הגבול החדש. ב-4 ביולי התקבל במצעד תמיכה פרו-סובייטי בקישינב, בסרביה (מולדובה).
ז'וקוב העריך את האפשרות שתפרוץ מלחמה בין ברית המועצות לגרמניה הנאצית ופעל לשפר את המוכנות של כל הכוחות תחת פיקודו. בישיבת הדרג הביטחוני העליון בדצמבר 1940 הציג בפירוט את תורת המלחמה שפיתח ושניצל בקרב חלקין גול: כיצד מבצעים התקפיים יכולים לקדם תיאום בין חילות ולשנות את כל מפת החזית. בתחילת 1941 היה מעורב גם בסדרת תרגילים צבאיים בשטח לניסוי אותה תורת מלחמה.
ראש המטה הכללי של הצבא האדום.
ב-31 בינואר 1941 מונה בידי סטלין לראש המטה הכללי במקום קיריל מרצקוב. במקביל התמנה גם לממלא מקום שר ההגנה, בחסותו של השר המכהן, סמיון טימושנקו. הודעת המינוי פורסמה עוד ב-14 בינואר בהחלטת 'הפוליטביורו של המפלגה הקומוניסטית של ברית המועצות'. בתפקיד זה לקח חלק בשני תרגילים צבאיים רחבי היקף לניסוי תורת המלחמה שפיתח וקידם. יריבו בתרגילים היה הגנרל דמיטרי פבלוב ובמהלך התרגיל ז'וקוב פיקד על כוח שעיקרו היה חיל שריון ענק שהיה נתון לנחיתות מספרית של יותר מ-1:2 אך השתמש באסטרטגיה של מלחמת בזק ותיאום ושילוב בין החילות השונים. הכוחות בפיקודו של ז'וקוב ניצחו בשני התרגילים, כאשר בכל אחד מהם ייצגו כוח בחזית שונה, מערבית (מזרח פולין) ומזרחית (ציר קייב־הים השחור).
ז'וקוב כיהן כראש המטה הכללי ב-22 ביוני 1941, בעת פתיחת מבצע ברברוסה, התקפת הפתע הגרמנית הרחבה על ברית המועצות שפתחה את החזית המזרחית במלחמת העולם השנייה. ברית המועצות נתפסה לא מוכנה לקראת הפלישה הגרמנית וספגה אובדן חריג בתוך מספר חודשים שהוביל להגעת חיילים גרמנים לפתח מוסקבה תוך פחות מחצי שנה מפתיחת המערכה.
ב-10 ביוני, קבוצת הארמיות 'החזית הדרום-מערבית', העלתה את הדריכות של הכוחות הנתונים לפיקודו על הגבול הסובייטי עם הגנרלגוברנמן (חבל כיבוש צבאי גרמני בפולין שלא סופח ישירות לשטחי גרמניה). ז'וקוב זעם על כך ומיהר לשלוח את ההוראה הבאה למפקד קבוצת הארמיות מיכאיל קירפונוס: "פעולה כזו עלולה להקציף את הגרמנים לכדי עימות מזוין עם מיני השלכות. בטל פקודה זו לאלתר ודווח מי נתן פקודה בלתי מורשית שכזאת." ב-21 ביוני, על סמך אזהרה של עריק גרמני מפני פלישה, הורה ז'וקוב להעלות את הכוננות הצבאית לאורכו של הגבול. ההוראה ניתנה מאוחר מכדי שיהיה אפשר לבסס קו הגנה, ולמחרת החלה הפלישה הגרמנית לברית המועצות. ביום הפלישה העביר ז'וקוב הוראה גורפת לבלום את הפלישה הגרמנית בכל החזיתות ובכל מחיר אך לא לחצות את הגבול לתוך שטחי גרמניה. לגורם ההפתעה הייתה השפעה עיקרית על ההתנהלות של מבצע ברברוסה, עקב חוסר מוכנותו של הצבא האדום. מתוך כך, סדרת מתקפות נגד מהירות ולא מתוזמנות לאורכה של החזית נכשלו באופן גורף.