בראשית מרץ 1963, בן-גוריון הודיע חד-משמעית לרבין כי הוא יירש את צור בתור הרמטכ"ל הבא. ב-25 בדצמבר 1963 מונה רבין לרמטכ"ל השביעי בידי ראש הממשלה ושר הביטחון החדש לוי אשכול. יריבו של רבין לתפקיד הרמטכ"ל היה מח"א עזר ויצמן, שנקט עמדה התקפית ביחס לשכנותיה העוינות של ישראל, בשונה מרבין, שהביע בפני אשכול עמדה הגנתית. רבין כיהן בתפקיד בין השנים 1964–1968, שבמהלכן התחוללה מלחמת ששת הימים. ברוב תקופת כהונתו, עד יוני 1967, שימש בתפקיד שר הביטחון לוי אשכול, שנעדר ניסיון ביטחוני, במקביל לכהונתו כראש הממשלה. מצב זה איפשר לרבין חופש פעולה גדול. בתפקידו כרמטכ"ל נודע רבין כדקדקן העובד מבוקר ועד לילה לפרטי פרטים, בשונה מ"תרבות האלתור" שהתפתחה בקרב אנשי הפלמ"ח.
השנים הראשונות לכהונתו כרמטכ"ל היו שנים שקטות יחסית, ובמהלכן התעצם צה"ל באופן ניכר ובהן גובשו ושופרו תוכניות מבצעיות למקרה של מלחמה. בוצעו סדרת רכישות צבאיות, שבמהלכן נע צה"ל לעבר אוריינטציה אמריקאית, לצד התקררות הדרגתית ביחסי ישראל–צרפת מאז עלייתו לשלטון של שארל דה גול, שפעל לחזק את יחסיה של צרפת עם מדינות העולם הערבי. במהלך שנות ה-60, צה"ל רכש לידיו מטוסי מיראז' 3 ודאסו אוראגן צרפתים ודאגלס A-4 סקייהוק אמריקאים, טנקי צנטוריון בריטים ו-M48 פטון (ידועים בתור "מגח" בגרסתם הישראלית המשודרגת) אמריקאים, כמו גם טילי MIM-23 הוק אמריקאים. מהלך הרכישות החל עוד בתקופת כהונתו של צור כרמטכ"ל, בתגובה לעסקת הנשק הצ'כוסלובקית-מצרית מאמצע שנות ה-50 שהפרה את מאזן הכוחות האזורי. עיקר הדגש הופנה לפיתוח חיל השריון, שנכון לתחילת שנות השישים הורכב בעיקרו מטנקי M4 שרמן מיושנים. תמיכת ארצות הברית בישראל גברה במהלך כהונתו של הנשיא ג'ון פיצג'רלד קנדי, ובתמורה לרכש הצבאי הכור הגרעיני בדימונה נפתח למפקחים אמריקאים. רצח קנדי לא בלם את התחממות היחסים, ויורשו, לינדון ג'ונסון, המשיך בקו התמיכה בישראל והרכישות הצבאיות, בין היתר לנוכח הידרדרות יחסי ארצות הברית–מצרים.
רבין מינה את בר-לב לראש אג"ם ואת אהרן יריב לראש אמ"ן. בין המינויים הבכירים שלו מינה רבין את ישראל טל למפקד גיסות השריון, את קודמו בתפקיד דוד אלעזר לאלוף פיקוד הצפון ואת אריאל שרון, שקידומו הוקפא בידי שלושת הרמטכ"לים שקדמו לרבין, לראש מטה פיקוד הצפון ובהמשך לראש מחלקת ההדרכה במטה הכללי. יריבות בנוגע לסבב המינויים בין רבין לאשכול וויצמן הובילה בסופו של דבר למינויו של מרדכי הוד למח"א ומינויו של ויצמן לראש אג"ם ולסגן הרמטכ"ל. שני המינויים נעשו בידי אשכול על אפו ועל חמתו של רבין (אשכול אף רמז כי ויצמן הוא המועדף עליו לרשת את תפקיד הרמטכ"ל על אף התנגדותו של רבין). רבין הרבה להשתתף בדיוני ממשלה, והתנגד נחרצות לקיצוץ בתקציב הביטחוני, שהועלה לדיון לנוכח השקט היחסי בגבולות. חששותיו ממלחמה מתואמת של מדינות ערב בישראל ובמטרתם של מדינות ערב להשמיד את ישראל גבר לנוכח המלחמה על המים בצפון. בשנת 1965 החלו ניסיונות חוזרים ונשנים של סוריה לבצע חבלה במוביל הארצי, ובחזית הסורית פרצו מפעם לפעם חילופי ירי של טנקים ותותחים, בשל סכסוכי גבול בשטח ההפקר וניסיון סורי שנבלם להטות את מקורות נהר הירדן.
ב-28 במאי 1965 ביצע צה"ל פעולה רחבת היקף בשטחי ירדן, מבצע צוק סלע, שנועדה לאותת למדינות ערב כי ישראל לא תבליג על המשך פעולות החבלה ועל ניסיונותיהן להטות את מקורות נהר הירדן. בספטמבר 1966 התבטא רבין באופן חריף כלפי סוריה באופן שהסלים את העימות, וננזף על כך על ידי ראש הממשלה לוי אשכול, אשר חידש בעקבות זאת את ההוראה האוסרת על קציני צה"ל להצהיר הצהרות מדיניות. בין 1964 ל-1967 חלה הסלמה בתקריות הגבול של ישראל עם שכנותיה, בראש ובראשונה מול סוריה. פעולות גרילה בחסות ארצות ערב נמשכו, וב-1964 הקימה הליגה הערבית את אש"ף בהנהגתו של אחמד שוקיירי. ההוקעה והאיומים על ישראל מצידן של מצרים וסוריה הגיעו לשיא לאחר ההפיכה בסוריה ב-1966 ועלייתו לשלטון של הזרם הרדיקלי של מפלגת הבעת', בהנהגתו של סלאח ג'דיד. בעקבות ההפיכה, הסלימו תקריות הגבול הבלתי פוסקות והגיעו לשיא באוגוסט עם הפלת שני מטוסי מיג סורים בידי חיל האוויר. נכון לאותה העת, ב-1965, הערכת אמ"ן הייתה שלנוכח הפער ביכולת הצבאית לא תפרוץ מלחמה בין ישראל למדינות ערב עד שנות ה-70. על אף הערכות אלו, רבין העריך כי שנאת מדינות ערב לישראל תוביל אותם למלחמה בהקדם, והעריך שיש צורך בכוננות מלחמה גבוהה כמה שיותר.
ב-13 בנובמבר 1966 פשט צה"ל על הכפר א-סמוע שמדרום לחברון בפעולת תגמול גדולה (הפעולה הצבאית הגדולה ביותר של צה"ל מאז מבצע קדש עשור קודם לכן), שבאה בעקבות פעולות חבלה אחדות בישראל. ראש הממשלה ושר הביטחון אשכול נזף ברבין על הפעולה ועל קנה המידה שלה, שהיה רחב בהרבה מן המצופה. בדיעבד התברר כי פעולת סמוע השפיעה על הלך הרוח של חוסיין, מלך ירדן, שמתוך חשש מפני תוקפנות ישראלית התקרב לברית עם שכנותיו הערביות שהובילה להתערבות הירדנית במלחמת ששת הימים. ביום הקרבות שנערך ב-7 באפריל 1967 הופלו שישה מטוסי מיג 21 סוריים, חלקם הופלו בפאתי דמשק, והניצחון הישראלי הביא לפגיעה קשה ביוקרה הלאומית הסורית.
ב-15 במאי 1967, בעיצומו של יום העצמאות ה'תשכ"ז, צלחו כוחות יבשה מצריים את תעלת סואץ ונכנסו למרחבי סיני, בניגוד להסדרי הנסיגה שנקבעו לאחר מלחמת סיני. רבין מיהר להיפגש עם אשכול, שטען כי מדובר בחזרה על "כוננות רותם". רבין נפגש עם ראש הממשלה למחרת, ושכנע אותו להעלות את רמת הכוננות בצה"ל לאחר שהתייחס ל"קיבעון מחשבתי" - קונספציה - שעלולה להביא למפלה של ישראל, בעודו מתכוון להישענות של אשכול על ההערכה שמדובר בכוננות רותם נוספת. ב-18 במאי נסוגו כוחות האו"ם מסיני לפי דרישת מצרים. ב-19 במאי הגיע אמ"ן למסקנה שהצעד הבא של מצרים יהיה סגירת מצרי טיראן, מהלך שנחשב לעילה למלחמה ואכן מומש כעבור ארבעה ימים. לנוכח הערכה זאת, אשכול נענה לקריאתו של רבין לגיוס כמעט מלא של מערך המילואים, כולל איוש 800 מתוך 1,000 הטנקים שהיו בשירות צה"ל. רבין עצמו היה משוכנע שיש לצאת למלחמת מנע. כך נכנסה ישראל למצב חירום שכונה תקופת ההמתנה, אשר הסתיים ביציאתהּ של ישראל למלחמת ששת הימים ב-5 ביוני. תקופת ההמתנה הייתה תקופה של חרדה גדולה בציבור הישראלי מפני המלחמה המתקרבת (מה שהתבטא בהקמתה של ממשלת אחדות ובלחץ למנות את משה דיין לתפקיד שר הביטחון, בחפירת שוחות הגנה או בפזמון "נאצר מחכה לרבין" לחיזוק המורל הלאומי).
עיקר המטכ"ל תמך בעמדתו של רבין בדבר מלחמת מנע. לעומת זאת אשכול ניסה להימנע ממלחמה, וכמוהו גם רוב של שרים בממשלתו. ראש הממשלה ידע כי ארצות הברית רואה לחיוב הימנעות ישראלית מהיענות לפרובוקציות של שכנותיה. חילוקי הדעות הובילו לקרע חלקי בין רבין לאשכול, שבעקבותיו פנה רבין להתייעצות עם יריביו הפוליטיים של אשכול, בן-גוריון ודיין. בן-גוריון העריך כי סיכויי הניצחון במלחמה אינם גבוהים וכי יש להימנע ממנה, בעוד לעומתו דיין תמך ביציאה למלחמת מנע. בעקבות מינויו של דיין לשר הביטחון, חוזקה עמדתו של רבין בדרג המדיני.
מנהיגים אחדים בישראל הטיחו ברבין האשמות כבדות על שהוא גורר את צה"ל למלחמה. בן-גוריון הזהיר אותו בפגישה לילית ביניהם כי הוא גורר את המדינה למצב חמור ולבידוד בינלאומי, והאשים אותו ואת אשכול באחריות למצב. מנהיג המפד"ל, חיים משה שפירא, הטיח ברבין: "איך אתה מעז ללכת למלחמה כאשר כל התנאים הם לרעתנו?" רבין היה עייף, מתוח ועישן סיגריות בשרשרת. הוא יצא לחופשת מחלה בת יום אחד ב-23 במאי 1967. באותו יום זימן אליו את עזר ויצמן, ראש אג"ם, ולדבריו אמר לו שסיבך את ישראל עקב טעויות שעשה והציע לו להתמנות לרמטכ"ל במקומו. ויצמן סירב ואמר לרבין: "יצחק, אתה יודע שאני רוצה להיות הרמטכ"ל, אבל לא אקבל את התפקיד בתנאים כאלה. אם תתפטר - זה שווה לנאצר כמה דיוויזיות. צה"ל לא יבין זאת. בנסיבות הנוכחיות הקשות - תהיה זו מהלומה למורל הצבא". רופאו נתן לו זריקת הרגעה שהרדימה אותו עד למחרת בצהרים. למחרת שב רבין לתפקוד מלא. בינתיים ממלא מקומו, ויצמן, הורה על כוננות צבאית למתקפה רבתי מיידית על מצרים, וזאת נגד קביעת הממשלה להמתנה בת 48 שעות לפני הערכת מצב מחודשת.
רבין התאושש מוקדם מהצפוי ושב לפיקוד מלא. כעבור מספר ימים החליטו הוא ואשכול להעניש את ויצמן על פעילותו, דרך כך שהחליפו אותו בבר-לב בתפקיד סגן הרמטכ"ל והמיועד לרשת את התפקיד מרבין. באותה העת ציפו השרים היונים בממשלה לבשורה של פריצת דרך דיפלומטית מצידו של שר החוץ אבא אבן, שהיה במסע דיפלומטי. בהסכמתו של אשכול פנה רבין לאבן וקרא לו להביא התחייבות לתמיכה אמריקאית חד משמעית בישראל. בסופו של דבר העניק הממשל האמריקאי תשובה מעורפלת לבקשות שר החוץ, ורבין דרש פעם נוספת יציאה למלחמת מנע. לנוכח הפצרותיו של הנשיא ג'ונסון שישראל תמנע ממלחמה, רבים בממשלה המשיכו לאחוז בעמדות יוניות גם לאחר הקמת ממשלת האחדות הלאומית. ב-2 ביוני במהלך דיון הממשלה ומספר אלופים כולל הרמטכ"ל, התקבלה החלטה ליציאה למלחמה. השרים היחידים שהתנגדו ליציאה למלחמה בהצבעה היו חיים משה שפירא מהמפד"ל וזלמן ארן ממפא"י.
מלחמת ששת הימים.