דיין החל את המלחמה בתפקידי מטה, בדרגת רב-סרן, לצידו של הרמטכ"ל דורי, אך במאי 1948 נשלח לפקד על כוחות צה"ל בעמק הירדן, והיה שותף לבלימת הכוחות הסורים בדגניה, בה נולד. לאחר קרב דגניה, בסוף מאי 1948, מונה למפקד גדוד 81 (לימים 89) שכונה 'גדוד הקומנדו', גדוד פשיטה ממוכן בחטיבה 8 שעליה פיקד יצחק שדה. במהלך הפוגה בקרבות נסע לארצות הברית כדי להשתתף בהלווייתו של האלוף דוד מרכוס. לאחר ששב לישראל, ביולי 1948, השתתף עם גדודו במבצע דני.
במהלך מבצע דני הוביל פשיטת ג'יפים נועזת של גדודו אל תוך העיר לוד, ב-11 ביולי 1948, בה נהרגו 9 לוחמים ונפצעו 17. הדעות חלוקות עד כמה פשיטה זו הייתה משמעותית בכיבוש לוד, שהוביל אחר כך לכיבוש רמלה. על כל פנים, כיבוש לוד בוצע בפועל על ידי חיילי חטיבת יפתח, ונראה כי הפשיטה תרמה לערעור רוח המגינים.
לאחר מבצע דני הועבר גדודו של דיין לחזית הדרום, במסגרת מבצע מוות לפולש, שם לחם נגד כוחות מצרים. ב-1 באוגוסט 1948 נכנס דיין לתפקיד מפקד חטיבת עציוני והועלה לדרגת סגן-אלוף, שבאותו זמן הייתה דרגה אחת מתחת לדרגת אלוף (דרגות "אלוף-משנה" ו"תת-אלוף" טרם הונהגו אז). עקב אי-בהירות לגבי סמכויותיו באזור ירושלים לעומת אלה של אלוף פיקוד המרכז, החליטה ועדת חיים לסקוב למנות את דיין, במקביל, גם כמפקד ירושלים, במקום האלוף דוד שאלתיאל. ככזה, אף זכה למגורי שרד בווילה לאה, בניין מפואר, במושגי אותם ימים, בשכונת רחביה בירושלים.
בשלב זה הסתיימו הקרבות המשמעותיים בגזרה זו, ועיקר פעולתו של דיין הייתה בניסיונות לשפר עמדות מול הלגיון הירדני, לקראת המשא ומתן העתידי על מעמדה של העיר. אולם גם לאחר כניסת ההפוגה השנייה לתוקף, המשיכו הערבים לצלוף ולהפגיז מדי פעם מאזור ארמון הנציב, וגרמו לאבדות של חיילים ואזרחים. דיין ביקש לכבוש גבעה על השלוחה המערבית של גבעת ארמון הנציב שהייתה בשטח המפורז, כדי למנוע מלוחמים ערבים לירות ממנה לעבר תלפיות. הוא לא שעה לאזהרות קציני חטיבת עציוני שהגבעה נשלטת באש על ידי הערבים מארמון הנציב ובלילה שבין 17 ל-18 באוגוסט 1948 יצאו כוחות מגדוד 62 ( "בית חורון" ) של חטיבת עציוני, בפיקודו של מאיר זורע ותפסו את הגבעה ללא התנגדות. אבל עם עלות השחר הם התגלו לערבים שפתחו באש בתוספת לארטילריה. לוחמי עציוני נתפסו חשופים בשטח גלוי, זורע ביקש אישור להיכנס לתוך ארמון הנציב, אך לטענתו בתחקירים המח"ט, דיין, לא נמצא במפקדתו לאישור הכניסה. בלית בררה ניתנה פקודת נסיגה. הערבים הסתערו על הגבעה וכבשוה. אבדות חטיבת עציוני היו כבדות: 14 הרוגים, 24 פצועים ו-5 שבויים. קרב זה נחשב לכישלונו הכבד ביותר של דיין בתפקידו כמפקד חזית ירושלים.
ב-19 באוקטובר 1948 פיקד דיין על מבצע יקב. מטרת המבצע, שהיה מבצע חטיבתי מלא ראשון של "עציוני", הייתה לכבוש את רכס בית ג'אלה, בואכה בית לחם, עליו ישבו כוחות מצריים. מקלע אויב אחד הצליח לעצור את כוחות גדוד "מוריה", שהלכו בטור עורפי במעלה ההר. במקביל פעלו כוחות גדוד "בית חורון", שהצליחו במשימתם לכיבוש "הר התעלה" (במחיר של 7 הרוגים) ואף התחילו להתארגן להגנה עליו, אך דיין נתן פקודת נסיגה והמבצע בוטל.
במסגרת תפקידו שימש כדיפלומט במגעים עם הירדנים, ואף עם המלך עבדאללה. בן שיחו במגעים אלו היה מפקדה הירדני של ירושלים, הקולונל עבדאללה א-תל. השניים הגיעו בדצמבר 1948 להסכמה לפיה לא ייזום כל צד פעולה צבאית נוספת, הסכמה שקדמה בארבעה חודשים להסכם שביתת הנשק בין שתי המדינות. ההסכם קיבע את מעמדה של המובלעת הישראלית בהר הצופים ואפשר מעבר שיירות אל המובלעת וממנה.
במרץ 1949 היה דיין אחד מן הנושאים ונותנים במשלחת לשיחות שביתת הנשק בין ישראל וירדן שהתקיימו באי רודוס. ב-3 באפריל 1949 נחתם ההסכם בין הנציגים. בראש המשלחת עמד ד"ר ולטר איתן, ובנוסף לדיין הצטרף למשלחת ראובן שילוח.
הקריירה הצבאית עד מינויו לרמטכ"ל (1949–1953).
לאחר תום המלחמה, דיין התמודד, ואף נבחר לכנסת הראשונה ברשימת מפא"י, תוך שהוא משובץ במקום העשירי ברשימה לכנסת, אך לבקשת בן-גוריון נשאר בצה"ל והתמנה, באוקטובר 1949, לאלוף פיקוד דרום. הייתה זו תקופת רגיעה יחסית שלאחר המלחמה, ובמהלכה עבר דיין קורס מפקדי גדודים בן כתשעה חודשים, במקביל לשירותו כאלוף פיקוד. לאחר סיום הקורס נשלח דיין לקורס מפקדים בכירים בבריטניה. עם שובו, במאי 1952, מונה לאלוף פיקוד הצפון, תפקיד בו שירת כחצי שנה.
בדצמבר 1952, לאחר התפטרותו של הרמטכ"ל יגאל ידין מונה דיין על ידי הרמטכ"ל החדש, מרדכי מקלף, לראש אגף המטה הכללי (אג"ם). מקלף התנה מראש את שירותו כרמטכ"ל בכך שישמש בתפקיד במשך שנה אחת בלבד, ומינויו של דיין לראש אג"ם סימן אותו כיורשו של מקלף. בתקופה זו עמד לימינו מספר מצומצם של מקורבים, ובהם ראש לשכתו, רס"ן (לימים אלוף) שלמה גזית, מזכירתו נאורה מטלון (לימים ברנח-מטלון), ונהגו נועם שהיה מפצועי מלחמת העצמאות. לדברי ברנח-מטלון, לשכת ראש אג"ם בתקופת דיין נראתה כאוהל מפקדה, וכללה אלמנטים רבים האופייניים לפעילות צבאית בשטח.
תקופתו של דיין כראש אג"ם הייתה תקופה סוערת. ניסיונות הסתננות וחבלה נענו בפעולות התגמול והוקמה יחידה 101 שעליה פיקד אריאל שרון. לאחר איחודה של היחידה עם גדוד 890, מינה דיין את שרון למפקד הגדוד. כאשר ב-14 באוקטובר 1953 בוצעה פעולת קיביה, שבה נהרגו עשרות אזרחים ששהו בבתים שפוצצו על ידי יחידה 101 במסגרת פעולת תגמול, יצא דיין להגן על עמדתה של ישראל בעצרת הכללית של האומות המאוחדות.
ראש המטה הכללי (1953-1958).
תקופת לבון (1953–1955).
דיין התמנה לרמטכ"ל ב-6 בדצמבר 1953, ולמחרת פרש דוד בן-גוריון מתפקיד ראש הממשלה ושר הביטחון והעביר את ראשות הממשלה למשה שרת ואת תפקיד שר הביטחון לפנחס לבון.
היחסים בין לבון ובין דיין לא היו תקינים מלכתחילה, ובמהלך כהונתו של דיין כרמטכ"ל תחת שר הביטחון לבון, התקלקלו היחסים עוד יותר. לבון היה בן דור הביניים במפא"י ויריבו הפוליטי של דיין. ברוח הימים ההם היה דיין חבר מרכז מפא"י והתפטר ממנו רק משהתמנה לרמטכ"ל. לבון ראה בעצמו את יורשו של בן-גוריון, ראייה שהובילה אותו למסלול התנגשות עם חבורת הצעירים שטיפח בן-גוריון, ובראשם דיין ושמעון פרס, ששימש מנכ"ל משרד הביטחון. על אף ששני האישים, דיין ולבון, החזיקו בראייה ביטחונית דומה, החלו עד מהרה סכסוכים ביניהם, שהתבטאו אף בדברים עקרוניים, כגון דרישתו של דיין לרכוש מן הצרפתים טנקים מסוג AMX-13, עליה הטיל לבון וטו.
המאבק על סמכויות בין שר הביטחון לרמטכ"ל הביא לחוסר בהירות בשאלת הקשר הישיר בין קצינים בכירים ובין שר הביטחון. כאשר נודע לדיין באמצע 1954, כי מפקד חיל האוויר דן טולקובסקי נועד ישירות עם לבון, הגיש את התפטרותו, אך שוכנע בידי דוד בן-גוריון לחזור בו ממנה. לבון עמד על זכותו כשר ביטחון להמשיך בפגישות עם מפקדי צה"ל, ובהם ראש אמ"ן, אלוף-משנה בנימין גיבלי. לימים תהיה לכך חשיבות מכרעת בשאלה "מי נתן את ההוראה" לגיבלי בפרשה שנודעה בכינוי "העסק הביש". גורם עלום הורה להפעיל רשת של מרגלים יהודים במצרים, ולהורות להם לחבל במתקנים בריטיים, כדי למנוע את הסתלקותה של בריטניה מאזור תעלת סואץ. בעת שניתנה ההוראה לגיבלי, היה דיין בביקור בארצות הברית, ולבון הכחיש שנתן את ההוראה. חוקרים מייחסים לדיין את מתן ההוראה בלא ליידע את שר הביטחון לבון. לפרשה הייתה חשיבות מכרעת בהיסטוריה הפוליטית של מדינת ישראל, והיא הביאה כעבור שנים, ב-1963, להתפטרותו של בן-גוריון מראשות הממשלה.
יחסיו של דיין עם ראש הממשלה משה שרת אף הם לא היו תקינים. דיין היה איש הקו האקטיביסטי, והאמין בכוח ההרתעה של צה"ל וביכולתו לצאת למלחמה נוספת ולנצח בה. לעומת זאת, היה שרת פשרן, וניסה להשיג נתיבים אל שליטי ערב על מנת להגיע להסדרי שלום. כושר התמרון של שרת היה מצומצם. הוא היה לכוד בין הקו האקטיביסטי של דיין (ואף של יריבו לבון), אשר צידד בפעולות גמול רבות, שהרחיקו את הסיכוי למגעים מדיניים, ובין העובדה כי רבות מן ההחלטות החשובות לא התקבלו בירושלים אלא בשדה בוקר, מקום מושבו של בן-גוריון.
בעקבות כישלון "העסק הביש", דרש לבון לפטר את דיין, את גיבלי וכן את שמעון פרס. התחייבה החלטה מי מבין השניים, דיין או לבון, יישאר ומי יפוטר. הכרעה כזאת הייתה למעלה מכוחותיו של שרת, ולבסוף הוחלט לפטר את פנחס לבון, ולהחליפו בבן-גוריון. אם הייתה בלבו של שרת תקווה כי יצליח להשיג השפעה כלשהי על מהלך האירועים, הרי ששובו של בן-גוריון למשרד הביטחון קטע תקווה זו, מאחר שבן-גוריון היה זה שניהל את המדינה ב-15 שנותיה הראשונות. דיין מצא בבן-גוריון שותף מלא לחזונו בדבר יכולותיו של צה"ל, והדרך שבה יש להשתמש בהן.
פעולות הגמול (1955–1956).
בן-גוריון שב למשרד הביטחון בפברואר 1955, ולאחר חודשים מספר, בעקבות הבחירות לכנסת השלישית, שב גם לכס ראש הממשלה. עתה החלה תקופה של שיתוף פעולה בין בן-גוריון ובין דיין על רקע מצב ביטחוני מחמיר והולך, במיוחד בחזית הדרום. משטרו של גמאל עבד אל נאצר, שהחליף את המשטר המלוכני במצרים, היה תקיף ברטוריקה שלו נגד ישראל, ונראה היה כי בדעתו לנקוט צעדים מעשיים. עסקת נשק בין מצרים וצ'כוסלובקיה, שהתפרסמה בספטמבר 1955, עוררה חששות כבדים כי אכן פניו של שליט מצרים למלחמה בישראל. בה בעת חיזקה מצרים את ההסגר על השיט הישראלי במפרץ אילת. אולם הבעיה העיקרית, היום-יומית, בפניה ניצבה ישראל הייתה פעולות הפדאיון שהפכו בשנים אלו למתקפה אכזרית ובלתי פוסקת.