עם ההכרזה על הקמת מדינת ישראל, החלה פלישה של צבאות מדינות ערב לשטחי ארץ ישראל, ובמסגרתה תקף הלגיון הערבי את ירושלים. חטיבת 'הראל' הייתה נתונה במחסור של כוח אדם ואספקה, ויתרה מזאת היה על רבין לפצל את כוחותיו ולשלוח תגבורת של חלק מאנשיו להגנת העיר העתיקה בירושלים. התגבורת לא הצליחה לשנות את מאזן הכוחות, והמצור על הרובע היהודי בעיר נמשך. לנוכח המצב בחזית, הועברו כוחות מחטיבת 'יפתח' מהגליל לתמוך ב'הראל'. רבין פיקד על כיבושה מחדש של רמת רחל מידי הכוח הירדני-מצרי, והיה מעורב בפריצת דרך בורמה. לימים כתב רבין על חוויותיו מאותה תקופה ב"מערכות". הפיקוד הכללי על גזרת ירושלים הוטל על דוד מרכוס (המכונה "מיקי סטון"), וחטיבת 'יפתח' כולה הועברה לחזית המרכז.
בתחילת יוני, לקראת ההפוגה הראשונה, נקרע הפיקוד בין אלון, שתמך במתקפה על רמאללה, לראש הממשלה ושר הביטחון דוד בן-גוריון, שטען כי כיבוש לטרון על פרשת הדרכים לירושלים הוא היעד המועדף. לנוכח כישלון המתקפה על לטרון והאבדות הקשות שהסבה, הגיעו מרכוס, רבין ואלון למסקנה כי ההשתלטות על לטרון בלתי אפשרית ללא התארגנות מחודשת של הכוחות. כאשר נשלח רבין להסביר את המצב לבן-גוריון, האחרון רתח והתפרץ, ואף איים כי "צריך לירות ביגאל אלון" (בו הוא ראה יריב פוליטי). לבסוף היה על בן-גוריון להסכים כיוון שהמפקדים למעשה קבעו עובדה בשטח.
בזמן ההפוגה הראשונה נקלע רבין במקרה למטה הפלמ"ח שנמצא במלון ריץ, מרחק קצר מחוף תל אביב, בעת שעלתה מולו הספינה אלטלנה על שרטון. כמפקד הבכיר בשטח קיבל רבין את הפיקוד על הגנת מטה הפלמ"ח. הוא ביצע את הוראתו של בן-גוריון לירות לעבר הספינה אם לא תיכנע, והורה לירות אש לעברה. הירי על האונייה המשיך גם לאחר שנפגעה על ידי פגז תותח, והוחל בפינוייה. כאשר אנשי האצ"ל תקפו את המלון הורה רבין לזרוק לעברם רימונים, ואף זרק בעצמו שישה. בשנת 1977 אמר רבין: "זה היה היום הכי שחור שלי. האמנתי בשליחות וגם קיבלתי פקודה מבן-גוריון לבצע — ופקודות צריך לבצע, מה גם שלא הייתה כל ברירה".
לאחר ההפוגה היה רבין סגן מפקד מבצע דני, שבמהלכו נכבשו הערים רמלה ולוד, וכן נמל התעופה לוד. מבצע זה היה הגדול ביותר עד אז, וכלל כוחות בסדר גודל של כארבע חטיבות. במהלך המבצע, בשעה שרבין ואלון נסעו מהמפקדה ביאזור להערכת מצב בשדה הקרב, עלתה המכונית על מוקש ישראלי שהופעל ורבין נפצע ונחבל ברגלו. המבצע נחל הצלחה חלקית, כיוון שהמטרה הראשונית הייתה השתלטות על ציר לוד-רמלה וציר לטרון-רמאללה. בסופו של המבצע שוחררו רק לוד ורמלה אך נפתחה דרך עקיפה לירושלים ("כביש הגבורה") שהפחיתה מחשיבות הלגיון הערבי שעיקר כוחותיו נסוגו צפון-מזרחה לעבר רמאללה והפחיתה גם מחשיבות לטרון כצומת דרכים מרכזית בחזית.
בהמשך המלחמה פעל כקצין המבצעים של חזית המרכז, ולאחר מכן כקצין המבצעים של חזית הדרום וכסגנו של מפקד החזית יגאל אלון. במסגרת זו השתתף בתכנון ובביצוע מבצעי התקיפה רחבי ההיקף של צה"ל בשלהי מלחמת העצמאות, ובהם מבצע יואב, שפתח את הדרך לנגב ובו נכבשה באר שבע, ומבצע חורב, שמטרתו הייתה להוציא את הצבא המצרי משטחי ארץ-ישראל ולשפר עמדות לקראת משא ומתן. במהלך מבצע חורב אלון ניסה להשתלט על עוג'ה אל-חפיר בדרך הפתעה לא צפויה, וחיפש אחר דרך נבטית עתיקה שהייתה מסומנת במפות שונות. אלון שלח את רבין ביחד עם אנשי חזית הדרום ואנשי חיל ההנדסה לסייר בדרך ולהעריך את המסוגלות לחצות אותה. רבין שב לאלון עם מסקנה כי בקושי רב אכן ניתן לחצות את הדרך. כוחות צה"ל נעו באיטיות והמתקפה הראשונית של גדוד חטיבה 8 נחלה כישלון בהנסת חיל המצב המצרי. רק בבוקר 7 בדצמבר ביצעו כוחות החטיבה מתקפה חוזרת והפילו את המוצב.
לקראת תום המלחמה השתתף בשיחות רודוס, שדנו בהסכמי שביתת נשק בין ישראל למצרים, מכיוון שאלון לא רצה לקחת חלק בשיחות. רבין שב לישראל לפני חתימת ההסכם, לקראת מבצע עובדה, בעקבות הסתייגות מתוכן ההסכמות. רבין ביקר את הנכונות הישראלית לפירוז אזור ניצנה. הוא טען שישראל ויתרה למצרים יתר על המידה וביקש שלא להיות חתום על ההסכם. באוגוסט 1949 מונה לממלא מקום ומפקד בפועל של חזית הדרום במקום אלון, אך לאחר חודשיים פינה את מקומו למשה דיין, שהתמנה לתפקיד קבע בעקבות היריבות הפוליטית בין אלון לבן-גוריון.
עלייה בסולם הדרגות.
עם ההתארגנות שלאחר המלחמה ופרישת חלק גדול מהפיקוד הבכיר של צה"ל בעקבות פירוק הפלמ"ח, נשאר רבין בצבא, והיה בכיר יוצאי הפלמ"ח שהמשיכו את שירותם בצה"ל. בעיני הדרג המדיני היה חלק ממיעוט של יוצאי פלמ"ח שנחשבו לא-פוליטיים, כך שהשארתו נבעה בעיקר מטעמים מקצועיים. רבין קיבל נזיפה חמורה מהרמטכ"ל יעקב דורי לאחר שהשתתף, יחד עם רבים מיוצאי הפלמ"ח, בכנס הפלמ"ח בניגוד לפקודות. שאר משתתפי הכנס נענשו בדרגות חומרה שונות וחלקם אף הודחו מצה"ל.
תפקידו הראשון לאחר המלחמה היה מפקד קורס מג"דים של צה"ל אליו מונה בידי חיים לסקוב, ראש מחלקת ההדרכה, בנובמבר 1949. בין חניכיו בקורס היו דוד אלעזר, חיים בר-לב, ישראל טל, צבי זמיר, אסף שמחוני, עוזי נרקיס ואחרים. בתחילת 1951 התמנה לראש מחלקת מבצעים באגף המטה הכללי. באותה העת, הרמטכ"ל יגאל ידין וכמוהו גם יורשו מרדכי מקלף, ראו בארגון צבא המילואים של צה"ל ערך עליון ועסקו בעיקר בו, ומשום כך ניתנו לרבין סמכויות נוספות, והיה לאחראי בשטח על ביטחון שוטף יום-יומי. עוד בהוראת הרמטכ"ל ידין שקד רבין על כתיבת דוקטרינה צבאית לקראת המלחמה הבאה, שבמרכזה עמד עקרון המעבר בין שלב ראשון של הגנה עבור בלימה לשלב שני של מתקפה. לנוכח ריבוי ההסתננויות לתוך ישראל וביצוע פיגועי חבלה, לקח רבין חלק בתכנון מערך פעולה נגד התופעה. לאחר ששמירת גבולות הרמטית לא הובילה לעצירת ההסתננויות, הוחלט לפתח באופן שיטתי את פעולות התגמול.
בדצמבר 1952 יצא לשנת השתלמות בבית הספר לקציני מטה בקמברלי שבאנגליה, הממלכה המאוחדת. בזיכרונותיו ובמכתביו ראה רבין את בריטניה ושהותו בה לטובה, כמקום בו הפיג מתחים ופתח אופקים חדשים. בסוף 1953 נדרש לשוב ארצה בהוראת משה דיין שהתמנה לרמטכ"ל וירש בתפקיד את מקלף. דיין היה מועמדו הנבחר של בן-גוריון, שהבטיח את מינויו טרם פרש בעצמו לשדה בוקר בתחילת 1954. בין רבין לדיין היה דם רע ומתיחות רבה, שהתפתחה מאז שדיין החליף את אלון בתפקיד מפקד פיקוד הדרום על רקע פוליטי ולא על רקע מקצועי. עם שובו קודם, בדצמבר 1953, לתפקיד ראש אגף ההדרכה, ושנה אחר כך קיבל דרגת אלוף.
על אף המתיחות ביניהם, דיין אפשר לרבין חופש פעולה רחב יחסית בתפקידו כראש אגף ותמך בהעלאתו לדרגת אלוף בידי שר הביטחון פנחס לבון. בפברואר 1955, על רקע העסק הביש, שב בן-גוריון לתפקיד שר הביטחון (ובהמשך השנה גם לראשות הממשלה) והחליט ביחד עם דיין למנות את רבין לאלוף פיקוד הצפון.
בשנים 1956–1959 שירת כאלוף פיקוד הצפון. במהלך ההכנות למבצע קדש, רבין העריך כי המלחמה במצרים תגרור גם התערבות של סוריה וירדן ותפתח שתי חזיתות מלחמה נוספות. בפועל סוריה וירדן לא התערבו לצד מצרים במלחמה (אף כי עלתה האפשרות הזאת בדמשק ורבת-עמון), אך הגבול הצפוני לא שקט וכל תקופת כהונתו של רבין כמפקד פיקוד הצפון בוצעו הסתננויות ופעולות תגמול בתגובה אליהם. היו בנוסף לכך סדרת התכתשויות צבאיות מול סוריה על האזורים המפורזים בקו הירוק. הפגזות סוריות כוונו לא פעם נגד גורמים אזרחיים, לרבות חקלאים. משום כך, בעת העבודות על ניקוז מי אגמון חולה, הורה רבין על העברת כוחות לאזור הגבול בקנה מידה מופרז למען הרתעה. מלבד פעולות תגמול מינוריות בשטח ההפקר המפורז, עיקר פעילות צה"ל בצפון הייתה פסיבית.
בקיץ 1959 יצא רבין עם משפחתו ללימודים באוניברסיטת הרווארד, ארצות הברית. זמן קצר אחר כך, לנוכח פרשת ליל הברווזים הוחלט להדיח את ראש אג"ם מאיר זורע והרמטכ"ל חיים לסקוב החליט להחליפו ברבין. רבין ראה ביעדו המרכזי מודרניזציה מהירה של צה"ל ולימוד תורת המלחמה והדוקטרינה הצבאית של ברית המועצות, שהייתה ספקית הנשק העיקרית של הרפובליקה הערבית המאוחדת. כמו כן ביצע רבין שינוי בחלוקת התקציב של החילות, לפי עקרון "קודם כל אוויר, דבר שני שריון, ודבר שלישי צנחנים". רבין, מתוך חישובים כלכליים, התנגד לפיתוח של תוכנית הגרעין הישראלית, שקודמה והואצה בידי בן-גוריון ושמעון פרס, אז סגנו ויד ימינו של בן-גוריון במשרד הביטחון. כבר ב-1960 התפתחה יריבות בין פרס לבין לסקוב שנתמך בידי רבין, שנסובה סביב שאלת הרכש הצבאי: בין אם מצרפת ומארצות הברית, קנה המדינה שלו וסוגו בהתחשב בצורכי החילות.
עוד באותה השנה הניעו צבאות ערב את כוחותיהם לעבר הגבולות עם ישראל ("כוננות רותם"), במטרה לבדוק את הכוננות הצבאית של ישראל. לדברי רבין, "נתפסנו עם המכנסיים למטה." בעקבות הניסיון הערבי התברר חוסר המוכנות הצבאי לעומקו והחל שינוי דרמטי בהסדר המוכנות הצבאית. בשנים 1959–1961 היה ראש אג"ם, ובין 1961 ל-1963 היה ראש אג"ם וסגן הרמטכ"ל, תחת צבי צור. לאחר מינויו לרמטכ"ל, צור הסדיר ופתר את מחלוקת הרכישות והיריבות בין מפקד חיל האוויר (עזר ויצמן) למקבילו בשריון (חיים בר-לב) הגיעה לסיומה.
רמטכ"ל.