בינואר 1974 נבחר רבין לכנסת השמינית והתמנה לשר העבודה במרץ של אותה שנה במסגרת הממשלה השש עשרה. מינויו נערך לאחר התחרות על תפקיד שר הביטחון מול משה דיין, שהחליט להתפטר ובסופו של דבר חזר בו וגולדה השאירה אותו בתפקיד. כעבור שלושה חודשים, עם התפטרותהּ של ראש הממשלה גולדה מאיר בעקבות דו"ח ועדת אגרנט והזעקה הציבורית נגד התנהלותו של הדרג המדיני במהלך מלחמת יום הכיפורים, התמודד רבין על הנהגת מפלגת העבודה מול שמעון פרס – התמודדות ראשונה מבין רבות בין השניים. ב־22 באפריל 1974 נערכה הצבעה חשאית במרכז מפלגת העבודה, בה קיבל רבין 298 קולות לעומת 254 שלהם זכה פרס. לרבין ניתנה תמיכתו הפומבית של ספיר ותמיכתה הפרטית של מאיר. לאחר ניצחונו בבחירות פנימיות אלו, התמנה רבין ב-3 ביוני 1974 לראש הממשלה החמישי של מדינת ישראל וה"צבר" הראשון בתפקיד זה. רבין בן ה-52 היה צעיר ראשי הממשלות עד אז, והראשון שנולד במאה העשרים. כמו כן, היה ראש הממשלה הראשון שהתחנך במלואו במערכת החינוך הישראלית והראשון ששירת בצה"ל.
ההרכב הקואליציוני של ממשלת רבין, הממשלה השבע עשרה, היה דומה לזה של ממשלת גולדה מאיר – המערך, מפד"ל, וליברלים עצמאיים – פרט לארבעת החודשים הראשונים, שבהם לא היו מפלגות דתיות בקואליציה, בעוד מפלגת רצ בראשות שולמית אלוני הייתה חברה בהּ. השרים הבכירים בממשלתו היו כולם חדשים בתפקידם: שמעון פרס שר הביטחון, יהושע רבינוביץ שר האוצר ויגאל אלון שר החוץ וסגן ראש הממשלה. בין מקורביו הפוליטיים של רבין מתוך המחנה הפנימי שלו במפלגה היו בר-לב, אהרן יריב, יוסף נבו, אברהם עופר ומאיר עמית. בממשלתו החדשה רבין טען כי נערכו "חילופי משמרות" בצמרת, כיוון שעיקר תפקידי המפתח בממשלה התפנו והוחלפו בממשלתו החדשה. תחילה הקים קואליציה בת 61 מנדטים ביחד עם מפלגת ליברלים עצמאיים ורצ. בהמשך, עם צירופה של המפד"ל לממשלה, פרשה רצ והקואליציה התבססה על 66 מנדטים.
בחזית המדינית נערך בתחילת כהונתו של רבין משא ומתן עם מצרים על הסכם הביניים שבעקבות מלחמת יום הכיפורים. חצי שנה לאחר מינויו לראש הממשלה נפגש רבין בחשאי במוחמד רזא שאה פהלווי, השאה של איראן, בטהראן. השאה הפציר ברבין שיקדם את המגעים עם מצרים וירדן בגמישות מתוך אמונה ברצונם הטוב של שליטי המדינות ומטרתם להביא לשלום קבע. השאה עצמו לקח חלק בקידום המגעים להסכם הביניים, בינואר 1975 נפגש עם נשיא מצרים סאדאת בטהראן ובאוגוסט נפגש בשנית עם רבין, שבועיים לפני חתימת ההסכם. רבין העדיף לפתוח תחילה ערוצי משא ומתן עם מצרים ועם ירדן, ולהשאיר את שאלת סוריה והגולן להמשך הדרך. ההסכם הושג לאחר מסע דילוגים של הנרי קיסינג'ר בין שתי המדינות. ההסכם כלל נסיגה ישראלית ממעברי הגידי והמיתלה ללא תמורה מדינית מצרית. בנוסף על כך, ההסכם המחיש את הפיכתה של ארצות הברית לשחקן הגלובלי היחיד בזירה, על גבי חשבונה של ברית המועצות. ארצות הברית הבטיחה תמורה כלכלית למצרים בתמורה להסכם, אך בשביל להימנע מפגיעה ביחסים עם ישראל, במהלך ביקור הנשיא ניקסון בישראל, הנשיא ומזכירו קיסינג'ר הציעו לרבין חבילת נשק חדשה. לדאבונו של הממשל האמריקאי, רבין התנה את תמיכתו בהסכם בוויתור מצרי מדיני, דוגמת סיום רשמי של מצב המלחמה או ריכוך החרם הכלכלי. צוות משפטנים, ובהם שר המשפטים חיים יוסף צדוק והיועמ"ש מאיר שמגר הגישו לרבין דו"ח לפיו אין אחיזה ל"סיום מצב הלחימה" במשפט הבין-לאומי. רבין התעלם מן המלצת הדו"ח כיוון שראה בסיום רשמי של מצב הלוחמה הצהרת כוונות של קהיר וסירב לוותר עליה. מעבר להפחתת ההוקעה של ישראל דרך התקשורת המצרית, ממשל סאדאת במצרים לא היה מוכן להתפשר על דבר.
שרטון זה שעליו עלו המגעים להסדר ביניים הובילו למשבר ביחסי ממשלת רבין וממשל ג'רלד פורד (1974–1977), שגם בו המשיך קיסינג'ר להיות המתווה העיקרי של מדיניות החוץ האמריקאית. הממשל האמריקאי יזם את "ההערכה מחדש" של היחסים עם ישראל. התוצאה בפועל של מדיניות זו התבטאה בהקפאת החתימה על עסקאות נשק חדשות (כולל הקפאת רכישת מטוסי מקדונל דאגלס F-15 איגל וטילי קרקע-קרקע מסוג לאנס, שהובטחו בשיחות בעל פה), פגישות לא רשמיות של שליחים של הממשל האמריקאי עם אנשי אש"ף, והפסקת תיאום העמדות לקראת כינוסה של ועידת ז'נבה (שלא התכנסה בסופו של דבר). רבין ציין ש"הערכה זו הייתה אחת התקופות הקשות ביותר ביחסים בין ארצות הברית וישראל". דעת הקהל האמריקאית התנגדה למדיניות התקיפה ביחס לישראל ו-76 סנאטורים חתמו עצומה לנשיא פורד נגד המדיניות, כאשר בראשם הסנאטור הדמוקרטי הפרו-ישראלי הנרי ג'קסון.
הסכם הביניים נחתם לבסוף ב־4 בספטמבר 1975, לאחר נסיגה אמריקאית ממדיניות "ההערכה מחדש", והוא אשרר את מחויבותן של ישראל ומצרים להמשך הפסקת האש ולפתרון הסכסוך בדרכי שלום. במסגרת ההסכם נסוגה ישראל מרצועה שכללה את רוב שדות הנפט בסיני, ונוצר אזור חיץ בפיקוח כוחות האו"ם. מצרים התחייבה לאפשר הובלת מטענים לא צבאיים לישראל וממנה בתעלת סואץ. ההסכם לווה בהסכם ישראלי-אמריקאי, שבמסגרתו נתנה ארצות הברית ערבות לאספקת נפט לישראל כתחליף לשדות הנפט שפונו בסיני, בראש ובראשונה הזיקוק מאבו רודס שסיפק בין 55% ל-60% מכלל הנפט שצרכה ישראל. המשא ומתן וההסכם נענו בהפגנות ימין, שבהן נשא מנחם בגין נאומים נגד ההסכם, וכן בהפגנות שמאל בעד ההסכם.
בעקבות מלחמת יום הכיפורים, ארצות הברית הבטיחה סיוע בן 2.2 מיליארד דולר לישראל לשיקום כלכלתה ועוצמתה הצבאית לאחר המלחמה. במהלך 1974 הגיע רבין להסכם עם הנשיא החדש פורד שכלל תוספת של סיוע ביטחוני בן 750 מיליון דולר שענה על עיקר הדרישות של צה"ל. רבין, אלון ופרס לקחו חלק בסדרת פגישות חשאיות עם חוסיין מלך ירדן. במהלך הפגישות אמנם לא הגיעו לפריצת דרך, אך החלה ידידות ושותפות בין רבין למלך חוסיין. הקושי בקיום המשא ומתן גבר לאחר ועידת רבאט של הליגה הערבית בסוף 1974, שקבעה כי אש"ף בהנהגתו של יאסר ערפאת ולא ירדן, הוא הארגון המייצג מבחינה לגיטימית את הפלסטינים. במקביל, ממשלת רבין המשיכה את תמיכת קודמותיה בכורדיסטן העיראקית בהנהגת מוסטפא בארזאני. במסגרת הסכסוך הכורדי-עיראקי ב-1974 הכוחות הכורדים השתמשו בטילי נ"ט סאגר שהועברו לידיהם מישראל נגד הצבא העיראקי.
במהלך 1975, לאחר הישג הסכם הביניים עם מצרים, צנחה הפופולריות של רבין וממשלתו לנוכח סדרת פרשות שצצו זו אחר זו. בתקופה זו הגבירה תנועת "גוש אמונים" את פעילותהּ, ובגיבויו של פרס ובתמיכה של חלק מצעירי המפד"ל (בפרט זבולון המר) החלה לפעול להקמת יישובים ביהודה ושומרון. רבין התנגד לכך, ובספרו כינה את גוש אמונים "סרטן בגופה של הדמוקרטיה הישראלית". הממשלה כן אישרה, עם זאת, את הקמתה של אריאל במרכז השומרון. פרשת ההתיישבות בסבסטיה הסתיימה בפשרה שהייתה בבחינת רבין ניצחון פירוס, שכן פגעה במעמדו ובתמיכה הציבורית בממשלתו.
במסגרת המלחמה בטרור ערך צה"ל את "מבצע אנטבה" לשחרור 105 חטופים יהודים וישראלים באוגנדה, שעל ביצועו זכתה ישראל בקרב העולם המערבי להערכה ולהערצה על תעוזת הממשלה. רבין לא מיהר לאשר מבצע צבאי ושקל חלופות אחרות. פרס הטיל על הצבא למצוא תוכנית, והוא, יחד עם שרים נוספים, תמך בפעולת חילוץ באמצעות צה"ל עוד בטרם הוצגה תוכנית החילוץ המעשית. רבין פסל את התוכניות הראשונות שהוצגו בפניו, אולם כאשר הונחה בפניו תוכנית מפורטת של צה"ל לחילוץ החטופים, הוא ערך הצבעה בממשלה שבה רוב מוחץ תמך בתוכנית החילוץ. למעשה, רבין אישר את היציאה לדרך ברגע שהתקבל האישור של אל"ם אהוד ברק (עוזר המבצעים של ראש אמ"ן באותה העת) לגבי נחיתת התדלוק בקניה, עוד לפני שהממשלה אישרה את התוכנית. בעקבות נפילתו של מפקד המבצע יונתן נתניהו בעת ביצועו, החליט רבין לשנות את שם המבצע מ"אנטבה" ל"יונתן". ההצלחה היוצאת דופן של המבצע תרמה באופן זמני לשיפור מעמדו של רבין והערכת פועלו בציבור.
ב-30 במרץ 1976, בעקבות החלטת הממשלה להפקיע אדמות של אזרחים ערבים בגליל, פרצה שביתה כללית ועמה החלו סדרת הפגנות של ערביי ישראל נגד ממשלת רבין שנודעו בהמשך בתור יום האדמה. ההפגנות נערכו בעיקר בסח'נין, בעראבה ובדיר חנא. בהחלטה של ראשי העבודה, רבין, פרס ושר המשטרה שלמה הלל, הוכנסו כוחות צבא ומשטרה כדי לדכא את ההפגנות, שעם הזמן הפכו אלימות. שישה מפגינים נורו למוות: ארבעה על ידי כוחות צה"ל ושניים על ידי המשטרה. שלושה מההרוגים היו בסח'נין. מאז מצוין היום בקרב חלק מהאוכלוסייה הערבית בישראל כסמל למאבק במה שחלקם תופסים כמדיניות מפלה של ממשלות ישראל.
ממשלת רבין סבלה מאי-יציבות ומסכסוכים בין רבין לבין שר הביטחון פרס, שרבין חש כי הוא חותר תחתיו. הסכסוכים עם פרס החלישו מאוד את יכולת הפעולה של רבין. חרף זאת, חוללה ממשלת רבין מספר שינויים משמעותיים בתחום הכלכלה, ניקיון הכפיים וחופש הביטוי. בתקופת כהונתו של רבין נחקרו והתגלו פרשות שחיתות בצמרת המדינה. החקירות נערכו בעידודו ובתמיכתו של רבין, אף שהיו מעורבים בהן אישים מקורבים לרבין, כאשר ידלין, מועמדו של רבין לתפקיד נגיד בנק ישראל, וכאברהם עופר שכיהן כשר הבינוי והשיכון. עופר התאבד בסופו של דבר ללא שהוגש כתב אישום נגדו ב-3 בינואר 1977. רבין הזדעזע, הוא האמין בחפותו של עופר וטען כי החקירה שלו התארכה עקב חתירה של פרס תחתיו (עופר היה מבין התומכים העיקריים של מחנה רבין בתוך מפלגת העבודה). לנוכח פרשיות השחיתות רבין נותר בעל מוניטין ציבורי של אדם ישר ללא רבב, אך האופוזיציה ניצלה לטובתה את הפרשות ותבעה את הסיסמה "מושחתים, נמאסתם".