המתיחות בין פרס לרבין המשיכה גם לאחר סיומו המוצלח של מבצע יונתן ביולי 1976. במהלך הדיונים שקדמו למבצע תמך פרס בפעילות צבאית מיידית (בהתאם לתפיסה שהתקבלה, שאין לנהל משא ומתן עם ארגוני טרור), ואילו רבין העדיף לנסות קודם את דרך המשא ומתן. בסופו של דבר החליטו שניהם על פעולה צבאית. הצלחת הפעולה, שהביאה לגל של פופולריות לממשלת רבין, לא הפיגה את המתיחות בין שני האישים, ונראה שכל אחד מהם ביקש לנכס לעצמו את האשראי הציבורי שנוצר בעקבות הצלחת הפעולה.
מערכת הבחירות של 1977 והמהפך (1977).
ממשלת רבין הגיעה לסוף דרכה בסוף שנת 1976 בעקבות התפטרות רבין, לאחר הצבעה על הצעת אי-אמון שהגישה סיעת החזית דתית התורתית בשל חילול השבת. לקראת הבחירות לכנסת התשיעית נערכה ב-23 בפברואר 1977 התמודדות נוספת במפלגת העבודה. הפעם היה הגוף הבוחר גדול יותר, וכלל 2,300 צירים שנבחרו בידי 252,000 חברי המפלגה, שאליהם נוספו 600 חברי מרכז. התמודדות זו הייתה קשה וטעונה, ובסיומה ניצח רבין את פרס ברוב דחוק – 1,445 קולות לרבין לעומת 1,404 לפרס.
במרץ 1977 נחשפה "פרשת חשבון הדולרים" של לאה רבין, שבה התברר כי לאחר שהותם של הזוג רבין בארצות הברית, המשיכה גב' רבין לנהל חשבון דולרים בניגוד לחוק. ב-7 באפריל 1977 פרש רבין מראשות המפלגה וממועמדות המערך לראשות הממשלה. ב-10 באפריל נבחר פרס, כמעט פה אחד, ליו"ר המפלגה. רבין, שלא היה יכול להתפטר מממשלת המעבר, יצא לחופשה ופרס מילא בפועל את מקומו כראש ממשלה, אם כי האחריות נשארה על רבין, ופרס עדכן אותו באופן יומיומי.
פרס מצא עצמו בראשות המפלגה, כשלרשותו מעט יותר מחודש לנהל תעמולת בחירות. המערך הפך שם נרדף לריקבון שלטוני ולשחיתות. מולו ניצב הליכוד ובראשו מנחם בגין הוותיק, ובשורותיו פעל כמנהל מסע הבחירות עזר ויצמן, שניהל מסע תעמולה תוסס ונמרץ. הליכוד לא היסס לתקוף אישית את פרס בסיסמה "פרס – שטר בלי כיסוי". בעימות טלוויזיוני שנערך יומיים לפני הבחירות נראה פרס מתוח ועצבני, לעומת בגין שהופיע רגוע ונינוח. סקר טלפוני שנערך לאחר העימות גילה כי המצביעים סבורים כי תוצאת העימות היא תיקו, אך גם אם היה זה תיקו הוא פעל לטובת בגין, שהפגין ממלכתיות והציג בפומבי את אישיותו ודעותיו באופן שטרם נחשף לציבור. הבחירות הסתיימו ב"מהפך": המערך ספג מכה קשה, וירד מ-51 ל-32 חברי כנסת, והליכוד, שעלה ל-43 מנדטים, ניצח בבחירות. הייתה זו הפעם הראשונה מאז קום המדינה שבה הפסידה מפלגת השלטון הוותיקה, בשמותיה מפא"י-עבודה-מערך, את השלטון. פרס היה לראש האופוזיציה.
באופוזיציה לליכוד (1977-1984).
תקופת ממשלת בגין הראשונה (1977-1981).
לאחר הקמת ממשלת ישראל השמונה עשרה מצא עצמו פרס כראש האופוזיציה, ואף שלא היסס לתקוף את ממשלת הליכוד, הוא נקט עמדות ביטחוניות ומדיניות "ניציות". בתגובה להצעתו של נשיא מצרים אנואר סאדאת לחתום על הסכם שלום, פרס הציע תקופת מעבר ארוכה ובה הסכמי ביניים, והתנגד לנסיגה מלאה של ישראל מסיני גם בהסכם שלום. בסופו של דבר, הוביל את המערך לתמיכה במגעי השלום עם מצרים ולאחר מכן תמך בהסכמי קמפ דייוויד ובהסכם השלום עם מצרים.
בתוך המפלגה החריף הקרע בין פרס לרבין. ב-1979 התפרסם ספר הזיכרונות של רבין, "פנקס שירות", שכלל האשמות רבות נגד פרס, ובראשן הביטוי "חתרן בלתי נלאה". אמנם לקראת ההתמודדות המיועדת מול פרס על ראשות המפלגה החליט רבין לא להתמודד, ולתמוך בחברו הוותיק יגאל אלון; אולם בפברואר 1980 נפטר אלון במפתיע, וכך ההתמודדות על ראשות המפלגה שוב נותרה בין פרס לרבין. בבחירות הפנימיות שנערכו בנובמבר 1980 ניצח פרס עם 71% מן הקולות. בחירות אלו היוו נקודת מפנה ביחסים בין שני האישים. פרס הקים "ממשלת צללים" ולא כלל בה את רבין. רק בהתקרב הבחירות לכנסת ב-1981 ובלחץ דעת הקהל בציבור ובתוך מפלגת העבודה, הודיע פרס, שרבין יהיה מספר שתיים ומועמדו לתפקיד שר הביטחון (במקום מועמדות חיים ברלב) בממשלה שיקים אחרי הבחירות.
בדצמבר 1980 הכניס מנחם בגין את פרס בסוד תקיפת הכור האטומי בעיראק, המכונה "מבצע אופרה". פרס לא הביע התנגדות באותה העת, אך במאי 1981 הדליף עוזי אבן לפרס כי התקיפה צפויה בעתיד הקרוב. פרס כתב מכתב סודי לראש הממשלה בגין. במכתב זה דחק בו לבטל את המבצע, ולטפל במצב באמצעות לחץ פוליטי על צרפת (שסיפקה את הכור) ועל משטרו של סדאם חוסיין. לאחר ההדלפה לפרס, החליט בגין לדחות את מועד המבצע. בעקבות מידע מודיעיני שקבע כי אם תידחה הפצצת הכור יהיה מימושה במועד מאוחר יותר כרוך בנשורת גרעינית שתביא למותם של אזרחים רבים, החליטה ממשלת ישראל על ביצוע ההפצצה ב-7 ביוני 1981, כשלושה שבועות לפני הבחירות לכנסת.
לאחר הצלחת התקיפה הואשם בגין על ידי מפלגת העבודה בראשות פרס, וזאת בניגוד לעמדת רבין, שהפעולה נבעה משיקולי תעמולה של הליכוד לקראת הבחירות הקרבות לכנסת העשירית. אחרי מלחמת המפרץ טענו רבים שקיום התוכנית הגרעינית של סדאם חוסיין מוכיח את נחיצות הפעולה של בגין ב-1981. אולם פרס המשיך לטעון שההפצצה גרמה ליותר נזק מאשר תועלת, וגרמה רק לפיזור והסתרה של המאמץ הגרעיני העיראקי.
מערכת הבחירות של 1981 (1981).
מערכת הבחירות של 1981 עמדה בצִלם של האינפלציה הדוהרת, שבימי ממשלת בגין קפצה עד למעלה מ-100% לשנה, הקיפאון המדיני שהחליף את תנופת השלום, שבה התחילה הקדנציה של בגין בראשות הממשלה, ומחלותיו של ראש הממשלה, שסבל מחולשות אישיות ומתפקוד לקוי של ממשלתו. עם זאת, כל אלו נדחקו הצידה מול הנושא העדתי; רבים האמינו כי המערך מייצג את האשכנזים, והליכוד הצליח להפוך למייצגם של המזרחים, בני העליות מארצות האסלאם, שנטרו טינה למפא"י על היחס כלפיהם. רבות מאספות הבחירות של פרס הופרעו באלימות על ידי תומכי בגין ונזרקו עליו עגבניות. פרס הגיב בהתעמתות ובהתפלמסות עם הקהל, שיצרה רושם של התנשאות מצדו ומצד אנשי המערך כלפי תומכי הליכוד המזרחיים.
פרס, שהיה בתחילה בטוח בניצחונו בבחירות, דחק את רגליו של רבין מצמרת המערך, וקבע ששר הביטחון בממשלה שיקים אחרי הבחירות יהיה יורשו של רבין בתפקיד הרמטכ"ל, חיים בר-לב. אחרי התאוששות הליכוד בסקרי דעת הקהל, נכנע פרס ללחצים פנימיים והודיע, שמועמד המערך לשר הביטחון הוא יצחק רבין. הוא דחה הצעות שהובאו בפניו לוותר על מועמדותו לראשות הממשלה לטובת רבין.
בליל הבחירות הראה מדגם הטלוויזיה על ניצחון דחוק של המערך, ופרס מיהר לחגוג את ניצחונו, אף שאחד מיועציו הזהירו מראש, שלא ימהר לעשות זאת וימתין לתוצאות הסופיות. עם ספירת הקולות התברר שפרס אמנם הצליח להעלות את המערך ל-47 מנדטים, אבל הליכוד עלה ל-48 מנדטים וניצח.
ממשלת בגין השנייה (1981).
האירוע המרכזי בתקופת ממשלתו השנייה של מנחם בגין היה היציאה למלחמת לבנון הראשונה. עם היציאה למלחמה שמר פרס על מראית עין של "אחריות לאומית". אף על פי שהיה ברור כי הוא מסתייג מהמלחמה ומהמהלכים שהובילו אליה, כראש האופוזיציה לא רצה להפגין אי-נאמנות כלפי הממשלה בשעת משבר ומלחמה.
ראשות הממשלה (1984–1986, 1995-1996).
ראש הממשלה: כהונה ראשונה (1984-1986).
מערכת הבחירות של 1984 (1984).
התפטרותו של בגין מראשות הממשלה, והחלפתו ביצחק שמיר, שנתפס כמועמד פחות פופולרי ולא כריזמטי, ההסתבכות הקשה בלבנון, שגבתה הרוגים רבים, המשברים הכלכליים, בהם משבר מניות הבנקים והאינפלציה שיצאה משליטה, הביאו לתקווה בקרב אנשי המערך כי הפעם יצליחו לנצח בבחירות. הפעם עמד להתייצב מול פרס בהתמודדות הפנימית יצחק נבון, שסיים זמן קצר לפני כן את תפקידו כנשיא, בו צבר פופולריות רבה, כולל בקרב ציבורים שלא תמכו במערך. מול נבון כרת פרס ברית עם רבין, והצליח למנוע מנבון להתמודד, ולהיות שוב מועמד המפלגה לראשות הממשלה.
מערכת הבחירות לכנסת האחת עשרה עצמה לא הייתה סוערת כקודמתה, והרגשות השליליים שבוטאו נגד פרס במערכת הבחירות הקודמת התמתנו. עם זאת, יצחק שמיר הצליח לזכות באהדה, ואף לשפר את מעמדו, כאשר הכריז כי בכוונתו לפעול לכינון ממשלת אחדות לאומית לאחר הבחירות, הכרזה לה לא היה לפרס מענה ראוי.
במוצאי יום הבחירות, ב-23 ביולי 1984, התברר שבכנסת האחת עשרה ישנו שוויון בין גושי המפלגות. המערך אמנם קיבל 44 מנדטים לעומת 41 של הליכוד, אולם אף אחד מהגושים לא יכול היה להקים ממשלה בעצמו, ואף לא גוש חוסם. לליכוד עם מפלגות הימין ועם המפלגות הדתיות, היו 60 מנדטים, לעומת 59 מנדטים לגוש של המערך, ושל מפלגות המרכז-שמאל והשמאל, בנוסף הייתה כך שקיבלה מנדט אחד והייתה מוקצה על ידי שני הגושים.
המפלגות הדתיות שמרו על נאמנותן לליכוד, וסירבו להיעתר לפניות להקים ממשלה צרה עם המערך. לאחר התערבותו האישית החסרת תקדים של נשיא המדינה חיים הרצוג ולאחר שעזר ויצמן, שעמד בראש מפלגת יחד, תמך בכך, נמצא הפתרון – "הסכם רוטציה", לפיו במשך השנתיים הראשונות יכהן פרס כראש ממשלה, ושמיר יהיה ממלא מקומו ושר החוץ, ובשנתיים שלאחריהם שמיר ופרס יתחלפו בתפקידיהם. לאורך כל הקדנציה הוענק תיק הביטחון ליצחק רבין מהמערך, ואילו תיק האוצר ליצחק מודעי מהליכוד.
ראש ממשלת האחדות (1984-1986).
בפני פרס עמדו מספר אתגרים. במשך השנתיים שבהן אמור היה לכהן בראשות הממשלה, היה עליו לפתור את המשבר הלבנוני, לחלץ את הכלכלה מהמשבר, ולקדם תהליך מדיני לפתרון הסכסוך הישראלי-פלסטיני.