בינואר 1985 הביאו פרס, ושר הביטחון רבין, בפני הממשלה החלטה על יציאת צה"ל משטחים שכבש במלחמת לבנון הראשונה, ונסיגה לקו חדש שכונה "רצועת הביטחון". ההחלטה עברה ברוב דחוק, ובין התומכים היו גם שרים מן הליכוד. באמצע 1985 נערך צה"ל בקו החדש. על אף שההיערכות החדשה הותירה את צה"ל בלב השטח הלבנוני, ולא הביאה לפתרון מלא של הבעיה, ההרגשה הכללית ששררה בעת הנסיגה הייתה כי המדובר בצעד חיוני, וכי הקזת הדם בלבנון פחתה מאוד.
ביולי 1985 הוביל פרס יחד עם שר האוצר יצחק מודעי ועם נגיד בנק ישראל, מיכאל ברונו, את התוכנית לייצוב המשק, מהלך דרמטי לבלימת האינפלציה שהגיעה למאות אחוזים בשנה, והורדתה לקצב שנתי של כ-20 אחוז. יש המייחסים לתוכנית הייצוב שיזמו פרס ומודעי את הפיכתה של כלכלת ישראל לכלכלה נאו-ליברלית. כשנה מאוחר יותר הסתכסך פרס עם מודעי, שחש שפרס לוקח לעצמו את כל הקרדיט על הצלחת התוכנית. אחרי שמודעי כינה את פרס "ראש ממשלה מעופף", העביר אותו פרס מתפקידו, והחליפו במשה ניסים.
הישג נוסף בתקופת כהונה זו היה העלאת יהודי אתיופיה. כתוצאה מחשיפה של משה דיין, הופסקו הטיסות מאוגנדה, ונוצר הצורך לבצע את מבצע משה. המבצע הופסק לאחר שפרס התוודה בפני עיתונאים שנערכות טיסות מסודאן לישראל. בהמשך, יזם פרס מגעים שהובילו למבצע שבא, שגם הוא הופסק בעקבות חשיפה של פרס בתקשורת.
ביולי 1986 ביקר פרס באופן מפתיע במרוקו.
משבר שהעיב על תקופת הכהונה הראשונה של פרס היה פרשת קו 300. ב-18 במאי 1986 דיווח היועץ המשפטי לממשלה יצחק זמיר כי הגיע אליו מידע שממנו עלה חשד שאנשי שב"כ, בראשות ראש השב"כ אברהם שלום, ביצעו עבירות פליליות חמורות, והוא ביקש להעמידם לדין. לאחר ששקל בדבר, החליט פרס להתנגד לכך, והעדיף לשמור על ראש השב"כ, במחיר של טיוח הפרשה. על הדרישה של זמיר הגיב: "רוצים לזרוק את ראש השב"כ לכלבים". לראובן חזק, שהעלה את החשדות על אף שבכך חרץ את דינו לאבד את תפקיד ראש השירות שהובטח לו – הציע פרס לצאת ללימודים ולפרוש מהשירות. התפתח עימות בין זמיר לבין פרס ויצחק שמיר, שתמכו באברהם שלום. על פי דרישתו של שמיר, הוחלף זמיר ביועץ משפטי חדש – יוסף חריש. אולם, משהבין פרס שלא יוכל לעצור את החקירה – איפשר לפרקליטות להורות למשטרה לחקור את הפרשה, דבר שהביא לפרסומהּ. הסערה הציבורית שהתחוללה הביאה להתפטרותו של שלום מתפקידו. נשיא המדינה חיים הרצוג העניק חנינה בטרם העמדה לדין לאנשי השב"כ המעורבים, והביא לסיום פורמלי של הפרשה.
בתחום המדיני לא הצליח פרס ליצור פריצת דרך בתקופת כהונתו כראש הממשלה. המשך המהלך המדיני, בו היו שותפים מאחורי הקלעים גם הירדנים והאמריקנים, היה תלוי בהצהרה של אש"ף על הימנעות מטרור והכרה במדינת ישראל. ערפאת נמנע מהצהרה כזו, ובפברואר 1986 הכריז המלך חוסיין על סיום המשא ומתן ועל כישלון התהליך.
פעולות נוספות של ממשלת ישראל בתקופה זו היו עסקת חילופי השבויים עם אחמד ג'יבריל במאי 1985, שבה שוחררו 1,100 אסירים ביטחוניים מארגוני הטרור כנגד שלושה שבויי צה"ל. באוקטובר 1985 ביצעה ישראל, בתגובה לרצח ישראלים בקפריסין, הפצצה על מפקדות אש"ף בתוניס, שכונתה "מבצע רגל עץ". הייתה זו ההפצצה ארוכת הטווח ביותר שביצע חיל האוויר הישראלי מאז ומעולם, והיא נועדה ליצור הרתעה נגד פעולות טרור, ולסמן למדינות התומכות בארגוני הטרור כי לא תזכינה לחסינות.
בציבור ובעיתונות הועלו ספקות האם פרס יקיים את הסכם הרוטציה, ולדברי בועז אפלבאום שהיה באותה התקופה ראש לשכת ראש הממשלה הוא אכן בדק אצל הרב שך אם יתמוך בו בפירוק ממשלת האחדות והקמת ממשלה צרה בראשותו, אך נתקל בסירוב מוחלט, והרב שך אף סירב לדבר עמו. בסופו של דבר, התפטר פרס מראשות הממשלה לטובתו של מנהיג הליכוד יצחק שמיר והם החליפו תפקידים ב-20 באוקטובר 1986.
בממשלות שמיר (1986-1988).
אחרי הרוטציה הפך פרס לשר החוץ בממשלתו של יצחק שמיר. בתפקיד זה ניסה פרס לקדם את "האופציה הירדנית" – פתרון הסכסוך עם הפלסטינים ופתרון בעיית יהודה שומרון ועזה על ידי הדברות עם ירדן.
באפריל 1987 נפגש בחשאי עם המלך חוסיין בלונדון, והגיע איתו, ללא הסכמתו וללא ידיעתו של ראש הממשלה שמיר, להסכם (שכונה "הסכם לונדון") על מסגרת לשיחות שלום על ידי כינוס ועידה בינלאומית שתוביל למשא ומתן ישיר בין הצדדים, בו העניין הפלסטיני ייוצג במסגרת המשלחת הירדנית. ההסכם החשאי אמור היה להיות מוצג כיוזמה אמריקנית שתוצג לשני הצדדים, ולפי עדות חוסיין, פרס הבטיח לו, שההסכם יאושר על ידי ממשלת ישראל. אולם שמיר התנגד להסכם והודיע על כך לאמריקנים, ומכיוון שבממשלה בה היו לגוש הליכוד מחצית מהחברים לא היה להסכם רוב, הוא נגנז והיוזמה נכשלה.
בדצמבר 1987 פרצה האינתיפאדה הראשונה, והביאה קץ לניסיונות המדיניים של פרס. חברו למפלגה, שר הביטחון רבין, הפעיל יד קשה נגד המתקוממים, והאווירה הייתה קשה.
ב-1988 התקיימו הבחירות לכנסת השתים עשרה. אישים כמוטה גור פנו אל פרס בבקשה כי יפנה את מקומו לרבין, בעל התדמית הביטחוניסטית, ויאפשר לו להתמודד מול שמיר בבחירות, אך פרס סירב. רבין, מטעמיו הוא, נמנע אף הוא מהתמודדות, ופרס נבחר שוב כמועמד המפלגה לבחירות.
מערכת הבחירות הייתה שקטה. עם זאת, ימים ספורים לפני הבחירות הותקף ביריחו אוטובוס שנסע מטבריה לירושלים. על האוטובוס הושלך בקבוק תבערה ובדליקה שפרצה נשרפו למוות רחל וייס מירושלים ושלושת ילדיה. החייל שניסה להצילם נפצע קשה ונפטר מפצעיו מאוחר יותר. האירוע עורר רגשות שליליים נגד הפלסטינים, ונגד פרס שנתפס כמתון וחסר יכולת עמידה מול הטרור הפלסטיני. יש האומרים, וביניהם פרס עצמו, שאירוע זה הביא להכרעת הבחירות לטובת הליכוד.
עם תום הבחירות לכנסת ה-12 היה לגוש הליכוד, מפלגות הימין והדתיים, רוב של 65 מנדטים, אולם שמיר העדיף להקים ממשלת אחדות נוספת. בגלל יחסי הכוחות החדשים נאלץ פרס לוותר על דרישתו לרוטציה בראשות הממשלה. פרס התמנה לשר האוצר וממלא מקום ראש הממשלה בממשלתו של יצחק שמיר, ורבין המשיך בתפקידו כשר ביטחון.
"התרגיל המסריח" (1990).
בתחילת 1990 הציע מזכיר המדינה של ארצות הברית, ג'יימס בייקר, כי ישראל תישא ותיתן עם משלחת פלסטינית שתהיה מבוססת על תושבי יהודה ושומרון ורצועת עזה, ושבה ישתתפו גם נציגי הפלסטינים במזרח ירושלים וגם פלסטינים שהם במקורם תושבי יהודה שומרון ועזה, אך גורשו עם השנים על ידי ישראל בתקופת שליטתה בשטחים. פרס דרש שהממשלה תקבל את הצעת בייקר, אולם שמיר סירב. פרס רקח עם ש"ס תוכנית להפלת הממשלה, במה שכונה מאוחר יותר "התרגיל המסריח". סיעת המערך עמדה להציע אי-אמון בממשלה על רקע הצעות בייקר. כשנודע לשמיר על כך הוא פיטר את פרס מהממשלה. שאר שרי המערך התפטרו בתגובה, ובהצבעה על הצעת האי-אמון, ב-15 במרץ 1990, נעדרו חמישה מחברי הכנסת של ש"ס מהמליאה, והממשלה נפלה.
הנשיא חיים הרצוג הטיל את מלאכת הרכבת הממשלה על פרס. אולם המשא ומתן הקואליציוני נקלע לקשיים: הרב שך, מנהיגה הרוחני של מפלגת דגל התורה, התנגד בחריפות להצטרפות המפלגה לממשלת השמאל, ובעקבותיו סירב גם הרב עובדיה יוסף לאשר למפלגת ש"ס להצטרף לממשלת פרס. המפלגה החרדית היחידה שהצטרפה למהלך הייתה אגודת ישראל, ויחד עם אברהם שריר הייתה לפרס לכאורה קואליציה בת 61 חברים.
ממשלתו החדשה של פרס הייתה אמורה לקבל את אישורה של הכנסת ב-11 באפריל 1990. אולם בבוקרו של יום זה התברר ששניים מחברי הכנסת של אגודת ישראל, אברהם ורדיגר ואליעזר מזרחי, נעדרים ממשכן הכנסת. הצגת הממשלה התבטלה, ופרס נאלץ לבקש מהנשיא הרצוג ארכה על מנת לנסות בכל זאת להרכיב ממשלה. ב-26 באפריל 1990, כשגם בתום פרק הזמן הנוסף שהוקצב לו לא הושגה התקדמות במגעים הקואליציוניים, נאלץ פרס להודיע להרצוג על כישלונו. שמיר הצליח להרכיב ממשלה צרה ופרס חזר לתפקיד ראש האופוזיציה.
בממשלת רבין השנייה (1992-1995).
בשנת 1992 הנהיגה מפלגת העבודה, לראשונה בישראל, בחירות פנימיות בהשתתפות כל חברי המפלגה ("פריימריז"). בהתמודדות על ראשות המפלגה שנערכו ב-19 בפברואר התמודדו רבין, פרס, ישראל קיסר ואורה נמיר. פרס הגיע למקום השני עם 34% מהקולות. רבין זכה במעט יותר מהסף של 40% מהקולות שהיה דרוש בשביל להימנע מסיבוב שני, ונבחר להיות מועמד המפלגה לראשות הממשלה. בבחירות המקדימות שנערכו לאחר מכן, לבחירת חברי הכנסת מטעם המפלגה, זכה פרס במקום הראשון ושובץ ברשימה במקום השני לאחר רבין.
כשר החוץ (1992-1995).
כאשר זכתה מפלגת העבודה בבחירות לכנסת השלוש עשרה, מינה רבין את פרס לתפקיד שר החוץ, ולממלא מקום ראש הממשלה. רבין שהבטיח כי "אני אנווט", ניהל את ממשלתו ביד רמה. לעיתים השניים הסתכסכו, אך במהלך כל תקופת כהונת רבין הייתה הכרתו של פרס כי רבין הוא הבכיר מביניהם, שהביאה לשיתוף פעולה ולקידום הנושאים שהיו חשובים לשניהם.
בתחילה דחק רבין את פרס מהטיפול ברוב הנושאים הנוגעים לתהליך השלום, שהתנהל בהמשך ל"תהליך מדריד", והותיר בידיו רק את ניהול החלקים הנוגעים לשיתוף פעולה אזורי.
בשנים 1992 ו-1993 עמדה ממשלת רבין במגעים עם סוריה לכריתת הסכם שלום תמורת נסיגה מרמת הגולן. מגעים אלו התקדמו מאוד, אך באמצע שנת 1993 נראה היה כי הגיעו למבוי סתום. על רבין היה לבחור בין התקדמות במסלול הסורי, שנראה כי היה שרוי במשבר, ובין התקדמות מול הפלסטינים.