על רקע כל אלו, והתחושה הקשה ששררה בארץ, נראה היה כי סיכוייו של שמיר לזכות בתפקיד לאחר הבחירות לכנסת האחת עשרה קלושים, וכי מועמד המערך (השני), שמעון פרס, יהיה לראש הממשלה הבא. שמיר הצליח להגיע להבנה עם דוד לוי, שנמנע מלהתמודד על מועמדות הליכוד בבחירות, אך אריאל שרון, שלא נחשב לאיום ממשי, הודיע במפתיע על התמודדותו. בהתמודדות שנערכה במרכז הליכוד זכה שמיר ב-59% בעוד שרון זכה ב-41% – הישג שהותיר את ראש הממשלה, כדבריו, "נדהם".
ממשלת האחדות – "רוטציה" (1984–1988).
הרכבת הממשלה החדשה (1984).
על אף שרבים צפו את ניצחונו הגורף של המערך (השני) בבחירות לכנסת האחת עשרה, הצליח שמיר לצמצם את הירידה הצפויה של הליכוד בבחירות מ-48 מנדטים להישג של 41 מנדטים. הישג זה הושפע בין לבין מהפתעת הבחירות שהעניק שמיר בעת העימות מול פרס, כאשר הביע תמיכה בהקמה של ממשלת אחדות לאומית לאחר הבחירות, לנוכח המשברים הרבים שמולם עמדה המדינה, בהם האינפלציה, המצב בבוץ הלבנוני ועוד.
הישג של הליכוד הוביל לחלוקת הכנסת 60:60 בין הגושים, ומכאן ששמעון פרס לא הצליח להקים ממשלת שמאל צרה, והסיעות הדתיות לא רצו להצטרף לממשלה בראשותו, אלא אם יצטרף אליה גם הליכוד. בסופם של מגעים ארוכים, ולאחר שהנשיא חיים הרצוג הטיל על פרס להרכיב ממשלה. פרס כשל בניסיונו להרכיב ממשלה, ובתיווך חיים הרצוג עצמו בצעד חסר תקדים, הצליח להביא להסדר שלפיו ישמש פרס שנתיים בראשות הממשלה, ושנתיים ישמש שמיר בתפקיד. בפעם הראשונה מאז עלה הליכוד לשלטון הוקמה ממשלת אחדות לאומית, שנשענה על רוב מוצק של 97 חברי כנסת. יצחק רבין היה בממשלה זו לשר הביטחון למשך כל התקופה, יצחק מודעי לשר האוצר, ואילו שמיר החל את דרכו כשר החוץ וממלא מקום ראש הממשלה, לפי הסכם רוטציה שקבע כי בשנת 1986 יתפטר שמעון פרס, ימליץ על יצחק שמיר בפני הנשיא, וזה יקים ממשלה בעלת הרכב כמעט זהה עם שמעון פרס כשר חוץ.
שר החוץ בממשלת האחדות (1984–1986).
בפני הממשלה החדשה עמדו שני אתגרים עיקריים, שבסופו של דבר הושגו היעדים שהוצבו לגביהם. האתגר הכלכלי, דהיינו הדברת האינפלציה וייצוב המשק, ויציאתו של צה"ל ממרכז לבנון. תוכנית הייצוב הכלכלית של 1985 הביאה לבלימת האינפלציה, שהיוותה סכנה של ממש למשק הישראלי וליציבותה של מדינת ישראל. תוכניתו של יצחק רבין לסגת לקו שכונה "רצועת הביטחון" בלבנון, הובאה לאישור הממשלה בינואר 1985. שמיר היה בין המתנגדים לנסיגה, והצביע כנגדה בממשלה, כמו גם כל שאר שרי הליכוד. על אף התנגדותו של שמיר, הנסיגה אושרה בממשלה, בוצעה בשלושה שלבים והסתיימה ביוני 1985.
בצעד מעורר מחלוקת החליטה הממשלה במאי 1985, בתמיכת שמיר, על "עסקת ג'יבריל", שבמסגרתה שוחררו 1,150 מחבלים תמורת שלושה חיילים שהוחזקו על ידי ארגון הטרור של אחמד ג'יבריל. שמיר טען כי "לא יעלה על הדעת שמחבלים רוצחים ישוחררו ויהודים שפעלו נגדם יישארו בכלא", ותבע את שחרור אסירי המחתרת היהודית. בצעד יוצא דופן תמך שמיר בהצעת חוק פרטית לשחרור אסירי המחתרת, שנדחתה על ידי הכנסת ביולי 1987, לאחר ששר המשפטים אברהם שריר התנגד לה. בסופו של דבר קוצרו בצורה משמעותית עונשי המאסר של אסירי המחתרת.
עוד ב-1985 עמד שמיר בראש משלחת ישראלית להיפגש עם מקביליו שרי החוץ האירופיים בלוקסמבורג לתיאום הסדרי מסחר עבור מניעת פגיעה בשוק היצוא החקלאי הישראלי לנוכח כניסתה של ספרד, יצרנית חקלאות משמעותית, אל הקהילה הכלכלית האירופית. באוקטובר 1985 היה שמיר בין המחליטים על הפצצת מפקדות אש"ף בתוניס (מבצע רגל עץ) כתגובה למעשה טרור שבו נרצחו ישראלים בנמל לרנקה בקפריסין. שיתוף הפעולה בין שמיר ופרס הביא להישגים נוספים בתקופה זו, שהחשוב שבהם הוא העלאת יהודי אתיופיה במסגרת מבצע משה, וכן כינון יחסים רשמיים עם מרוקו, שהוכרז בביקור מפתיע של שמעון פרס במרוקו ביולי 1986.
שמיר היה מעורב בפרשת איראן–קונטראס במסגרתה תמך ביוזמתו של פרס לתיווך ישראלי במגעים בין גורמי הנהגה מתונים באיראן וחזבאללה לבין ממשל רייגן בבית הלבן. העסקה נבנתה כך שישראל מכרה נשק לאיראן, באישור אמריקאי, ובתמורה שחרר חזבאללה בלבנון בני ערובה אמריקאים שהחזיק. התשלום שהתקבל מאיראן תמורת הנשק, בניכוי הוצאות ועמלות, הועבר לממשל האמריקאי מבלי שנרשם בספרים. כך יכול היה הממשל להשתמש בכסף זה ללא פיקוח או ידיעה של הקונגרס למימון המורדים במשטר הסנדיניסטי בניקרגואה (הקונטראס), שהואשם על ידי הנשיא רונלד רייגן בתמיכה במרידות קומוניסטיות במרכז אמריקה. המגעים תחילה נערכו ביוזמתו של היועץ לביטחון לאומי האמריקאי, רוברט מקפרלן, אך שמיר ופרס טענו כי על מקפרלן ליידע את מזכיר המדינה ג'ורג' שולץ בנעשה. מקפרלן יידע את שולץ רק לאחר קבלת הוראה ישירה מהנשיא רייגן. כל הפרשה הייתה למעשה לשיתוף פעולה ישראלי עם הממשל האמריקאי שפעל מאחורי גבו של הקונגרס במהלך בלתי חוקי. זעם ציבורי רב פרץ נגד הממשל האמריקאי בעקבות דליפת המגעים לתקשורת אך יחסיה של ארצות הברית עם ישראל כמעט שלא נפגעו.
ממשלת האחדות סבלה מקרעים פנימיים, והיחסים המתוחים בין מרכיביה היו לשם דבר. לאחר הסדר תוכנית הייצוב הכלכלית ויציאתה לפועל, פרצה יריבות מרה בין ראש הממשלה פרס לשר האוצר מודעי לאחר שהאחרון כינה את פרס "ראש ממשלה מעופף", ובעקבותיה פרס פיטר את מודעי. שמיר תמך במודעי והיה חשש כי ממשלת האחדות תתפרק בעקבות היריבות הקיימת. שמיר הציע שיצליב את תפקידו עם מודעי עד להסכם הרוטציה, אך פרס סירב לקבל את האופציה. על בסיס ההסכם הקואליציוני הקיים, היה על שר האוצר להיות חבר הליכוד, ומתוך כך מינה פרס לתפקיד את משה נסים, שביצע החלפה עם מודעי בתפקידו כשר המשפטים.
גם בצמרת הליכוד היו היחסים מתוחים. ועידת התנועה במרץ 1986 התפוצצה לאחר ששמיר התייחס למקורבי דוד לוי כ"חבורת פושעים". בנובמבר השלימו השניים ב"סולחה" מתוקשרת, אך זאת למראית עין בלבד. המתיחות בין לוי ושמיר תוסיף לפצל את הליכוד עד ל"נאום הקופים" של לוי בשנת 1992, שבו טען כי שמיר ואנשיו רואים בו "קוף שזה עתה ירד מן העצים".
הקדנציה השנייה כראש ממשלה (1986–1988).
על אף שרבים קראו לו שלא לעשות כן, ולאחר מספר ימי מתח שלוו במשברים קואליציוניים ובהכרזות סותרות, עמד שמעון פרס בהבטחתו, וב-20 באוקטובר 1986 התפטר מתפקיד ראש הממשלה, על מנת להעביר לשמיר את ראשות הממשלה. בממשלתו החדשה של שמיר מונה פרס לשר החוץ. מתוך המערך היה רבין המתנגד העיקרי לפירוק הממשלה. עם מינויו של שמיר לראש ממשלה, הוא צירף את רבין להיות יחד איתו ועם פרס ב"מועדון ראשי הממשלה" ("הטרויקה"), שעל בסיסו כל ההכרעות המרכזיות צריכות להתקבל על ידי שלושת השרים הבכירים, פרס, רבין ושמיר.
לאחר השלמת הנסיגה מלבנון והדברת האינפלציה, שהיו למטרותיה העיקריות של הממשלה בשנתיים הראשונות לקיומה, עמד על הפרק הסדר עתידם של יהודה שומרון ועזה שהוחזקו בידי ישראל מאז מלחמת ששת הימים. אך פרס ושמיר החזיקו בדעות קוטביות לגבי קידום התהליכים המדיניים בעניין זה.
פרשת קו 300 (1984–1987).
בשעת חטיפת אוטובוס קו 300 שהחלה את פרשת טיוח הרג המחבלים, היה שמיר בפגישה של מרכז תנועת החרות לקראת הבחירות לכנסת ה-11 ולא היה מעורב בעניין. לאחר האירוע, דיווח לו ראש השב"כ ששני מחבלים נהרגו במהלך ההשתלטות ושניים נהרגו בדרך לבית החולים ושמיר לא חקר מעבר לכך. לאורך כל הדרך, החל מהפרסומים בתקשורת לאחר החטיפה, דרך דיווחו של ראובן חזק לשמעון פרס באוקטובר 1985, וכלה בדרישה של יצחק זמיר לפתוח בחקירה, התנגד שמיר לחקירת הנושא כי סבר שהדבר יזיק לשב"כ. ב-1986, כאשר היועץ המשפטי לממשלה יצחק זמיר ביקש לחקור את הנושא, העבירו שמיר ופרס את התיק לטיפול המשטרה, דבר שהביא לפיטוריו למעשה של זמיר (אף שהוצגו כהתפטרות). לאחר שהפרשה התפרסמה, תמך שמיר במתן חנינה לאנשי השב"כ שהיו מעורבים בהריגה ובחיפוי. שמיר כינה את הפרשה "הבעיה הקשה והעקרונית ביותר מאז קום המדינה".
ראש השב"כ, אברהם שלום, טען שפעל בסמכות וברשות ושקיבל אישור למעשיו משמיר. לטענתו, מספר חודשים לפני חטיפת האוטובוס, בנובמבר 1983, שוחח עם שמיר על מה שיש לעשות במחבלים במקרה של חטיפה או פיגוע מיקוח, ושמיר הורה לו לא לתת למחבלים לצאת חיים מפיגוע מיקוח. כן טען שלום שלאחר הריגת המחבלים הוא דיווח על כך לשמיר וקיבל ממנו אישור לחיפוי שנעשה בוועדת זורע. שמיר הכחיש את הטענות הללו ב-24 ביוני 1986 בעת הכנת בקשת החנינה לאנשי השב"כ, אך למרות זאת המילים "ברשות ובסמכות" נכללו בבקשת החנינה. הטענות נבדקו על ידי צוות חקירה של משרד המשפטים, שכלל את יהודית קרפ ואת עדנה ארבל, ובדו"ח בנושא שפורסם ב־29 בדצמבר 1986 קיבל צוות החקירה את גרסתו של שמיר. בדו"ח נקבע שלא נמצאה תמיכה לגרסתו של שלום, בעוד שגרסתו של שמיר נתמכה חלקית מאנשים שונים, וכן שנמצאו תמיהות בגרסתו של ראש השב"כ. כן נקבע שלא ניתן לבסס האשמה על עד יחיד שנתן הוראה לשבש מהלכי חקירה.
הקשיים עם ארצות הברית (1985–1987).