אלון לא צבר לעצמו בסיס תמיכה חזק במפלגתו, ובמאבק הירושה שהתפתח עם התפטרותה של גולדה מאיר ב-1974 הסתבר שוותיקי המפלגה העדיפו לתמוך ברמטכ"ל הניצחון של ששת הימים, יצחק רבין, ולא בו. הדבר היווה מכה קשה עבורו, בייחוד עקב היותו של רבין בן טיפוחיו בפלמ"ח, אך הוא נרתם לסייע לרבין במרכז המפלגה.
שר החוץ (1977–1974).
לאחר היבחרו של יצחק רבין לראשות הממשלה, הִתנו אנשי רפ"י לשעבר את תמיכתם בממשלה במינויו של שמעון פרס לשר ביטחון, ואלון שוב נאלץ לוותר על תפקיד זה והתמנה לשר החוץ.
ב-3 באוקטובר 1974 נשא אלון בפני עצרת האו"ם את נאומו הראשון כשר החוץ, בו אמר כי "ישראל תהיה מוכנה לשקול בחיוב פשרה טריטוריאלית משמעותית". ב-1975 מינה את חיים הרצוג לשגריר ישראל באו"ם, וב-1976 מינה את שלמה אבינרי למנכ"ל משרד החוץ – מינוי שעורר התנגדות חריפה בציבור ובממשלה, בשל השקפותיו ה"יוניות" של אבינרי.
כשר חוץ, ניהל אלון יחד עם רבין את המגעים עם מזכיר המדינה האמריקאי, הנרי קיסינג'ר, להסדר ביניים עם מצרים, שהובילו בסופו של דבר להסכם הביניים בין ישראל למצרים בשנת 1975, שאִשרר את מחויבות שתי המדינות להמשך הפסקת האש ולפתרון הסכסוך ביניהן, וכלל נסיגה של צה"ל מרצועה צרה לאורך מפרץ סואץ. ההסכם היווה נקודת מפנה במערכת היחסים עם מצרים. אלון העיד שההסכם חשוב כשלעצמו, אך עיקר חשיבותו הוא בתרומתו הגדולה ליחסי ארצות הברית–ישראל, וכי הצליחו לסכל את הלחץ האמריקאי לוויתורים נוספים מצד ישראל (כנראה בנושא הגרעין) במסגרת הסכם הביניים. אלון התנגד לביטול מדיניות העמימות הגרעינית של ישראל וכשר חוץ שיבח בינואר 1976 את "האמנה לפירוז" וכעבור זמן קצר הגיש למזכ"ל האו"ם הצעה ישראלית "לפירוז גרעיני של האזור". מראשית כינון הממשלה העלה אלון על סדר היום את הבעיה הפלסטינית ותמך בהסדר הסיפוח החלקי עם ממלכת ירדן בהתאם לתוכנית אלון. לאחר שהמלך חוסיין דחה את הצעתו להסכם ביניים עם ירדן ברוח זו, הוא חזר לתמוך בישות פלסטינית עצמאית באזורי הערים על מנת להרחיק את אש"ף מהגדה, אך הממשלה לא אישרה זאת. יחסיו של אלון עם רבין בתקופה זו ידעו עליות וירידות, לא תמיד התנהלו על מי מנוחות ואף לוו בהתנצחויות בדיוני הממשלה.
לאחר פלישת טורקיה לקפריסין ביולי 1974, התנגד אלון למכירת נשק ליוון, בנימוק שבכוונת היוונים למסור אותו לידי קפריסין.
בספטמבר 1974 ביקר בישראל שר החוץ של רומניה, גאורגי מקוביסקו . במהלך הביקור, אירח אותו אלון בגנוסר וגם בדירת השרד שלו בעיר העתיקה. באוקטובר אותה שנה, התארח בישראל שר החוץ של צרפת, ז'אן סובאניארג, וגם אותו אירח אלון בגנוסר ואף ערך עמו שיט לילי על הכנרת.
בסוף פברואר 1975, לאחר שהשתתף עם גולדה מאיר בכנס של "האינטרנציונל הסוציאליסטי" במערב ברלין, ביקר אלון בבון, בירת גרמניה המערבית. במהלך ביקורו, נפגש עם שר החוץ הגרמני, עם השר הגרמני לשיתוף פעולה כלכלי, אגון בר, עם שר האוצר, עם ראש האופוזיציה, עם נשיא גרמניה ועם הקנצלר הלמוט שמידט. כמו כן, ביקר במחנה הריכוז דכאו. בהמשך כהונתו כשר החוץ, ביקר אלון בגרמניה עוד מספר פעמים. הביקור המוצלח של שר החוץ הצרפתי בגנוסר, הביא להזמנתו של אלון לצרפת באפריל 1975 ולפגישה עם נשיא צרפת, ואלרי ז'יסקר ד'אסטן, ועם ראש ממשלת צרפת.
ב-11 במאי 1975 חתם אלון על הסכם סחר חופשי עם השוק המשותף, שקירב את ישראל לאירופה מבחינה כלכלית. כחצי שנה לפני מותו, הגדיר אלון את ההסכם כ"אחד ההישגים הגדולים" של חייו. בתקופה זו נערכה סדרת ביקורים של שרי חוץ אירופיים בישראל. בסוף מאי 1975 ביקר אלון ברומניה, שם שיבח בנאומו את "מדיניות החוץ העצמאית" שלה, נפגש עם היהודים המקומיים בבית הכנסת המרכזי של בוקרשט, ונפגש לשיחה ארוכה עם שליט המדינה, ניקולאה צ'אושסקו.
כבר מספטמבר 1974 פעלו הערבים בעצרת האו"ם להשעיית ישראל מהארגון. בספטמבר 1975 שוב נאם אלון בעצרת. הוא דיבר נגד השעיית ישראל, תקף את המזכ"ל קורט ולדהיים, ואמר: "רק אמריקה ולא האו"ם יכולה להביא שלום". ב-10 בנובמבר 1975, התקבלה החלטה 3379 של העצרת הכללית של האו"ם שקבעה כי "ציונות היא צורה של גזענות ואפליה גזעית".
בנובמבר 1975 חתם אלון על הסכם תרבות עם הולנד, שנועד להרחיב את שיתוף הפעולה בין שתי המדינות בתחומי החינוך, התרבות והמדע. במהלך מסעותיו באירופה, נפגש גם עם מפקד נאט"ו והציע לו להקים בישראל מחסנים שישמשו את כוחות המערב במקרה הצורך. אלון ניסה, ללא הצלחה, לבסס קשרים גם עם ספרד. ניסיונות אלו כללו ביקור חשאי שלו במדינה זו, במהלכו היה מחופש.
באוגוסט 1975, ביקר בישראל נשיא מקסיקו, לואיס אצ'ווריה אלווארס, ובין היתר ביקר את אלון בגנוסר וערך עמו שיט על הכנרת. על אף ביקורו החגיגי, רק שלושה חודשים מאוחר יותר הצביעה מקסיקו בעד החלטת האו"ם שקבעה כי ציונות היא גזענות. ב-1976 ערך אלון מסע במדינות הצפוניות של אמריקה הלטינית, שהחל במקסיקו, שם הקפידו מנהיגי הקהילה היהודית לענוד במפגשים עמו את הכיתוב "We are Zionists" ("אנחנו ציונים"). מסעו נמשך בגואטמלה, קוסטה ריקה, הונדורס וניקרגואה. בקוסטה ריקה נאם אלון בפרלמנט, ולאחר שובו לישראל, אירח בגנוסר את נשיא קוסטה ריקה, דניאל אודובר.
באפריל 1976 נפגש אלון בישראל עם ראש ממשלת דרום אפריקה, ג'ון פורסטר, ועם שר החוץ שלה, הילגרד מולר, לו הסביר כי על פי "התפיסה הציונית" הדרך הנכונה לפתור את הבעיה הגזעית בארצו היא "חלוקה". במהלך הביקור, הבהיר אלון לתקשורת כי "ישראל מתנגד למדיניות האפרטהייד". בספטמבר אותה שנה ביקר בקנדה ובארצות הברית, ונאם שוב בעצרת האו"ם.
במהלך כהונתו כשר החוץ, ביקר אלון שלוש פעמים באיראן. ב-1976 ביקר בה במטרה להבטיח את המשך אספקת הנפט האיראני לישראל, כאשר הוא מחופש וללא ידיעתו של עמיתו האיראני.
באופוזיציה (1980–1977).
לאחר המהפך הפוליטי בשנת 1977 המשיך אלון לשרת כחבר הכנסת והיה חבר ועדת חוץ וביטחון, במקביל לעבודה במפעל האלקטרוניקה בגינוסר. ב-15 בפברואר 1978 נבחר לתפקיד יושב ראש תנועת העבודה הציונית העולמית (תע"צ). בנאומו בפני ועידת התנועה, קרא שלא להשלים עם ה"גלות מרצון" של "יהדות הרווחה המשלה־עצמה" בארצות המערב, וטען כי "כל השואף להבטיח את יהדות צאצאיו, ורבים היהודים הרוצים בכך, מוטב כי יקדים ויעלה". בתוקף תפקידו זה, ביקר במאי 1979 בארגנטינה ובאורוגוואי וקרא ליהודים לעלות לישראל. בארגנטינה ביקר בביתו של העיתונאי היהודי חקובו טימרמן, שנרדף על ידי השלטון וישב במעצר בית.
בפברואר 1978 נמנה אלון על מספר חברי כנסת שחתמו על הודעה הקוראת לממשלת ישראל להכליל את פתחת רפיח בריבונות ישראל במסגרת הסכם השלום עם מצרים. באפריל אותה שנה הוא העניק גיבוי פומבי ל"מכתב הקצינים" שממנו צמחה תנועת "שלום עכשיו", אך כתב: "לא היישובים עומדים למכשול בדרך לשלום. סירוב הצד הערבי... להכיר בזכותה של ישראל לגבולות שניתן להגן עליהם בכוחות עצמה... הוא המכביד על השגת השלום". בספטמבר אותה שנה נחתמו "הסכמי קמפ דייוויד" ואלון נמנע בהצבעה בכנסת על אישורם, בשל סירובו של ראש הממשלה מנחם בגין להוסיף להצעת הממשלה סעיף בנוגע ליישובי פתחת רפיח.
בשנת 1978 נוסדה "העמותה לשחזור ופיתוח מושבת הראשונים ראש פינה", במלאת 100 שנה לייסוד המושבה. אלון נבחר לעמוד בראש העמותה ובטקס ייסודה, אמר את המשפט: .
בספטמבר 1978 כיהן אלון כיושב ראש "ועדת המשנה לענייני לבנון ליד ועדת החוץ והביטחון של הכנסת", אולם באוקטובר התפטר מהתפקיד. בסוף נובמבר הביא לדיון בכנסת תוכנית פיתוח גדולה לבקעת הירדן, שעיקרה כריית תעלה מהים התיכון דרך העמקים הצפוניים אל נהר הירדן, כדי למנוע את ייבושם של הנהר ושל ים המלח, תוך הפקת אנרגיה הידרואלקטרית ובדיקת אפשרות בניית נמל ליד בית שאן. כחודש לאחר מכן, הוצב אלון בראש ועדה מיוחדת של הכנסת לבחינת תוכנית זו, שנקראה "תוכנית גאון הירדן", ובפברואר 1979 הציגה הוועדה שלוש חלופות למיזם.
במרץ 1979 נחתם הסכם השלום עם מצרים. אלון סבר שישראל יכולה הייתה להשיג הישגים טובים יותר במשא ומתן וויתרה על כמה נכסים ביטחוניים חשובים, וכן הסכימה לפינוי כל היישובים בסיני שיכול היה להיות תקדים ביחס ליישובי הגולן במשא ומתן העתידי עם סוריה. למרות זאת הצהיר, שטוב שההסכם נחתם.
התמודדות על ראשות מפלגת העבודה (1980).
ב-11 בינואר 1980 הודיע אלון רשמית בריאיון לטלוויזיה, כי בכוונתו להתמודד על ראשות הממשלה. בריאיון לניסים משעל, אמר: "אילו הייתי ראש ממשלה, הייתי יכול להגשים כמה וכמה חלומות חברתיים ופוליטיים. אני מרגיש שיש ברשותי שליחות סגולית מיוחדת לתרום למשרה הזו". ההצבעה על תפקיד יושב ראש מפלגת העבודה אמורה הייתה להיערך בוועידה החדשה שלה, בהמשך השנה, אולם שמעון פרס דרש לקיים מיד הצבעת אמון במרכז הישן של המפלגה. פרס סירב לקיים עימות טלוויזיוני עם אלון ובהצבעה שנתקיימה ב-20 בינואר תמך בו רוב ברור של קולות חברי המרכז. אף על פי כן, הודיע אלון כי לא יפרוש מהמרוץ. חודש לאחר מכן החליטה המפלגה לכנס את ועידת המפלגה בסוף יולי אותה שנה. אלון דרש לקחת חלק במוסדות המפלגה והצטרף ל"ועדת הארבעה", שתפקידה היה להכין את הוועידה ואמורה הייתה להתכנס בשבוע הראשון של מרץ. אולם בסוף פברואר הוא נפטר.
מותו והנצחתו.
יגאל אלון נפטר ב-29 בפברואר 1980, בגיל 61, מדום לב פתאומי. יום קודם לכן אירח בגינוסר את שר ההגנה המצרי כמאל חסן עלי, אך במהלך הביקור חש שלא בטוב והוא אושפז בבית החולים העמק בעפולה. למחרת בבוקר, חלה החמרה במצבו, ומספר שעות אחר כך נפטר. הוא נקבר בהלוויה בקיבוץ גינוסר בנוכחות ראשי המדינה.