בשנת 2007 מונה למנכ"ל "בזק", תפקיד אותו ביצע עד פרישתו בשנת 2013. המגזין "פורבס" פרסם הערכה שבתקופת עבודתו כמנכ"ל "בזק" צבר הכנסות בסך 52 מיליון ש"ח (לפני מס), בין היתר מבונוסים ומשכר כ-24 מיליון ש"ח ומאופציות, ש-50% מהן, בסך 15 מיליון ש"ח, מימש בשנת 2010. במהלך תקופת כהונתו נפתח שוק הטלפוניה לתחרות והחברה השקיעה סכומים ניכרים בהקמת רשת האינטרנט המהיר NGN.
לאחר פרישתו מ"בזק" הוזכר שמו בהקשר לקבוצה שניסה לגבש לרכישת אל-על. בפברואר 2014 מונה ליו"ר ועדת בדיקה ציבורית מיוחדת לבדיקת הסיבות לקריסתו הפיננסית של המרכז הרפואי הדסה.
בין השנים 2014 - 2019 עסק גבאי בתחום הפוליטי. לאחר שהודיע על פרישה מהחיים הפוליטיים, בינואר 2020, מונה גבאי למנכ"ל סלקום. בנובמבר 2021 הודיע על התפטרותו מהתפקיד. וכעבור ימים אחדים בנובמבר 2021 נחתמה עסקה לרכישת מניות פרטנר שבידי האצ'יסון ומפואה תמורת 300 מיליון דולר על ידי קבוצה שכללה את אבי גבאי, שלמה רודב, הפניקס אחזקות, כלל ביטוח, מנורה מבטחים החזקות וקבוצת ארקין של מורי ארקין. השלמת העסקה טעונה אישורים רגולטוריים.
קריירה פוליטית.
מפלגת כולנו.
במהלך 2014 חבר גבאי למשה כחלון, אותו הכיר כאשר עבד מולו כמנכ"ל "בזק" בתקופת כהונתו של כחלון כשר התקשורת, וסייע בהקמת מפלגת "כולנו". בבחירות לכנסת העשרים שימש כיו"ר מטה הבחירות של המפלגה, אך לא הוצב ברשימתה לכנסת. עם הקמת הממשלה מונה לשר להגנת הסביבה, כשר שאינו חבר הכנסת.
השר להגנת הסביבה.
כשר להגנת הסביבה התווה גבאי תוכנית לאומית להפחתת זיהום האוויר באזור חיפה ב-50 אחוזים עד 2018, עסק בקידום השימוש בכלי רכב חשמליים, היברידיים ובעלי רמה נמוכה של זיהום אוויר והוביל את מינוי החברה לשירותי איכות הסביבה לזרוע הביצועית של המדינה לניהול שיקום הקרקעות בבסיסי צה"ל שיפונו ומתחמי תע"ש. בסוף 2015 הוביל לצמצום של 15% בשימוש של חברת החשמל בפחם. במהלך 2015 הורה להפסיק את מימון קופי המקוק שנפדו מחוות מזור. במרץ 2016 אושר בכנסת החוק לצמצום השימוש בשקיות נשיאה חד–פעמיות שהוגש לכנסת טרם מינויו של גבאי לשר. החוק קובע כי רשתות השיווק יחויבו לגבות מחיר של 10 אגורות לשקית ויעבירו את ההכנסות לפרויקטים סביבתיים.
בתקופת שבתו בממשלה היה השר היחיד שהתנגד למתווה הגז שגיבשה הממשלה. הוא מונה על ידי ראש הממשלה בנימין נתניהו לגיבוש מדיניות ממשלתית חדשה בנוגע לקק"ל. בתוך שלושה חודשים הושגה חתימה על הסכם, לפיו תעביר קק"ל למדינה 2.2 מיליארד ש"ח.
ב-27 במאי 2016 התפטר מתפקידו כשר להגנת הסביבה, במחאה על צירוף מפלגת ישראל ביתנו לממשלה ומינויו של אביגדור ליברמן לשר הביטחון במקום משה יעלון. הוא אמר כי מינוי זה מוביל להקמת "ממשלה קיצונית", והוסיף "אנחנו חייבים לעצור את התהליך שאני חושש שמוביל להרס הבית השלישי".
מפלגת העבודה.
בדצמבר 2016 הצטרף למפלגת העבודה. במרץ 2017 הודיע על התמודדותו בבחירות המקדימות לראשות מפלגת העבודה, שנקבעו ל-4 ביולי 2017. בסיבוב הראשון קיבל 27% אחוזים מהקולות (מקום שני) והעפיל לסיבוב השני, שהתקיים ב-10 ביולי. בסיבוב השני ניצח את עמיר פרץ ונבחר לראשות המפלגה, לאחר שזכה במעל ל-52 אחוזים מקולות הבוחרים. ביוני 2018 נקנס בידי מבקר המדינה בתשעים אלף ש"ח בגין חריגה של כחצי מיליון ש"ח מתקרת ההוצאה המותרת בבחירות המקדימות.
אף שגבאי הוביל את הסיעה הגדולה באופוזיציה, הוא לא היה חבר הכנסת, ולכן לא היה יכול לשמש כראש האופוזיציה. את תפקיד זה המשיך למלא, לבקשתו של גבאי, יושב הראש הקודם של המפלגה, חבר הכנסת יצחק הרצוג. לאחר התפטרותו של הרצוג ביולי 2018 מילאה את התפקיד ציפי לבני, בעקבות הסכם שאליו הגיעה עם גבאי. בעקבות פירוק "המחנה הציוני" מונתה שלי יחימוביץ' ליו"ר האופוזיציה.
לאחר בחירתו יזם שינויי חוקה שיאפשרו לו, בין השאר, לשריין ארבעה מקומות ברשימה לכנסת ולהעביר סמכויות מהמזכ"ל לידיו. המהלך עורר התנגדות פנימית במפלגה, אך אושר בוועידתה.
בנובמבר 2017 יזם גבאי שינוי בעמדתה של סיעת המחנה הציוני, אשר תמכה קודם לכן בהסדרת מעמדם בישראל של מסתננים שלא ניתן להשיבם לארצות מוצאם. בעקבות כך החליטה הסיעה, על חודו של קול, לתמוך בהצעת החוק הממשלתית שלפיה ייכלאו מסתננים שיסרבו לעזוב מרצון למדינה שלישית.
בעקבות הצהרת טראמפ על הכרה בירושלים כבירת ישראל אמר גבאי בראיון ש"ירושלים מאוחדת" עדיפה על הסדר מדיני עם הפלסטינים. כחצי שנה קודם לכן אמר ש"ירושלים המאוחדת" בעיניו אינה כוללת את הכפרים הערביים סביבה.
בעקבות דרישות של חברות כנסת מ"העבודה" לסלק את חה"כ איתן ברושי מהמפלגה, הודיע לו גבאי על השעייתו מהסיעה בכנסת וכינה אותו "עבריין מין". ברושי הגיש נגדו תביעת דיבה. לאחר שנפתח המשפט, הגיעו הצדדים ביוני 2019 להסכם ובמסגרתו פרסם גבאי התנצלות על הדברים ופיצה אותו בהוצאות משפט בסך 40,000 ש"ח.
הבחירות לכנסת העשרים ואחת.
אחרי החלטת הכנסת להתפזר ולערוך בחירות לכנסת העשרים ואחת, בישיבת סיעת העבודה בכנסת ב-1 בינואר 2019, הודיע גבאי לציפי לבני בנוכחות התקשורת, על פירוק המחנה הציוני והפסקת השותפות עם מפלגת התנועה.
בינואר 2019 יצא לאור, בהוצאת "ידיעות ספרים" ספרו "הכל אפשרי" המספר את סיפור חייו של גבאי ופורס את חזונו למדינת ישראל.
ב-19 בפברואר שריין גבאי את האלוף במיל' טל רוסו ואת חבר הכנסת חיים ילין מיש עתיד שפרש ממפלגתו במקומות השני והעשירי בהתאמה ברשימת "העבודה" לכנסת. במהלך מערכת הבחירות הצהיר שלא יצטרף לקואליציה בראשות בנימין נתניהו, ותקף את נתניהו על רקע עדתי.
בבחירות עצמן, שהתקיימו ב-9 באפריל, ספגה מפלגת העבודה בראשות גבאי מפלה וקיבלה שישה מנדטים, התוצאה הנמוכה ביותר מאז הקמתה. גבאי עצמו נכנס לכנסת והודיע שיקדים את הפריימריז לראשות המפלגה.
בסוף מאי 2019 ניהלו גבאי ובכירים נוספים במפלגת העבודה מגעים עם ראש הממשלה נתניהו בדבר אפשרות של כניסת מפלגת העבודה לממשלתו. המגעים נחשפו בתקשורת והמהלך לא יצא אל הפועל. בכירי "העבודה", ובהם עמיר פרץ, איציק שמולי, שלי יחימוביץ' וסתיו שפיר, דרשו מגבאי להתפטר לאלתר מתפקידו כיו"ר המפלגה.
הבחירות לכנסת העשרים ושתיים.
ב-11 ביוני 2019, לקראת הבחירות לכנסת העשרים ושתיים, הודיע גבאי שלא יתמודד על ראשות מפלגת העבודה. יום לאחר מכן הודיע כי הוא פורש מהחיים הפוליטיים. ב-2 ביולי 2019 נבחר עמיר פרץ ליו"ר מפלגת העבודה.
פעילות חברתית.
בשנת 2016 החל לשמש בהתנדבות כיו"ר הדירקטוריון של עמותת "ידיד", אך הודיע על פרישתו עקב ניגוד העניינים עם היבחרו לתפקיד יו"ר מפלגת העבודה ב-2017. גבאי חבר בשתי עמותות: "אור למשפחות", התומכת בהורים שכולים, ו"אקומיוניטי", המסייעת לשלב אנשים בעלי מוגבלויות במיחזור והשמשה של פסולת אלקטרונית.
עמדות פוליטיות.
מדיני-ביטחוני.
על פי התוכנית המדינית שפרסם גבאי, יש להגיע לפתרון של שתי מדינות לשני עמים, ועל המדינה הפלסטינית להיות מפורזת. לדבריו, "גושי התיישבות ימלאו תפקיד ביטחוני חשוב במסגרת גבולות הקבע של מדינת ישראל", ושכונות ערביות במזרח ירושלים יעברו לשליטה אזרחית של הרשות הפלסטינית (שטח B). יישובי בקעת הירדן הם לדבריו "חלק אינטגרלי ממדינת ישראל, היום ובעתיד", והבקעה "צריכה להיות חלק מחגורת הביטחון המזרחית של המדינה". הפליטים יקבלו פיצויים ויאוזרחו במדינות ערב. ההסכם צריך להיות במסגרת אזורית, במטרה לחזק את ציר המדינות שדתם של רוב תושביהן היא אסלאם סוני מתון, ובכך למתן את השפעותיהן האסלאמיות הקיצוניות של איראן, סוריה וחזבאללה. עד פתרון הסכסוך, צה"ל וכוחות הביטחון הישראליים יהיו פרושים לאורך נהר הירדן, ויהיו בעלי חופש פעולה ליזום ולהגיב בכל שטחי יהודה ושומרון, אם הדבר יידרש. גבאי תומך בהקפאת הבנייה שבהתנחלויות המבודדות, הנמצאות מחוץ לגושי ההתיישבות, במטרה להעביר את הכספים לטובת אזורי הפריפריה בישראל.
בראיון טלוויזיוני באוקטובר 2017, התבטא גבאי כי אין זה הכרחי לפנות התנחלויות במסגרת הסכם שלום עתידי בין ישראל לפלסטינים. לאחר שנוצרה סערה בעניין, אמר כי הוא מבחין בין גושי התיישבות להתנחלויות מבודדות. לדבריו, יש לעצור את הבנייה באחרונות, אך לטעמו אין צורך לשרטט בשלב זה את גבולות המשא ומתן ואת מתכונתו, לרבות התחייבות מוקדמת לפינוי מיידי של כלל ההתנחלויות, וכי כל פתרון שיוביל להסכם ראוי שייבחן.
בינואר 2018 הצהיר כי אם המשא ומתן עם הפלסטינים ייכשל יש לבצע התנתקות חד-צדדית, ושתוכנית כזו לא מחייבת בהכרח פינוי התנחלויות.
כלכלה וחברה.
על פי התוכנית הכלכלית-חברתית שפרסם, גבאי תומך בהגדלת ההוצאה האזרחית של המדינה בכל הקשור לקצבאות ולשירותים החברתיים, לצד תהליכי התייעלות במגזר הציבורי. הוא תומך בצמצום אי-שוויון בין המרכז לפריפריה ובין יהודים לערבים במערכת החינוך. הוא מתנגד לתופעת מורי הקבלן במערכת החינוך. על פי תוכנית זו, הוא מאמין בחיזוק ותמיכה קבועה במערכת הבריאות הציבורית והפרדה מוחלטת בינה לבין הרפואה הפרטית. הוא בעד הרחבה של משאבי הבריאות והחלת רפורמת הסיעוד תוך השוואת ההוצאה הציבורית לממוצע ה-OECD. לפי גבאי, תחבורה ציבורית יכולה להיות כלי חברתי המצמצם אי-שוויון ותורם לניעות חברתית, לכן הוא בעד השקעה תוספתית בתחבורה הציבורית של 100 מיליארד ש"ח על פני עשור, והעדפת התחבורה הציבורית על פני הפרטית בתשתיות ובנגישות.