אף שהושאל לשנה וחצי, ביקשה הפועל תל אביב להחזירו בתום העונה, אך התנגדות של רמת השרון גררה מאבק משפטי בעניין התשלום על השאלתו, מאבק שהוכרע בבוררות. בסופו של דבר המשיך זהבי ברמת השרון אך התחיל את עונת באיחור. במהלך התקופה בה שיחק ברמת השרון זומן גם לנבחרת הצעירה, אך מאחר שבתחילה לא זכה למעמד של ספורטאי מצטיין הצבא אסר את השתתפותו בחלק ממשחקי הנבחרת שנערכו מחוץ לישראל והוא רשם הופעה אחת בלבד במדיה.
הפריצה בהפועל תל אביב.
בעונת שב זהבי להפועל תל אביב לאחר שהסתיימה תקופת ההשאלה ברמת השרון. ב-8 באוגוסט 2008 כבש את שער הבכורה שלו במועדון, בניצחון 4–3 על עירוני קריית שמונה במסגרת גביע הטוטו, וב-1 בספטמבר ערך את הופעת הבכורה שלו בליגת העל, כשפתח בהרכב במחזור הראשון מול הכח עמידר רמת גן, במשחק שהסתיים בתיקו 2–2. בעונה זו הוא שותף ב-26 משחקי ליגה, אך רק בתשעה מהם פתח בהרכב ורק בשניים השלים 90 דקות. בסך הכל הבקיע שבעה שערי ליגה בעונה זו וארבעה נוספים בגביע הטוטו.
בעונת התערער מעמדו בהפועל, ובמחזורים הראשונים שולב בעיקר כמחליף. אך לאחר שקשר הקבוצה נמניה ווצ'יצ'ביץ' נפצע במחזור ה-12 של הליגה, תפס זהבי מקום של קבע בהרכב הקבוצה, והפגין יכולת טובה בהמשך העונה. במשחק גמר גביע המדינה, מול בני יהודה, בישל זהבי שער, וזכה בתואר ראשון בקריירה. ארבעה ימים מאוחר יותר, יצאה הפועל תל אביב למשחק האחרון בליגת העל, מול בית"ר ירושלים באצטדיון טדי. בעוד מוליכת הטבלה מכבי חיפה לא הצליחה לנצח במשחק המקביל, הבקיע זהבי את שער הניצחון במשחקה של הפועל בדקה ה-92 שזכתה באליפות הליגה (והשלימה דאבל) בסיום דרמטי בזכות הפרש שערים עדיף על מכבי חיפה. בסך הכל כבש זהבי 11 שערי ליגה בעונה זו, והוסיף שישה בישולים.
בראשית עונת , לאחר ניצחון של הפועל תל אביב במשחק הראשון נגד רד בול זלצבורג, כבש זהבי במשחק הגומלין שער שוויון בתוספת הזמן, שהבטיח את עלייתה של הפועל תל אביב לשלב הבתים בליגת האלופות. בשלב הבתים של ליגת האלופות בישל זהבי שער אחד וכבש שלושה: צמד נגד בנפיקה ליסבון, ועוד שער בבעיטת מספרת אחורית מרשימה נגד ליון בצרפת. שער שוויון של ליון מנע מהפועל תל אביב לזכות במקום השלישי ולעבור לשחק בליגה האירופית, וקבע את הדחתה מהמפעלים האירופאים בעונה זו, אך בזכות שער זה נבחר זהבי לנבחרת המחזור השישי של ליגת האלופות. גם במשחקי הליגה המשיך זהבי לכבוש שערים חשובים, ביניהם שער ניצחון בדרבי מול מכבי תל אביב בסיבוב הראשון, ובסך הכל כבש תשעה שערי ליגה בעונה זו. זהבי בישל בעונה זו 12 שערי ליגה, ודורג במקום הראשון בטבלת מלך הבישולים. ב-25 במאי 2011, במשחקו האחרון במדי הפועל תל אביב, בישל את שער הניצחון של סלים טועמה (1–0) במשחק גמר גביע המדינה נגד מכבי חיפה, שהשלים זכייה שנייה רצופה בגביע להפועל תל אביב.
התקופה בפלרמו.
בפגרת קיץ 2011 חתם זהבי בקבוצת פלרמו מהסרייה א' תמורת 2.5 מיליון אירו לחמש שנים. זהבי היה לשחקן הישראלי השני בהיסטוריה שמשחק בליגה האיטלקית, אחרי טל בנין. את הופעת הבכורה שלו במדי הקבוצה ערך ב-28 ביולי 2011 במסגרת הסיבוב השלישי של מוקדמות הליגה האירופית מול תון השווייצרית. את שערו הראשון במדי פלרמו כבש בניצחון 3–2 על קליארי במחזור הרביעי של הליגה, כאשר הבקיע בדקה הראשונה של המשחק בבעיטה לחיבורי השער ממרחק של 18 מטרים. בהמשך העונה התקשה זהבי לתפוס מקום קבוע בהרכב, ובסך הכל ערך בעונתו הראשונה בפלרמו 20 הופעות בליגה ושתי הופעות במוקדמות הליגה האירופית, בהן כבש שני שערים ובישל שלושה.
ב-26 ביולי 2012 נפצע זהבי במשחק אימון במהלך מחנה האימונים של טרום עונת , ובעקבות זאת החמיץ את פתיחת העונה וחזר לכושר משחק רק בחודש נובמבר. חילופי מאמנים בפלרמו פגעו במעמדו בקבוצה, וגם לאחר החלמתו מיעט זהבי לקבל דקות משחק והוא החליט לחזור לליגה הישראלית במסגרת חלון העברות של ינואר 2013.
חזרה לישראל: מכבי תל אביב.
ב-21 בינואר 2013 חזר זהבי לישראל, וחתם במכבי תל אביב על חוזה לשלוש וחצי שנים. מכבי שילמה לפלרמו 250 אלף אירו עבור כרטיסו, ובנוסף נקבע ש-250 אלף אירו נוספים ישולמו אם מכבי תל אביב תעפיל לשלב הבתים של ליגת האלופות במהלך חוזהו בקבוצה. את שערו הראשון במדי מכבי תל אביב כבש במשחק הבכורה שלו נגד מכבי נתניה במסגרת גביע המדינה. במשחק הדרבי הראשון מול קבוצתו לשעבר הפועל תל אביב בישל שני שערים בדרך לניצחון 4–0, וב-10 במרץ 2013 הבקיע את שער הליגה הראשון במדי מכבי תל אביב בניצחון 5–0 על בית"ר ירושלים. בסך הכל הבקיע זהבי בעונה זו 7 שערים ב-16 משחקי ליגה והיה תוספת כוח משמעותית בדרך לזכייה באליפות של מכבי תל אביב בעונת .
במכבי תל אביב הפך זהבי לשחקן דומיננטי ומוביל ובתקופתו בקבוצה קיבע את מעמדו ככדורגלן הטוב ביותר בליגת העל. הוא זכה בשנים 2013, 2014 ו-2015 בפרס כדורגלן השנה. בטקס המצוינות בספורט של משרד התרבות והספורט, זכה בתואר ספורטאי השנה לשנת 2014 של ערוץ הספורט ודורג במקום הראשון בדירוג כדורגלני ליגת העל שנערך באתר וואלה! בעונות , ו-.
הגעתו של זהבי למכבי תל אביב התקבלה בצורה קשה אצל אוהדי היריבה הוותיקה הפועל תל אביב, בה רשם רגעים גדולים בעבר. זהבי מצידו עורר ביקורת, בעיקר מכיוון הפועל תל אביב, כשחגג בצורה בולטת כשכבש שער כששיחק נגדה, בתחילה בהסרת חולצה ועלייה ליציע אוהדי מכבי תל אביב ובהמשך בתנועת ירייה.
2013/2014.
במהלך עונת 2013/2014 כבש זהבי 34 שערים ב-46 הופעות תחת המאמן פאולו סוזה וזכה עם הקבוצה באליפות שנייה ברציפות ושלישית בקריירה שלו. הוא החל לשמש כקפטן שני במכבי תל אביב ולענוד את סרט הקפטן במשחקים מהם נעדר שרן ייני. בתחילת העונה השתתף עם מכבי תל אביב במוקדמות ליגת האלופות, ואף הבקיע שער במשחק הביתי מול פ.צ. בזל, אך קבוצתו הודחה מהמפעל והעפילה לשלב הבתים של הליגה האירופית. בליגה האירופית כבש זהבי שלושה שערים ובישל שער אחד, וסייע למכבי תל אביב להעפיל לשלב 32 האחרונות מהמקום השני. בליגת העל כבש זהבי 29 שערים והוכתר למלך השערים, כשהוא שובר את שיא שערי הליגה בעונה אחת במדי מכבי תל אביב בכל הזמנים, ונמצא במקום השני בתולדות ליגת העל במספר שערים לעונה, כשהיחיד שמקדים אותו הוא חלוץ בית"ר תל אביב ניסים אלמליח בעונת . בעונה זו כבש זהבי שער אחד לפחות מול כל קבוצות ליגת העל למעט בית"ר ירושלים. במחזור ה-26 בעונה זו שיחק זהבי את אחד ממשחקיו הגדולים ביותר, כשבמשחק הדרבי נגד הפועל תל אביב הבקיע שלושער והוביל מהפך בשניות הסיום אף על פי שקבוצתו הייתה בחיסרון מספרי. לקראת סוף העונה חתם זהבי על חוזה חדש במכבי תל אביב לארבע שנים עם אופציה לשנה נוספת והגדלת סעיף היציאה מחוזהו בתמורה להעלאה בשכרו.
2014/2015.
בתחילת עונת שיחק זהבי את מלוא הדקות בששת משחקי מכבי תל אביב במוקדמות ליגת האלופות והליגה האירופית מהן הודחה בסופו של דבר מכבי תל אביב. במשחקים אלו כבש זהבי פעמיים בפנדל ובישל שער אחד. במחזור החמישי של ליגת העל שבר זהבי את שיא הכיבושים הרצופים לכדורגלן בליגה הראשונה בישראל, שיא בו החזיק עד אז מוטי קקון ועמד על שער אחד לפחות בתשעה משחקי ליגה רצופים. זהבי הגדיל את השיא לשנים עשר משחקים, כשכבש במחזורים 32–36 בעונת 2013/2014 ובמחזורים 1–7 בעונת 2014/2015. המשחק השנים-עשר היה דרבי מול הפועל תל אביב ששוחק ב-3 בנובמבר 2014. כמה דקות לאחר שכבש הותקף זהבי על ידי אוהד הפועל תל אביב שפרץ למגרש. זהבי הורחק בכרטיס אדום בעקבות התקרית אך פריצה של אוהדי מכבי תל אביב למגרש בתגובה לאירועים הביאה להפסקת המשחק. בהמשך נקבעה תוצאת המשחק על ידי בית הדין של ההתאחדות על 0–0 ללא נקודות. הכרטיס האדום שקיבל זהבי גרר גם הרחקה אוטומטית ממשחקה הבא של הקבוצה שקטעה את רצף הכיבושים במשחקי קבוצתו. זהבי הוסיף לכבוש בששת המשחקים לאחר חזרתו מההרחקה וקבע שיא ישראלי, במספר כיבושים רצופים לשחקן במשחקים בהם שותף, והעמיד אותו על 17 משחקים (או 18 כולל הדרבי). רצף זה הוא השני באורכו בהיסטוריה של הכדורגל באירופה ומקדים אותו רק רצף של 21 משחקים שהשיג ליונל מסי בשנת 2013. בסך הכל כבש זהבי בשנת 2014 35 שערי ליגה, שני באירופה ושלישי בעולם כולו. לקראת סיום העונה הגיע זהבי להסכם עם מכבי תל אביב על ביטול סעיף היציאה מחוזהו תמורת העלאה בשכרו. בעונה זו זכה עם מכבי תל אביב בטרבל המקומי, עם זכייה באליפות, בגביע המדינה (פתח וכבש בניצחון 2–6 על הפועל באר שבע במשחק הגמר) ובגביע הטוטו.
2015/2016.
בקיץ 2015, לאחר עזיבת שרן ייני לוויטסה ארנהם, מונה זהבי לקפטן מכבי תל אביב. בסיבוב השלישי של מוקדמות ליגת האלופות הפסידה מכבי תל אביב במשחק הראשון שהתקיים בתל אביב בתוצאה 1–2 מול ויקטוריה פלזן. במשחק הגומלין בצ'כיה כבש זהבי צמד ומכבי תל אביב ניצחה 2–0 והעפילה לשלב הפלייאוף, בו שוב הוגרלה לשחק מול פ.צ. בזל. במשחק הראשון, שהתקיים בשווייץ, כבש זהבי צמד נוסף, כולל שער שוויון בנגיחה בדקה ה-96 שקבע את תוצאת המשחק על 2–2. גם במשחק הגומלין בבלומפילד כבש זהבי שער שוויון שהעמיד את התוצאה על 1–1, תוצאה שנשארה עד הסיום וקבעה העפלה של מכבי תל אביב לליגת האלופות. זהבי היה למלך השערים של שלב מוקדמות ליגת האלופות של עונה זו לאחר שכבש בסך הכל שבעה שערים בחמשת המשחקים בהם השתתף. בשלב הבתים כבש זהבי את שערה היחיד של קבוצתו במפעל, בפנדל בהפסד 1–3 לפורטו.