בעונתו השנייה במועדון, כבש גריבס חמישה שערים בניצחונה של קבוצתו 2–6 על וולברהמפטון. חוסר היציבות של צ'לסי הוביל אותה למקום ה-14, אך למרות זאת, יכולות הכיבוש של גריבס הביאו אותו לזכות בתואר מלך השערים של הליגה באותה העונה, עם 32 שערים. עונה אחר כך שוב הצליח גריבס לכבוש חמישייה, הפעם לרשתה של פרסטון נורת' אנד, בניצחון קבוצתו 4–5. בסך הכל כבש גריבס 29 שערי ליגה באותה עונה, והיה גורם מכריע בהישרדותה של צ'לסי בליגה הבכירה.
כעבור עונה, גריבס המשיך לשבור שיאים אישיים, כשכבש 41 שערי ליגה ו-43 שערים בכל המסגרות, שיא מועדון בצ'לסי בכל הזמנים, בדרך לתואר מלך השערים בפעם השנייה. הוא כבש שלוש פעמים שלושער, שלוש רביעיות וחמישייה במהלך העונה, והיה לשחקן הצעיר בהיסטוריה שעובר את רף 100 שערי הליגה, בגיל 20 ו-290 ימים. למרות כמות השערים הגבוהה שכבש, צ'לסי ספגה כמות גבוהה של שערים, ולכן הרגיש גריבס מתוסכל מחוסר הצלחתו וחוסר יציבותו של המועדון. נשיא המועדון הסכים למכור את החלוץ בסיום העונה, גם עבור תזרים המזומנים של הקבוצה, וגריבס נפרד מהמועדון עם רביעייה לרשת נוטינגהאם פורסט בניצחון קבוצתו 3–4, במשחק בו שימש כקפטן.
מילאן.
בחודש יוני 1961, הוחתם גריבס על ידי מועדון הפאר האיטלקי מילאן. טרם מעברו חשש גריבס מהמחשבה על עזיבת העיר לונדון בה גדל, וניסה לבטל את המעבר בטרם ביצועו. מאמנה של מילאן, ג'וזפה ויאני, לא הסכים לבטל את העסקה. גריבס עבר למילאן וכבש כבר בהופעת הבכורה שלו באיטליה. למרות זאת, חילופי מאמנים במילאן באותה התקופה הפריעה לגריבס שלא הסתדר עם מאמנה החדש של הקבוצה. גריבס, שכבש תשעה שערים ב-14 משחקים במדי מילאן, כולל שער במשחק הדרבי של מילאנו מול אינטר מילאנו, נקלע לתקרית שסימנה את סוף דרכו במועדון במשחק מול סמפדוריה. בתגובה ליריקה שספג בפרצופו משחקן יריב, החזיר גריבס בבעיטה. מהכדור החופשי שנשרק לזכות סמפדוריה עקב אותה בעיטה, כבשה סמפדוריה את שער השוויון במשחק. לאחר מכן המאמן החליט להאשים את גריבס באובדן הנקודות, וזאת אף על פי שגריבס כבש שער ובישל שער נוסף במהלך המשחק. בעקבות אכזבתו של השחקן מתקופתו בקבוצה, הוחלט להציבו ברשימת ההעברות לאחר חצי עונה בלבד. הוא זכה להצעות מצ'לסי ומטוטנהאם, שתיהן אושרו על ידי המועדון האיטלקי. לאחר עזיבתו, השלימה מילאן בסיום העונה את הזכייה באליפות איטליה.
טוטנהאם.
לאחר משא ומתן על שירותיו של גריבס, הוא הוחתם בטוטנהאם הוטספר תמורת סכום של 99,999 ליש"ט, סכום שנועד להסיר את הלחץ מעליו ולא להפוך אותו לשחקן הראשון בכדורגל האנגלי ששווה 100,000 ליש"ט. גריבס הגיע לטוטנהאם, שעונה קודם לכן הפכה למועדון האנגלי הראשון במאה ה-20 שזוכה בדאבל. כבר בהופעת הבכורה שלו במדי הקבוצה בליגה, כבש גריבס שלושער מול בלקפול, כולל שער בבעיטת מספרת. הוא לקח חלק בכל שבעת משחקי הקבוצה בגביע האנגלי, וכבש במהלכם תשעה שערים, כולל השער הראשון בניצחון הקבוצה בגמר 1–3 על ברנלי. בליגה סיימה הקבוצה במקום השלישי, ארבע נקודות פחות מהאלופה איפסוויץ' טאון. השתיים התמודדו בפתיחת העונה הבאה על מגן הצדקה, וגריבס הוביל את קבוצתו לניצחון 1–5 וזכייה בתואר עם צמד שערים. בהמשך עונת הוסיף גריבס להצטיין בכיבוש שערים, כשכבש שלוש פעמים שלושער, בין היתר מול ליברפול ומנצ'סטר יונייטד, ובנוסף כבש רביעייה בניצחון המוחץ של קבוצתו 2–9 מול נוטינגהאם פורסט. טוטנהאם סיימה את העונה כסגנית האלופה, עם שש נקודות פחות מאברטון שלפניה, וגריבס זכה בתואר מלך שערי הליגה עם 37 שערים. באותה עונה זכתה טוטנהאם גם בגביע אירופה למחזיקות גביע. גריבס הורחק במשחק הראשון של חצי הגמר מול OFK בלגרד לאחר שניסה לחבוט בשחקן יריב, וריצה את עונש ההרחקה בגומלין. בגמר המפעל מול אתלטיקו מדריד באצטדיון פיינורד ברוטרדם, כבש גריבס את השער הראשון במשחק ולאחר מכן השלים צמד עם שערה הרביעי של קבוצתו, בדרך לניצחון 1–5 ולזכייה בתואר האירופי הראשון בהיסטוריה של קבוצה אנגלית. עונה אחר כך עמדה בסימן חילופי דורות בקבוצה, ממנה פרשו מספר שחקני מפתח והוחלפו בשחקנים חדשים, וטוטנהאם סיימה את העונה במקום הרביעי, שש נקודות פחות מהאלופה ליברפול. גריבס המשיך להיות הכובש המצטיין של הקבוצה ושל הליגה כולה, ובמהלך העונה כבש ארבע פעמים שלושער ו-35 שערים בסך הכל, בדרך לתואר מלך השערים בפעם השנייה ברציפות.
עונה אחר כך קבוצתו סיימה שישית בלבד בטבלה, אבל גריבס המשיך להצטיין בהתקפה, עם 29 שערי ליגה שהקנו לו בפעם השלישית ברציפות את תואר מלך שערי הליגה, ואף כבש פעמיים שלושער בגביע האנגלי, שהעלו את מאזנו באותה עונה ל-35 שערים. בעונת , עונה שלאחריה התקיים מונדיאל 1966 באנגליה, גריבס אובחן כחולה בדלקת כבד שגרמה לו להחסיר שלושה חודשים בפתיחת העונה. הוא התאושש מהמחלה בדרך ל-16 שערים ב-31 משחקי ליגה, שנתנו לו את תואר מלך שערי הקבוצה, שלא הצליחה לשחזר את הישגי העבר שלה וסיימה שמינית בטבלה, תוך שהיא מודחת בשלב מוקדם בגביע. עונה אחר כך, ב-, חזרה טוטנהאם להוות יריבה במאבק האליפות, וסיימה במקום השלישי, עם מאזן זהה לסגנית האלופה נוטינגהאם פורסט, וארבע נקודות פחות מהאלופה מנצ'סטר יונייטד. גריבס הוסיף להצטיין בכיבוש שערים, כשסיים את העונה עם 31 שערי ליגה. הוא לא הוכתר למלך שערי הליגה, אך היה למלך שערי הגביע האנגלי, עם שישה שערים בשמונה משחקי גביע. גריבס לא כבש במשחק הגמר, בו ניצחה טוטנהאם את צ'לסי בתוצאה 1–2, אך היה גורם מכריע בזכיית הקבוצה בתואר באותה עונה. עונה לאחר החזרה למאבקי הצמרת, שוב חוותה טוטנהאם עונה מאכזבת. למרות הירידה בכמות ההבקעות שלו, גריבס נותר המבקיע המצטיין של קבוצתו עם 29 שערי ליגה. העונה נפתחה בשוויון 3–3 עם מנצ'סטר יונייטד במגן הצדקה, שהוביל לחלוקה בתואר בין שתי הקבוצות במהלך העונה, והסתיימה עם מקום שביעי בליגה והדחה מוקדמת מגביע אירופה למחזיקות ומהגביע האנגלי. בעונת סיים גריבס כמלך שערי הליגה בפעם השישית והאחרונה בקריירה שלו, עם 27 שערי ליגה. הוא הוסיף גם תשעה שערים במשחקי גביע, בדרך ל-36 שערים ב-52 משחקים באותה עונה. טוטנהאם הוסיפה לאכזב בליגה האנגלית, וסיימה שישית, הרחק מהאלופה לידס יונייטד. עונת הייתה האחרונה של גריבס במדי טוטנהאם. הקבוצה התאפיינה בחוסר יציבות, והפגינה יכולת חלשה במשחקיה. ב-28 בינואר 1970 הפסידה הקבוצה לקריסטל פאלאס בגביע האנגלי. גריבס פתח בהרכב הקבוצה באותו משחק, ומאז לא פתח עוד בהרכב טוטנהאם, ובחודש מרץ, טרם סיום העונה, סיים את דרכו בקבוצה. למרות זאת, הוא סיים כמלך שערי הקבוצה, עם 11 שערים.
ג'ימי גריבס כבש 266 שערים בכל המסגרות במדי טוטנהאם. הוא הפך לחבר היכל התהילה של הקבוצה, והוא מחזיק עד היום בתואר מלך שערי כל הזמנים במועדון. על תרומתו לקבוצה זכה גריבס למשחק הוקרה, שהתקיים ב-17 באוקטובר 1972 בווייט הארט ליין, ובו ניצחה טוטנהאם את פיינורד בתוצאה 1–2.
וסטהאם.
גריבס הצטרף לקבוצת וסטהאם יונייטד בחודש מרץ 1970 בעסקה סיבובית, במסגרתה עבר מרטין פיטרס לטוטנהאם. בריאן קלאף, מאמנה של דרבי קאונטי, היה מעוניין אף הוא בשירותיו של גריבס, אך המעבר נמנע עקב חוסר רצונו של השחקן לעזוב את לונדון. כבר בהופעת הבכורה שלו, ב-21 במרץ, כבש גריבס צמד בניצחון החוץ 1–5 של קבוצתו החדשה על מנצ'סטר סיטי.
בינואר 1971 הגיעו שחקני וסטהאם למשחק חוץ בגביע מול בלקפול. בהגיעם, התבשרו השחקנים על ידי עיתונאים שנכחו במקום, כי המשחק שהיה מתוכנן למחרת אמור להתבטל, וזאת עקב תנאי מזג האוויר הקשים. גריבס, בצוותא עם מספר שחקנים נוספים וביניהם כוכב הקבוצה בובי מור, יצאו לבלות באותו הלילה. גריבס שתה כמות גדולה של אלכוהול וחזר למלון בו שהתה הקבוצה בשעה מאוחרת מאוד. על אף התחזיות, המשחק אכן התקיים למחרת, ובלקפול הביסה את וסטהאם בתוצאה 0–4. השחקנים המעורבים בתקרית נקנסו והושעו מהמועדון, וזאת על אף טענותיו של גריבס כי ההפסד לא היה קשור לבילוי המשותף, ולא לתנאי מזג האוויר, אלא לכך שהיכולת של וסטהאם לא מספיק טובה. מאז התקרית, סבל גריבס מחוסר רצון ומוטיבציה, וכך חלה ירידה משמעותית בכושרו. הוא הרגיש כי מעטים משחקני וסטהאם יכולים להפגין יכולת גבוהה. הוא החל לצרוך כמויות גדולות של אלכוהול בתדירות גבוהה, לעיתים ישר אחרי אימונים של הקבוצה. בשלב מאוחר יותר, הודה כי שם החלה בעיית האלכוהוליזם שלו. משחקו האחרון במדי וסטהאם היה ב-1 במאי 1971, בהפסדה הביתי 0–1 להאדרספילד טאון. גריבס כבש 13 שערים ב-40 הופעות במדי וסטהאם בכל המסגרות.
ההתמכרות לאלכוהול והקריירה המאוחרת.