בהמשך שנות ה-60 חזרה יפו למאבקי תחתית, עד אשר סיימה בעונת 1969/1970 במקום ה-15 (מתוך 16), וירדה לליגת המשנה אחרי 14 שנים רצופות בליגה הבכירה.
שנות השבעים.
את שנות ה-70 פתחה מכבי יפו בליגה א' צפון (אז הליגה השנייה בישראל). עונת 1970/1971 נחשבות לאחת מהעונות הטובות ביותר של מכבי יפו בכל הזמנים. יפו סיימה את העונה במקום הראשון וחזרה לליגה הבכירה אחרי עונה אחת בלבד בליגת המשנה. מאותה עונה זכור בעיקר הניצחון 1–0 על הפועל רמת גן במחזור האחרון, לעיני 20,000 צופים באצטדיון בלומפילד, אשר העלה את יפו לליגה הבכירה והשאיר את הפועל רמת גן (שערב המשחק הייתה במקום הראשון) בליגה א'. באותה עונה בלטו במדי הקבוצה מוצי ליאון, משה אוננה ונתן הירש, שסיים את העונה כסגן מלך השערים לעונה זו.
את רוב שנות ה-70 העבירה מכבי יפו במרכז הטבלה של הליגה הבכירה. בעונת 1976/1977 חזרה מכבי יפו למאבקי האליפות, בהם לא השתתפה מאז תחילת שנות ה-60. יפו סיימה לבסוף את העונה במקום השני, שלוש נקודות בלבד מהאלופה מכבי תל אביב (אף על פי שניצחה את מכבי תל אביב בשני המפגשים ביניהם באותה עונה, 1–0 בסיבוב הראשון ו-2–0 בסיבוב השני). המקום השני נתן ליפו כרטיס לגביע האינטרטוטו, בו סיימה במקום האחרון בבית עם 5 נקודות מתוך 12 אפשריות.
עונת 1979/1980 נחשבת לאחת העונות המותחות ביותר בישראל במאבק על ההישארות בליגה. במחזור האחרון לעונה 7 קבוצות נלחמו נגד הירידה, וביניהם מכבי יפו. במחזור האחרון הייתה יפו זקוקה לנס: לנצח את היריבה הגדולה מכבי תל אביב, ושבית"ר תל אביב לא תנצח את הפועל תל אביב. מכבי יפו ניצחה באצטדיון גאון 3–0 את מכבי תל אביב, ולאחר שהפועל תל אביב חזרה מפיגור 1–3 וסיימה את המשחק מול בית"ר תל אביב בתיקו 3–3, נשארה מכבי יפו בליגה בזכות הפרש שערים עדיף, בעוד בית"ר תל אביב ירדה לליגה השנייה.
שנות השמונים: הנפילה.
את תחילת שנות ה-80 פתחה מכבי יפו בצורה טובה, כשסיימה בעונת 1980/1981 במקום השלישי בליגה הבכירה, אך מעונה זו החלה ההידרדרות של יפו למאבקי תחתית.
את עונת 1986/1987 סיימה מכבי יפו במקום ה-15 (מתוך 16) בליגה הבכירה, וירדה לליגת המשנה אחרי 16 עונות רצופות בליגה הבכירה בישראל.
שנות ה-80 סימלו את ההתפרקות של מכבי יפו הישנה ואת ההיעלמות שלה ממפת הכדורגל הישראלי. יפו סיימה את כל עונותיה אחרי הירידה לליגה השנייה במרכז הטבלה, ולא הצליחה להילחם על ההעפלה ליגה הבכירה.
שנות התשעים: עלייה לצורך התרסקות.
את שנות ה-90 פתחה מכבי יפו בצורה מבטיחה בליגה השנייה. בעונת 1991/1992 סיימה יפו רק במקום השישי (מתוך 16) אך זכתה בתואר ראשון אי פעם: גביע הטוטו לליגה הארצית.
גם בעונת 1992/1993 זכתה יפו בגביע הטוטו לליגה הארצית. באותה שנה סיימה הקבוצה את העונה במקום הרביעי, מה ששלח אותה למשחקי פלייאוף מול הפועל פתח תקווה, אך היא הפסידה לה פעמיים (0–3 ו-1–2) ונשארה בליגת המשנה.
בעונת 1994/1995 עלתה הקבוצה בחזרה לליגה הבכירה אחרי 8 שנים רצופות בליגת המשנה, לאחר שסיימה במקום הראשון בליגה הארצית.
עונת 1995/1996 נחשבת לאחת החלשות ביותר של הקבוצה והיא ירדה חזרה לליגה הארצית לאחר עונה אחת בלבד בליגה הראשונה, בה סיימה במקום האחרון בטבלה.
בעונת 1997/1998 סיימה מכבי יפו במקום הראשון בליגה הארצית, עם הפסד אחד בלבד, ועלתה בחזרה לליגה הבכירה. באותה עונה היה אופיר חיים, חלוץ מכבי יפו, מלך השערים של הליגה הארצית עם 26 שערים. בנוסף זכתה הקבוצה בעונה זו בפעם השלישית בגביע הטוטו לליגה הארצית.
עונת 1998/1999 הייתה העונה ה-32 והאחרונה של מכבי יפו בליגה הראשונה בישראל. עונה זו הייתה הגרועה ביותר בתולדות המועדון, ואחת מהגרועות אי פעם של קבוצה ישראלית בליגה הראשונה. יפו סיימה את העונה במקום האחרון עם 2 ניצחונות, 4 תוצאות תיקו ו-24 הפסדים (10 נקודות מתוך 90 אפשריות), ונכנסה לחובות כבדים.
שנות האלפיים: ההיעלמות הסופית.
את עונת פתחה הקבוצה בליגה השנייה, אך אחרי משחק אחד בלבד (ניצחון 1–0 על הפועל צפרירים חולון) הוחלט בעקבות מצבה הכלכלי של הקבוצה להוריד אותה שתי ליגות, לליגה א' דרום (אז הליגה הרביעית בישראל), שם שיחקה בשם מכבי יפו 2000. הקבוצה סיימה במקום התשיעי בליגה ובתום אותה עונה התפרקה הקבוצה סופית, רוב השחקנים, ההנהלה והצוות המקצועי עברו לא.ס. רמת אליהו שהתאחדה עם מכבי יפו (למעשה א.ס. רמת אליהו תפסה את מקומה של מכבי יפו בליגה א' דרום).
בתחילת שנות ה-2000 מכבי יפו ה"חדשה" (א.ס. רמת אליהו) הציבה לה למטרה לעלות לליגה הארצית, אך נכשלה. את עונת סיימה א.ס. רמת אליהו במקום האחרון בליגה א' דרום וירדה לליגה ב' (אז הליגה החמישית בישראל).
בשנת 2008 התאחדה הקבוצה עם "הפועל איחוד בני יפו" והייתה לקבוצת מרכז טבלה בליגה ב'. בשנים שלפני האיחוד הקבוצה התאחדה גם עם צעירי יפו וחצרות יפו.
מכבי קביליו יפו: תחילת הדרך.
לקראת עונת , כמה מאוהדי הקבוצה המקורית, בראשות בר כהן, הקימו מחדש את הקבוצה בשם "מכבי קביליו יפו" (על שם שוער העבר הרצל קביליו) במתכונת הדומה לזו הפועלת בהפועל קטמון ירושלים והפועל אוסישקין. הקבוצה מתקיימת בעיקר מתרומות וכן מזכויות אותם רוכשים אוהדי הקבוצה.
הקבוצה פתחה את עונתה הראשונה במחוז תל אביב של ליגה ג'. שחקני העבר הידועים אלון חזן, יוסי אבוקסיס ומשה סיני, שבתחילת דרכו שיחק במכבי יפו, חתמו בקבוצה בימיה הראשונים, אף שבפועל רק אבוקסיס שיחק בקבוצה. שלמה אלקולומברה מונה למאמן הקבוצה, ובמהלך העונה הוא הוחלף על ידי עופר ראובן. ב-20 באוקטובר 2008 זכתה הקבוצה בתואר ראשון, גביע המחוז של ליגה ג' מחוז תל אביב, אחרי שגברה בגמר על 2–1 בני יהוד. ב-29 באפריל 2009 הבטיחה הקבוצה את עלייתה לליגה ב' אחרי ניצחון 2–0 על עירוני בית דגן באצטדיון בלומפילד לעיני 9,000 צופים. משחק זה היה גם משחק הפרישה של הקפטן אביבי זוהר, ולאחר מכן הוא מונה למאמן הקבוצה.
בעונת שיחקה הקבוצה בליגה ב' דרום א'. לקראת תחילת העונה הקבוצה החלה למכור מנויים למשחקי הבית של הקבוצה בליגה, ובכך הפכה לקבוצה הראשונה אי פעם מליגה ב' שמוכרת מנויים למשחקיה. לאור יכולת לא מספקת של הקבוצה בתחילת העונה הוחלף זוהר בעוזר המאמן עופר ראובן. ב-27 באוקטובר 2009 זכתה הקבוצה בתוארה השני בהיסטוריה, גביע המחוז של ליגה ב' דרום א', לאחר שניצחה את בני יפו במשחק הגמר. ב-8 בינואר 2010 שיחקה יפו בסיבוב ז' של גביע המדינה נגד הפועל חדרה מצמרת ליגה א' וניצחה 2–1. המשחק שודר בשידור ישיר בערוץ הספורט והיה למשחק הראשון של מכבי קביליו יפו שמשודר בטלוויזיה. ב-8 בפברואר 2010 ניצחה בסיבוב ח' של גביע המדינה את עירוני קריית שמונה שמוקמה ערב המשחק במקום הראשון בליגה הלאומית, והפכה לקבוצה הראשונה מהליגה הרביעית שעולה לשמינית גמר גביע המדינה מאז עשתה זאת הפועל חצור בשנת 1963. בשמינית הגמר פגשה הקבוצה את הפועל תל אביב מצמרת ליגת העל באצטדיון הברפלד והפסידה 0–5. ב-16 באפריל 2010 ניצחה הקבוצה בביתה, לעיני 2,000 צופים, 3–0 את בני יפו, ובכך הבטיחה את המקום הראשון בליגה ב' דרום א' ואת העפלתה לליגה א', והייתה לקבוצה היחידה בישראל שלא הפסידה אף משחק ליגה בעונה זו.
התבססות בליגה א'.
ב-10 ביוני 2010 מונה עופר פביאן למאמן הקבוצה, וב-1 בינואר 2011, לאחר 13 משחקי ליגה בהם יפו לא הפסידה אך סיימה 7 בתיקו (רובם בתוצאה 0–0), פוטר פביאן ובמקומו מונה עוזר המאמן, עופר ראובן. ב-4 בינואר 2010 הפסידה הקבוצה 0–2 לבני טמרה מליגה א' במשחק חוץ, במסגרת סיבוב ז' של גביע המדינה. הפסד זה היה הפסד החוץ הראשון של הקבוצה מאז הקמת מכבי קביליו יפו, לאחר 42 משחקי חוץ רצופים ללא הפסד. ב-7 בינואר הפסידה 0–2 בחוץ לעירוני נתיבות במסגרת המחזור ה-14 של ליגה א', וקטעה רצף של 65 משחקי ליגה רצופים ללא הפסד. ב-23 בפברואר 2010, לאחר שהקבוצה לא עמדה בציפיות, מונה מלך השערים של המועדון בכל הזמנים, משה אוננה, למנהל המקצועי של הקבוצה, ולמאמן הקבוצה בפועל. בסיום העונה הסדירה סיימה הקבוצה במקום הרביעי והעפילה לפלייאוף העלייה לליגה הלאומית. בגמר המחוזות של ליגה א' ניצחה 3–1 את הפועל אסי גלבוע מליגה א' צפון, אך בצמד המשחקים המכריע הפסידה להכח עמידר רמת גן, שסיימה במקום ה-14 בליגה הלאומית, ונשארה בליגה א'.
בעונת סיימה הקבוצה במקום השני בליגה א', אך באותה עונה לא התקיים פלייאוף עלייה לליגה הלאומית והקבוצה נשארה בליגה בשלישית. בשתי העונות שלאחר מכן סיימה הקבוצה במקום השני בליגה, אך הודחה פעמיים בשלב הראשון של פלייאוף העלייה לליגה הלאומית על ידי בית"ר כפר סבא (כאשר בעונת רק הפרש שערים עדיף של הפועל קטמון ירושלים הפריד בין מכבי קביליו יפו לבין עלייה ישירה לליגה הלאומית).
לקראת עונת מונה צחי טיאר למאמן הקבוצה. הקבוצה פתחה את העונה בצורה טובה, אך לאחר מכן נחלשה וסיימה את העונה במקום ה-14 המוביל למשחק מבחן מול קבוצה מליגה ב'. במהלך העונה הוחלף מאמן הקבוצה שלוש פעמים: רונן גבאי החליף את צחי טיאר ובהמשך הוחלף באלי מחפוד, ובשני המחזורים האחרונים של העונה אימן את הקבוצה עופר ראובן. במשחק המבחן ניצחה הקבוצה 2–0 את הפועל קריית אונו ונשארה בליגה א'.