בשנות ה-60 נאבקה הקבוצה על הישרדותה בליגה הראשונה והצליחה לשרוד בליגה בתנאים קשים ובתקציב נמוך מאוד. הקבוצה הצליחה לזכות בגביע הראשון שלה בעונת 1967/1968, כשניצחה בגמר 0–1 את הפועל פתח תקווה.
בשנות ה-70 המשיכה הקבוצה להיות קבוצת אמצע טבלה ומטה שבעיקר מנסה לשרוד בליגה העליונה, וכשלה פעמיים בעונות 1971/1972 ו1975/1976, בסופן ירדה לליגה השנייה. מצב הקבוצה השתפר בשנים בעונת 1977/1978, אז חזרה הקבוצה לליגה הראשונה.
את שנות ה-80 התחילה בני יהודה טוב כאשר בעונת 1980/1981 הייתה שנייה רק להפועל תל אביב במספר הנקודות וסיימה כסגניתה. בנוסף בעונה זו, שנחשבת אחת הגדולות במועדון, היא זכתה בגביע המדינה לאחר ניצחון על הפועל תל אביב בגמר. עונה לאחר מכן סיימה במקום השלישי. בשתי העונות שלאחר מכן התדרדרה הקבוצה עד שלבסוף ירדה לליגה הארצית בסוף עונת 1983/1984, אך לאחר עונה אחת בלבד שבה לליגה העליונה וסיימה במקום החמישי. בעונת 1986/1987 סיימה כסגניתה של בית"ר ירושלים שלקחה אליפות ראשונה בתולדותיה, אך לאחר מכן התדרדרה שוב למקום העשירי. בעונת 1988/1989 נקלעה למקום האחרון בטבלה, אך לאחר הגעתו של המאמן גיורא שפיגל הצליחה להינצל מירידה לליגת המשנה.
שיא המועדון הגיע בתחילת שנות ה-90, ובעונת 1989/1990 זכתה בני יהודה, תחת הדרכתו של שפיגל, באליפות המדינה לראשונה בתולדותיה.
בעונת זו כיכבו בשורותיה יעקב אסייג, רוני מאיר, ניר מנחם, חררדו גונזלס, חזי שירזי, רואי חדד ומשה סיני שהגיע בהשאלה מהפועל תל אביב ונבחר לכדורגלן העונה בישראל לאחר שכבש 14 שערים והוסיף שישה בישולים.
בעונה שאחרי האליפות התדרדרה הקבוצה לפלייאוף התחתון, וסיימה את העונה במקום השמיני בטבלה. לאחר מכן חזרה לצמרת כאשר בקבוצה כיכבו חיים רביבו, אלון מזרחי וניקולאי קודריצקי. בעונת 1991/1992 סיימה הקבוצה כסגנית האלופה מכבי תל אביב, ובעונה שלאחר מכן סיימה במקום השלישי בטבלה, אך בהמשך שנות ה-90 הפכה לקבוצת תחתית, ובעונת 1997/1998 נשארה בליגה במחזור האחרון, לאחר שסיימה את העונה עם נקודה אחת יותר מהפועל באר שבע שירדה לליגת המשנה.
ראשית המאה ה-21.
בתחילת שנות ה-2000 מונה למאמן הקבוצה אלי אוחנה והקבוצה ירדה פעם נוספת לליגה השנייה לראשונה לאחר 17 שנה, תוך השגת שיא מועדון שלילי של 20 הפסדים בעונה אחת. המאמן נשאר והקבוצה שבה לליגה הבכירה בסוף העונה שלאחר מכן, לאחר ניצחון של הפועל רמת גן באצטדיון המכתש.
בשנים הבאות הפכה בני יהודה לקבוצת מרכז טבלה, המסיימת את עונת הליגה הסדירה במקומות העליונים. החל מעונת 2004/2005 החלה הקבוצה לשחק באצטדיון בלומפילד.
עונת 2005/2006 הייתה עונתה המוצלחת של בני יהודה מזה שנים, והקבוצה סיימה במקום הרביעי, אשר העניק לה את הזכות להשתתף בגביע אופ"א. בני יהודה פגשה את לוקומוטיב סופיה הבולגרית ונוצחה פעמיים 0–2 ו-0–4. בני יהודה רשמה באותה עונה הישג נוסף בכך שעלתה לגמר גביע המדינה בפעם החמישית בהיסטוריה של המועדון, לאחר שבמשחק חצי הגמר ניצחה את מכבי חיפה 0-2 בהארכה. במשחק הגמר הפסידה בני יהודה 0–1 להפועל תל אביב משער בדקות הסיום.
בעונת 2008/2009, תחת הדרכתו של המאמן גיא לוזון, התחילה בני יהודה את העונה בצורה לא טובה, אך מהסיבוב השני יכולת הקבוצה השתפרה והיא סיימה את העונה במקום החמישי. היא אף קיבלה את מקומה של בית"ר ירושלים בליגה האירופית, לאחר שזו הייתה נתונה בקשיים כלכליים. הקבוצה הצליחה להעפיל לראשונה מהיווסדה עד לסיבוב הרביעי, בו הוגרלה והודחה מול PSV איינדהובן ההולנדית כאשר הפסידה 0–1 בשני המשחקים.
בעונת 2009/2010 העפילה הקבוצה לגמר גביע המדינה, בו הפסידה להפועל תל אביב בתוצאה 1–3. כמו כן, סיימה הקבוצה במקום הרביעי שהקנה לה כרטיס לליגה האירופית.
בעונת 2010/2011 בני יהודה תל אביב הייתה תחת הדרכתו של המאמן דרור קשטן הקבוצה הצליחה לעבור את הסיבוב המוקדם הראשון בליגה האירופית כאשר הדיחה את אוליסס ירבאן מארמניה לאחר תיקו 0-0 במשחק החוץ וניצחון 0–1 במשחק הבית באצטדיון בלומפילד משער של שלו מנשה. בסיבוב המוקדם השני הוגרלה בני יהודה נגד קבוצת שמרוק רוברס מאירלנד. המשחק הראשון באירלנד הסתיים בתיקו 1-1 ואילו משחק הגומלין באצטדיון בלומפילד הסתיים בניצחון האורחים 0–1, בכך סיימה בני יהודה את דרכה בליגה האירופית לעונה זו, באותה עונה סיימה בני יהודה בפלייאוף העליון בליגה במקום הרביעי.
ביוני 2011 מונה יוסי אבוקסיס לתפקיד מאמן הקבוצה. במהלך תפקידו הביא את הקבוצה למקום השלישי בטבלה ובכך העפילה הקבוצה שנה נוספת למפעל הליגה האירופית. אבוקסיס החליט לעזוב לאחר עונה אחת בעקבות מינויו לעוזר מאמן נבחרת ישראל.
ביוני 2012 חזר דרור קשטן לקדנציה נוספת במועדון כאשר חתם על חוזה לשנתיים. באוגוסט 2012 נעצרה הקבוצה בסיבוב השלישי של מוקדמות הליגה האירופית אחרי הפסד כפול לפאוק סלוניקי, ובתום העונה סיימה במקום הרביעי בליגה. בדצמבר 2013 החליט קשטן להתפטר לאחר רצף כישלונות של הקבוצה. במקומו מונה בחזרה יוסי אבוקסיס לתפקיד המאמן, אך על אף שיפור ביכולת הקבוצה היא ירדה ליגה במחזור האחרון לאחר 12 שנים רצופות בליגת העל. שנה לאחר מכן יוסי אבוקסיס הצעיד את הקבוצה בחזרה לליגת העל כמוליכת הליגה הלאומית לעונת 2014/2015. בחזרתה לליגת העל עמד יוסי אבוקסיס על הקווים אך בעקבות חילוקי דעות עם ההנהלה עבר באמצע העונה לבני סכנין בעוד הקבוצה מינתה למאמנה את יוסי מזרחי עד תום העונה.
עידן ברק אברמוב (2016-2022).
בתחילת שנת 2016 ניהל ברק אברמוב איש עסקים תל אביבי, שהונו מוערך בכ-300 מיליון שקל, אוהד הקבוצה ואף שימש כספונסר המועדון מספר פעמים וניסה לרכוש אותו בעבר, משא ומתן לרכישת המועדון ממשה דמאיו שניהל אותו במשך כ-13 שנים.
ב-5 במאי 2016 עברה הקבוצה רשמית לידיו של אברמוב שהצהיר מצידו על הגדלת התקציב והשקעה במועדון. ב-24 במאי 2016 מינה אברמוב את אריק בנדו למאמן הקבוצה. ב-24 באוקטובר באותה השנה, לאחר הפסד למכבי פתח תקווה, פוטר בנדו מתפקידו ובמקומו מונה עוזר המאמן יעקב אסייג למאמן זמני למשך כחודשיים. בדצמבר 2016 בעקבות מצבה הקשה של הקבוצה בתחתית הליגה, הוחלט בהנהלה לבצע מהפך בצוות המקצועי כאשר יצחק שום מונה למנהל הספורטיבי, שחקן העבר - אלון מזרחי מונה לנציג הבעלים וניסן יחזקאל מונה למאמן הקבוצה.
הקבוצה הצליחה להתייצב במסגרת הליגה ואף הצליחה להגיע לגמר הגביע במסגרת הגביע, אך באפריל 2017 התפטר יחזקאל מאימון הקבוצה כיוון שחש לטענתו בפגיעה בסמכויותיו על ידי שום, שמצידו התפטר אף הוא לאחר שלושה ימים. במקום יחזקאל מונה שחקן העבר ומנכ"ל המועדון כפיר אדרי ביחד עם אסייג שמונה פעם נוספת באותה עונה למאמנים ביחד בעלי אותה סמכות מקצועית עד לסוף העונה כולל גמר הגביע שבו הייתה צפויה הקבוצה להשתתף.
ב-25 במאי 2017 זכתה בני יהודה בגביע המדינה השלישי של המועדון, לאחר ניצחון 4–3 על מכבי תל אביב בדו-קרב בעיטות עונשין במשחק הגמר.
בסיום העונה חתם יוסי אבוקסיס לשנתיים לאחר שחזר לאמן במועדון בפעם השלישית בקריירה, ובמקביל סיים אלון מזרחי את תפקידו כנציג הבעלים.
ב-3 באוגוסט 2017 ניצחה הקבוצה 1–0 את זניט סנקט פטרבורג באצטדיון קרסטובסקי ברוסיה במשחק הגומלין של שלב השלישי של מוקדמות הליגה האירופית, אך תוצאה זו לא הספיקה לה על מנת להעפיל לשלב הבא לאחר שהפסידה 0–2 במשחק הראשון שנערך בישראל.
בעונת 2017/2018 הוביל אבוקסיס את בני יהודה לפלייאוף העליון, ובתום העונה חתם על חוזה חדש לחמש שנים נוספות במועדון.
ב-15 במאי 2019 זכתה בני יהודה בגביע המדינה הרביעי של המועדון והשני בשלוש שנים, לאחר ניצחון 5–4 על מכבי נתניה בדו-קרב פנדלים במשחק הגמר (זוהי הפעם השלישית מתוך ארבע שהיא ניצחה בגמר בבעיטות הכרעה). הזכייה בגביע המדינה העניקה לה השתתפות בסיבוב השלישי במוקדמות הליגה האירופית אותו בו הוגרלה מול נפטצ׳י באקו האזרית. הקבוצה גברה על יריבתה בתוצאה 4:3 בסיכום צמד המשחקים ובכך הצליחה לשחזר את הישג השיא שלה באירופה והעפילה בפעם השנייה בתולדותיה לשלב הפלייאוף.
ב-28 ביוני 2019 השיק המועדון סמל חדש, המבוסס על הישן, אשר עבר חידושים וליטושים.
ב-7 בינואר 2020 עבר אבוקסיס לאמן את הפועל באר שבע, וב-8 בינואר מונה אלישע לוי למאמן הקבוצה. תחת שרביטו של לוי הקבוצה סיימה במקום השביעי כאשר היא מוליכה את הפלייאוף התחתון וכן הגיעה לשלב חצי גמר גביע המדינה. בעונה שלאחר מכן, פוטר לוי מפאת חוסר הצלחה של הקבוצה והסתבכות בתחתית הטבלה, ויוסי אבוקסיס חזר לקבוצה על מנת לנסות ולהצילה מירידה לליגה השנייה, כאשר עונה שנייה ברצף סיימה בפלייאוף התחתון. ניסיון זה לא צלח, ובסיום עונת 2020/2021 ירדה הקבוצה לליגה הלאומית, לאחר שבע שנים בליגה הבכירה.
את עונת 2021/2022 פתח יוסי אבוקסיס, שעזב את הקבוצה ב-3 בפברואר, ובמקומו מונה ניסו אביטן למאמן הקבוצה. ב-12 במאי מונה עוזר המאמן לשעבר אורי גוטמן למאמן הקבוצה. ב-18 במאי מינה הבעלים ברק אברמוב את דורון אוסידון לתפקיד נציג הבעלים במקומו של יוסי כהן. ב-29 ביולי רכש משה דמאיו בחזרה את הקבוצה וב-4 באוגוסט אשרה הוועדה להעברת זכויות את הרכישה.
אצטדיון.
משרדי המועדון ומתחם האימונים של הקבוצה ממוקמים באצטדיון שכונת התקווה, אצטדיונה הביתי של הקבוצה בעבר, אך החל מעונת 2004/2005 עברה הקבוצה לשחק באצטדיון בלומפילד.
בשנים 2016–2019 עברה הקבוצה לארח באצטדיון המושבה בפתח תקווה, בעקבות הרחבת אצטדיון בלומפילד. בעונת 2019/2020 חזרה הקבוצה לארח באצטדיון בלומפילד.
אוהדים.
אוהדי הקבוצה משתמשים בתרנגול בתור הקמע הקבוצתי.