בעונת 1969/1970 ירדה הפועל ירושלים חזרה לליגת המשנה כשהפסידה במשחק דרמטי להפועל בית אלפא במחזור האחרון, לאחר 9 עונות רצופות בליגה העליונה, כאשר קפלן התפטר לקראת סוף העונה ובמקומו מונה שמעון (צ'ינגה) שלח שניסה להציל אותה מירידה אך כשל. לאחר 2 עונות חזרה הפועל ללאומית בעזרתו של המאמן הישן-חדש דוד קמינסקי שחזר לקבוצה לאחר שהוביל גם את בית"ר שנה קודם לכן לליגה הבכירה. בעונת 1972/1973 בליגה הלאומית.
בשנת 1973 זכתה קבוצת הנוער במקום הראשון בגביע המדינה ברשות עדי בן ארי זיו איילון יורם חרוש אייל שר ועמירם שושני, הקבוצה הגיעה למקום השלישי בליגה - הישג השיא בשנים אלו תחת הדרכתו של המאמן הצעיר והחסר ניסיון רלף קליין. בשנה זו הגיעו לראשונה שחקנים זרים מארצות הברית לחזק את הקבוצה: לי טראס, אלן פרידמן, ג'רי פישר ומייק לין. בעונת 1973/74 זכתה הקבוצה לראשונה להשתתף בגביע קוראץ' אך השתתפותה במפעל בוטלה בעקבות מלחמת יום הכיפורים שפרצה בעונה זו.
את שנות ה-70 המאוחרות ועד אמצע שנות ה-80 בילתה הפועל ירושלים בין ליגה לאומית לליגה הארצית כשאת שורותיה מאכלסים בעיקר שחקנים ברמה נמוכה שלא הצליחו להרים את הקבוצה לזכייה בתארים או הישגים מיוחדים, תחת הדרכתם של המאמנים אריה דוידסקו, קמינסקי שחזר בפעם השלישית לקבוצה אך לא הצליח לעזור לה להתבסס בליגה ולאחר מכן אלכס שפירא. בעונת 1979/80 רשם נער בשם דורון שפע את הופעת הבכורה שלו במדי הבוגרים, שעתיד להיות אחד השחקנים הבולטים של הקבוצה. בשנת 1985 עזבה הקבוצה את האולם המיושן בבית ההסתדרות ועברה לאולם מלחה שהיווה גורם חשוב בשנים הבאות של הקבוצה והתבססותה בליגה העליונה.
התבססות בליגה הראשונה וזכייה בגביע.
בשנת 1986 העפילה הקבוצה לליגה הראשונה תחת המאמן שימי ריגר, ומאז לא ירדה ליגה. בסוף שנות ה-80 ותחילת שנות ה-90 בלטו במיוחד השחקנים דורון שפע, ארז חזן, אמיר מוטאפצ'יץ', עדי גורדון, יוברט רוברטס והמאמן יורם חרוש, אשר הובילו את הקבוצה להתבססות בחלק העליון של הליגה הראשונה. בעיות כספיות בשנת 1994 הביאו לעזיבתם של מרבית כוכבי הקבוצה, אך כניסת צוות ניהולי חדש ברשות דני קליין ואורי מנצור והגעתו של הספונסר נחום מנבר בקיץ 1995, שינו את פניה של הפועל. גורדון, שפע ונוריס קולמן חזרו לקבוצה ויצרו הרכב חזק מאוד יחד עם בילי תומפסון ופפי תורג'מן. כתוצאה מכך, זכתה הפועל ירושלים בגביע המדינה לראשונה בתולדותיה, בשנים 1996 ו-1997 לאחר ניצחונות על מכבי תל אביב בהיכל הספורט יד אליהו, תחת שרביטם של המאמנים פיני גרשון (1996) וגדי קידר (1997) ובהנהגתו של כוכב הקבוצה וסמלה עדי גורדון. הפועל ירושלים הייתה הקבוצה השנייה בישראל (אחרי מכבי תל אביב) שזכתה במשך שנתיים רצופות בגביע המדינה בכדורסל.
העשור הראשון של המאה ה-21.
לקראת עונת 1998/9 הציגה ירושלים סגל חזק, שבו הורכבה חמישייתה מפפי תורג'מן, אייץ' וולדמן, דרק המילטון, קני ויליאמס וראדיסאב צ'ורצ'יץ', באימונו של אפי בירנבוים. הפועל ירושלים סיימה את הליגה הסדירה במקום הראשון, אך בסוף העונה נותרה ללא תואר לאחר שהפסידה בגמר הפלייאוף למכבי תל אביב, כאשר על הסדרה העיבה פרשת הפיצה. בעונות שלאחר מכן לא שחזרה ירושלים את יכולתה. בין השנים 1998 - 2002 במסגרת גביע המדינה הופיעה הפועל ירושלים ב-4 משחקי גמר גביע רצופים כולם מול מכבי תל אביב, אך בכולם היא הפסידה. ב-2001/2002 העפילה לחצי גמר גביע ספורטה.
בשנת 2001 הוגש כתב אישום כנגד העמותה לקידום כדורסל בירושלים וכנגד אברהם פלדה, דני קליין, אשר ביטון ואליהו אפרתי בפרשת הדרכון הצ'כי המזויף של שחקן הקבוצה קני ויליאמס. בית המשפט המחוזי בירושלים זיכה את אפרתי והרשיע את העמותה ואת פלדה, וגזר קנס של 40,000 ש"ח על העמותה, שישה חודשי עבודות שירות לתועלת הציבור וקנס של 40,000 ש"ח על פלדה ועבודות שירות לתועלת הציבור בהיקף של 500 שעות על קליין. בעקבות ערעור המדינה, בית המשפט העליון הרשיע את קליין בעבירה של תחבולה, בלי ששינה את עונשו.
בשנת 2004, תחת שרביטו של שרון דרוקר ובהובלת דורון שפר, ויל סולומון, קלי מקארתי, טונג'י אווג'ובי ומשה מזרחי, הפועל ירושלים זכתה בגביע יול"ב אחרי שניצחה בגמר את ריאל מדריד 72:83. הייתה זו הזכייה הראשונה של קבוצה ישראלית חוץ ממכבי תל אביב בתואר אירופי בכדורסל.
בשנת 2005 נכנס בתור ספונסר לקבוצה איש העסקים הרוסי ארקדי גאידמק, שהזרים כספים רבים לקבוצה, ובעזרתם שדרגה ירושלים משמעותית את סגל השחקנים. בשנת 2005/06 סיימה הקבוצה במקום השני והגיעה לחצי גמר גביע יול"ב. ב-2007 זכתה בגביע המדינה בכדורסל בפעם השלישית, לאחר שגברה במשחק הגמר על בני השרון 103–85, בכיכובם של מאיר טפירו, מריו אוסטין ודרור חג'ג'. בשנת 2007 פוצץ משחקה של הקבוצה נגד נגד הפועל חולון, כאשר התרחש אירוע השלכת החזיז במלחה. ב-2008 זכתה ירושלים בגביע המדינה בפעם הרביעית, לאחר שגברה במשחק הגמר על מכבי תל אביב 93–89 ומחקה ברבע הרביעי פיגור בן 22 נקודות. את הגביע הניף הקפטן ארז מרקוביץ' שבחר לצרף לטקס ההענקה את המאבטח יואב גליצנשטיין שנפצע מרימון הלם אשר הושלך במשחק בית מול הפועל חולון. על אף הזכייה בגביע, הקבוצה סיימה רק במקום השישי בליגה, והגיעה לשלב השני בגביע יול"ב. הכישלון היחסי הביא להתפטרותו של המאמן דן שמיר.
לקראת עונת 2008/9 מונה גיא גודס למאמן הקבוצה. הקבוצה הפסידה למכבי חיפה בחצי גמר גביע המדינה ובחצי גמר הפיינל פור, ולא עברה את הסיבוב הראשון ביורוצ'לנג'. בעונת 2009/10 המשיך גודס לאמן את הקבוצה, ובנה סגל המונה שישה זרים, לצד הישראלים הבולטים, יובל נעימי, יוגב אוחיון, אורי קוקיה ושרון ששון. הקבוצה הודחה בשלב שמינית גמר גביע המדינה על ידי ברק נתניה, אך העפילה לשלב רבע הגמר ביורוקאפ, שם הודחה על ידי אלבה ברלין. את העונה הסדירה סיימה ירושלים במקום השני, ובהמשך העפילה לפיינל פור שם הפסידה בחצי הגמר להפועל גלבוע גליל. בתום העונה הודיע גודס שלא ימשיך באימון הקבוצה, ובמקומו מונה עודד קטש. בעונתו הראשונה קטש לא הגיע להישגים משמעותיים אך המשיך בקבוצה לעונה נוספת, עונה שגם היא לא הסתיימה בהצלחה רבה.
בעונת הודיע יו"ר הקבוצה דני קליין על מכירה של 60% ממניות הקבוצה לאיש העסקים גומא אגייאר. עם היעלמותו של אגייאר, הועברה הקבוצה לידי האפוטרופוס הכללי על מנת למצוא בעלים חדש.
עידן אורי אלון ואליפויות.
ביולי 2013 נמכרו מניותיו של אגייאר ו-30% ממניות הקבוצה מעמותת הפועל ירושלים (סה"כ 90% ממניות הקבוצה) לקבוצת רכישה בראשות איש ההייטק אורי אלון, הכוללת גם את הפרסומאי אייל חומסקי מבעלי משרד אדלר חומסקי.
לקראת עונת 2015/2014 הושלמה בניית האולם החדש של הקבוצה "פיס ארנה ירושלים" והקבוצה ערכה משחק פרידה מאולם מלחה, נגד מכבי חיפה. כחלק מההתחדשות הכוללת של הקבוצה הושקו סמל חדש ואייקון חדש.
בעונה זו מונה דני פרנקו לאמן את הקבוצה.
הפועל ירושלים הודחה בשלב הבתים הראשון ביורוקאפ והפסידה למכבי תל אביב בגמר גביע המדינה.
הפועל ירושלים הגיעה לגמר אליפות המדינה נגד הפועל אילת, לאחר שסיימה את העונה הסדירה במקום השני וניצחה בסדרת רבע הגמר ובסדרת חצי הגמר 3–0.
הגמר נערך בשיטת שני משחקים, בית וחוץ, כאשר המשחק הראשון נערך באילת ובו ניצחה הפועל ירושלים בתוצאה 80–65. במהלך המשחק השני אילת הובילה ב-11 הפרש אך ריצה של 10–27 של הפועל ירושלים ברבע השלישי העניקה לה ניצחון 88–68 ואת תואר האליפות הראשון בו זכה המועדון ב-72 שנות קיומו.
בעונת 2016/2015 המשיך פרנקו לאמן את הקבוצה, וסגל השחקנים נשמר ברובו. הקבוצה לא הצליחה להעפיל לשלבים הגבוהים בגביע המדינה, ונכנעה 72–87 למכבי חיפה כבר בשלב שמינית הגמר. גם באירופה לא הצליחה הקבוצה לרשום הצלחה כשהעפילה אמנם לשלב הבתים השני, אך סיימה אותו עם שישה הפסדים בשישה משחקים. בליגה לעומת זאת הצליחה הקבוצה לרשום עונה מוצלחת במיוחד שכללה לא מעט הישגי שיא למועדון. את העונה הסדירה סיימה הקבוצה כשהיא במקום הראשון, כולל שלושה ניצחונות מתוך שלושה משחקים מול מכבי תל אביב. הקבוצה העפילה לפלייאוף בו שיחקה ברבע הגמר מול הפועל תל אביב אותה ניצחה 3–2 בסדרת הטוב מחמישה. בפיינל פור ששוחק בהיכל הארנה בירושלים שיחקה הקבוצה בשלב חצי הגמר מול הפועל אילת. ירושלים ניצחה 82–78 והעפילה לגמר, אך בו הפסידה למכבי ראשון לציון בתוצאה 83–77.
ב-20 ביוני 2016 מונה האיטלקי סימונה פיאניג'אני למאמן הקבוצה. בעונה זו הפסידה הפועל ירושלים בגמר הגביע למכבי תל אביב והעפילה לחצי גמר היורוקאפ בו הודחה על ידי ולנסיה. את הליגה הסדירה סיימה במקום השלישי. ברבע הגמר הפלייאוף ניצחה את עירוני נהריה 3–2 בסדרת הטוב מחמישה. בחצי הגמר ניצחה ירושלים את האלופה היוצאת מכבי ראשון לציון 93–76 והעפילה לגמר.
בגמר ניצחה הפועל ירושלים 83–76 את מכבי חיפה בהיכל מנורה מבטחים, וחגגה אליפות שנייה בתוך 3 עונות. עונת 2018/2017 הייתה חלשה יחסית, הקבוצה הודחה בשלב הראשון ביורוקאפ והגיעה לחצי גמר הפלייאוף וחצי גמר הגביע. לאחר פיטורי המאמנים פוטיוס קציקאריס ולאחריו מודי מאור, מונה למאמן הקבוצה עודד קטש. ביוני 2018 הודיע אלון על עזיבתו את הקבוצה על רקע צמיחתה של חברת ההייטק קומפאס (Compass) שבבעלותו.