התלבושת הראשונה של הקבוצה, שעל גבה התנוסס סמל תנועת בית"ר, מומנה מכספיו של עורך הדין אהרון ברוך. קבוצה זו היוותה אטרקציה ספורטיבית באותם ימים, ומשכה קהל ירושלמי רב, זאת למרות גילם הצעיר של השחקנים, שעמד על ממוצע של כ-18 שנים. בתחילה הקבוצה לא נמנתה עם הקבוצות החברות בהתאחדות לכדורגל, והיא שיחקה משחקי ידידות לא רשמיים נגד קבוצות אנגליות, יהודיות וערביות מקומיות אשר שיחקו בשכונות שונות בירושלים. קודם לכן, פעלה קבוצת כדורגל אחרת ברובע היהודי שבעיר העתיקה, אשר כינוייה היה "המעופף". ששחקניה היו חברי תנועת בית"ר ברובע ששיחקו ב"חקורה" (שדה גידול), בסמוך לשער ציון.
בעקבות מעצרו של מרקוביץ' בידי הבריטים ב-1938, נאלצה בית"ר להפסיק את פעילותה, עד הקמתה מחדש ב-1942 על ידי הורן ושמואל קירשטיין. הורן וקירשטיין הצליחו למזג את קבוצות "בית"ר ימין משה" ו"בית"ר ניל"י", אשר שיחקה בשכונת יגיע כפיים. כמו כן, צרפו שני אלו שחקנים נוספים לקבוצה המאוחדת, שרבים מהם היוו את שִלְדָהּ - עד שנות ה-50 המאוחרות. בין שחקניה הבולטים של הקבוצה נמנו: הקשר שהיה גם מתאגרף, אשר ברנבלום והחלוצים ישראל יחזקאל, אהרון חסון, שמעון שטרן ושלום ציון. כוכב הכדורגל הראשון של הקבוצה היה סימון אלפסי, והוא כיכב בשורות הקבוצה בשלהי שנות הארבעים והחמישים. לאחר פרישתו, הפך אלפסי למאמן-שחקן , ולאחר מכן - למאמן הקבוצה. בנוסף, שיחקו בקבוצה זו: יוסף מיוחס, יצחק מיוחס, אלי מזרחי, שמואל בליכר, ליאון מזרחי, אהרון טוויל, ישעיהו לאריה, שלמה סידס, מושקה תנורי, יוסף שלום ודוד בדהב. קבוצה זו לא הצליחה לארגן משחקים נגד קבוצות יהודיות בכירות בישראל, מפאת חרם משותף של קבוצות מאגודות הפועל ומכבי. על כן, הסתפקה הקבוצה במשחקים נגד קבוצות בריטיות וערביות בלבד, עליהן נמנו: "הארד ספורט קלאב", "הומנטמן" ו"הויצ'מן".
הטורניר הראשון בו השתתפה הקבוצה היה גביע בזק של "קרן תל חי", שבו העפילה הקבוצה למשחק הגמר, אך נוצחה על ידי בית"ר פתח תקווה. לאחר מכן, בטורניר נוסף בו השתתפה, "גביע ירושלים", העפילה הקבוצה פעם נוספת לגמר, אך הפרעה למהלכם התקין של המשחקים בטורניר זה, מטעם פעילים שהשתייכו לקבוצה היריבה של העיר הפועל ירושלים - מנעה מבית"ר את השתתפותה במשחק זה.
בסוף 1943, שיחקה הקבוצה לראשונה נגד קבוצה בכירה בכדורגל הארצישראלי, "בית"ר תל אביב", שניצחה אותה 0–3. באותה שנה, שיחקה בית"ר נגד קבוצות בכירות נוספות מהליגה הראשונה בארץ ישראל, דוגמת "הפועל ראשון לציון" ו"מכבי נתניה". ניצחונותיה במשחקים נגד קבוצות אלו, תרמו להעלאת התודעה של הקבוצה הירושלמית בקרב אוהדי הכדורגל בארץ ישראל.
לאחר גילוי מעורבותם של רבים משחקני הקבוצה ושחקני קבוצות אחרות בפעילות מחתרתית לא חוקית בשנת 1944, ובעקבות פיצוץ בניין הבולשת הבריטית בירושלים, הוגלו חלק משחקני בית"ר על ידי ממשלת המנדט הבריטי לקניה, אריתריאה וסודאן בשל פעילותם. במחנות המעצר במדינות אלו, שהוקמו על ידי הבריטים, הקימו העצירים היהודים, 251 במספר, מספר קבוצות כדורגל באדיבות ובעידוד השומרים האנגליים. הקבוצות התבססו על אזורים בהם שיחקו המוגלים מירושלים, תל אביב ופתח תקווה. במקביל, תכננו העצורים בריחה המונית על מנת לחזור לישראל, דרך מנהרה שנחפרה ממחנה העצירים ועד מרכז מגרש הכדורגל. 54 מהם אף הצליחו לברוח, אך נתפסו שנית והוחזרו למחנה המעצר. בסופו של דבר רוב העצורים חזרו לישראל רק עם הקמת המדינה במאי 1948.
בעת הגליית חלק מהשחקנים לאפריקה בשנת 1946, הגיעה הקבוצה האלמונית יחסית לסיבוב השני של גביע ארץ ישראל, הישג השיא של הקבוצה לאותם שנים, ופגשה את מכבי תל אביב עמוסת הכוכבים, שנחשבה לקבוצה החזקה ביותר בארץ ישראל ביחד עם הפועל תל אביב, וכללה את הכוכבים: אלי פוקס, יוסל'ה מרימוביץ' ושייע גלזר. באותו טורניר, התקיים הגביע במתכונת של מפגש כפול, ומכבי הצליחה לנצח רק בשער שנוי במחלוקת, בדקה ה-90, בתוצאה 2–3. בדרכם חזרה לירושלים, נעצרו שחקני בית"ר ובילו לילה במחנה המעצר בלטרון. המשחק השני בימק"א כמעט ונגמר ב־2–3 לבית"ר, אך לבסוף שער שוויון דרמטי שקבע 3–3, מנע סנסציה היסטורית מבחינת בית"ר, לאחר פציעתו של הכוכב סימון אלפסי, ומכבי תל אביב העפילה לסיבוב הבא בדרך לזכייה בגביע בשנה זו.
עונת 1947/1948 הייתה עונתה הראשונה של בית"ר בליגה בארץ ישראל כשנרשמה לראשונה בהתאחדות המקומית ושיחקה בליגה ב' בשם "נורדיה ירושלים". במהלך שנת 1947, הוגדרה אגודת בית"ר בלתי חוקית, אך הקבוצה המשיכה להתקיים בארץ ישראל בשם אחר: "נורדיה ירושלים" (על שם מקס נורדאו, ממייסדי התנועה הציונית).
ב-15 בנובמבר 1947 התקיים הדרבי הירושלמי הראשון בין בית"ר להפועל ירושלים במסגרת המחזור הראשון בליגה (כאשר בית"ר משחקת בשם החליפי "נורדיה ירושלים"), בו ניצחה בית"ר 1–3. היה זה גם המשחק הרשמי הראשון למועדון במסגרת ליגה מאורגנת, כמו גם הדרבי הירושלמי הראשון אי פעם. בשנה זו גם נרשם הניצחון הגדול, כשבית"ר הביסה בתוצאה 1–8 את קבוצת דגל ציון תל אביב. במשחק זה כבש סימון אלפסי שישייה מרשימה ומחזיק מאז בשיא כיבושים של שחקן למשחק אחד. עם הכרזת העצמאות בתחילת 1948, הליגה והקבוצה השעו את פעילותם ולא התקיימו זמנית - בשל גיוסם של רוב השחקנים למלחמה במסגרת צה"ל.
לאחר קום המדינה.
כחצי שנה לאחר סיום קרבות מלחמת העצמאות, בדצמבר 1949, חזרה הליגה המקומית לסדרה ובית"ר חזרה לשחק בליגה במחוז ירושלים. עונה לאחר מכן חזרה לליגה ב' (אז ליגת המשנה בישראל).
לאחר 2 עונות בינוניות במרכז הטבלה, ב הקבוצה העפילה לראשונה בתולדותיה לליגה הבכירה, לאחר שניצחה בימק"א את הפועל רחובות 1-2 (עם סימון אלפסי כשחקן-מאמן על הקווים, ותמיכה בארבעת המחזורים האחרונים של עונה זו מלוניה דבורין), וכן ניצחון טכני על הפועל רעננה, לאחר ששחקן רעננה נשא שלא כחוק כרטיס שחקן של שחקן אחר. לאחר עונה אחת בלבד, ירדה בית"ר ליגה ושבה לליגת המשנה, בה שהתה 13 עונות רצופות, מתוכן הצליחה הקבוצה פעם אחת, ב-, לסיים במקום הראשון בליגה א' (אז ליגת המשנה), אך ההתאחדות לכדורגל החליטה להפסיק את המשחקים בליגה במחזור ה-20, ולהקפיא את הקבוצות היורדות לליגה ב' והקבוצות העולות לליגה הבכירה באותה עונה - בעקבות אי-סדרים שנחשפו, ובכך נמנע מהקבוצה להעפיל לליגה הבכירה.
עד אמצע שנות ה-60 נחשבה בית"ר קבוצה בינונית בליגת השנייה המנסה ללא הצלחה להעפיל לליגה הראשונה, כשהיא מסיימת בעונות אלו במקומות במרכז טבלת ליגת המשנה (ליגה א') ומעלה, אך נכשלת במשימה לעלות ליגה, בעיקר בעונות 1963–1966, בהן סיימה הקבוצה במקומות השלישי והשני בליגת המשנה האזורית (ליגה א' דרום). בעשור ביניים זה השחקנים הבולטים היו: חי מזרחי, דוד דוידוף, אהוד פדרמן, האחים אהרן ויוסי אמינוף, יוסף סיאני, יששכר בן אליהו והאחים משה ורפאל בביוף.
בעונה הכפולה של הצליחה הקבוצה להעפיל לליגה הראשונה, לאחר 13 עונות בליגה השנייה, ולהישאר בה למעט עונות בודדות - עד היום. בקבוצה שיחקו: ד"ר ראול גלר, שאול מזרחי, אודי רובוביץ', בצלאל אביטון, שמעון צ'רנוחה, חיים אזולאי, יצחק מונסה, ששון זמיר ורחמים עג'מי. מאמנהּ היהודי-ארגנטינאי של הקבוצה היה סמואל רזניק, משחקניה הגדולים של הקבוצה בעבר. משחק העלייה לליגה הבכירה התקיים נגד מכבי רמת עמידר ואודי רובוביץ' כבש את שער הניצחון לזכות בית"ר בדקות הסיום.
בעונה לאחר העלייה, , נלחמה הקבוצה על חייה בליגה והצליחה לשרוד לבסוף כשהקדימה את הקו האדום ואת היורדת מכבי שעריים ב-3 נקודות בלבד. בעונה שלאחר מכן סיימה במקום החמישי והחלה לבסס את עצמה בתור קבוצה לגיטימית בליגה הבכירה.
שנות ה-70.
בשנות ה-70, עם עלייתו לקבוצה הבוגרת של אורי מלמיליאן, החלה הקבוצה לבסס את מעמדה כקבוצת צמרת בכדורגל הישראלי. לכך תרמו שחקני הבית של הקבוצה, דוגמת השוער יוסי מזרחי, המגנים יוסי חכם ויצחק ג'אנו ושלישיית הקישור ויקטור לוי, דני נוימן ומלמיליאן, שכונתה "שוקולד-מנטה-מסטיק" (כשם ההרכב המוזיקלי הישראלי שוקולד מנטה מסטיק שהיה פופולרי באותן השנים). בעונת , סיימה בית"ר כסגנית אלופת המדינה, לראשונה בתולדותיה, כשרק מכבי תל אביב מקדימה אותה - בארבע נקודות. באותה העת נוהלה הקבוצה על ידי חיים קורפו.
במסגרת ליגת סיימה הקבוצה במקום השלישי בליגה ומרוחקת 3 נקודות בלבד מהאלופה מכבי נתניה.