בשנת 1920 התאגדו מייסדי השכונה, אנשי העלייה השנייה שעלו ממזרח אירופה וממרכזה וילידי הארץ, ב"אגודת בוני בית". את שם השכונה הציע קדיש סילמן. כעבור שנה רכשו המייסדים, בסיוע הכשרת הישוב, 280 דונם ממערב לירושלים מידי הכנסייה היוונית האורתודוקסית. 148 חברי העמותה ביקשו להקים במקום שכונת גנים. השכונה, בתכנונו של האדריכל ריכרד קאופמן, הותאמה לכיפה שעליה הוקמה. התוכנית כללה שדרת גנים ראשית שחצתה את השכונה מצפון לדרום, ורחובות השכונה הסתעפו ממנה. אבן פינה לשכונה הונחה ביולי 1922 משפחת שליים היו החלוצים הראשונים להתיישב בשכונה.
עקרונות "אגודת בוני בית" דגלו בקניית האדמות מכספם הפרטי של חברי העמותה ולא בסיוע מימון ציבורי, בעבודה עברית וברכישת מגרשים גדולים (בין דונם וחצי לשני דונם), מה שהיה לא מקובל בירושלים של אותם ימים. חלק מהמשפחות הקימו משקי עזר בחצרותיהן הגדולות. קיימת טענה כאילו בשל אופייה החילוני של השכונה, נקבע בתקנון הראשוני שלה כי לא יוקם בה בית כנסת. לטענה זו מעולם לא נמצאו סימוכין בכתובים. בתקנות השכונה כתוב: "הוועד, שעליו להשתדל בתחלת יסוד השכונה בדבר הקמת הבינינים הציבוריים הדרושים לכל שכונה עברית, מחויב לסמן את המגרשים הדרושים בשביל הבנינים הצבוריים לפני חלוקת המגרשים בין החברים". אין התייחסות מפורשת לבית כנסת אך גם אין התנגדות ואולי במילים: הדרושים לכל שכונה עברית יש רמז לבית כנסת. אחד היוזמים להקמת בית הכנסת, חנינא מזרחי, "עם הקמת הבתים הראשונים במקום רחפה השאלה הראשונה באווירה של בית הכרם: 'היכן נערוך את תפילותינו בשבתות, בחגים ובימים הנוראים המממשים ובאים'? ... עוד באותו שבוע שכרו חדר באחד הבתים שבמרכז רחוב החלוץ, השיגו ספר תורה בהשאלה וארון קטן ומשומש ששמש רבות לארון הקדש ובית הכנסת הראשון הוקם באמצעים דלים בשכונתנו החדשה'. כעבור מספר שנים בהן נדד בית הכנסת מבית לבית ולצריף בשכונה, נקבע מקומו הקבוע בבנין בית המדרש למורים העברי. בשנת תרפ"ט בימי המאורעות, התבצרו תושבי השכונה בבנין בית המדרש והחלו להתפלל באולם שנבנה לשם בית כנסת עוד לפני שנשלמה בניתו מבפנים, ללא טיח ורצפה. כיום קיימים בשכונה מספר בתי כנסת, כאשר בית הכנסת המרכזי של השכונה נמצא במרכזה, ברחוב בית הכרם.
מבין 148 חברי האגודה, רק 105 בנו בשכונה את בתיהם בתקופת המנדט הבריטי. עד שנת 1924 כבר הוקמו 29 בתים בשכונה, ובשנת 1927 כבר קפץ המספר ל-67 בתים. חלק מהבתים נבנו על ידי "המשרד לעבודות ציבוריות", שברבות הימים הפך לחברת סולל בונה. כך הייתה שכונת בית הכרם לפרויקט הראשון של החברה.
אף ביאליק התעתד לבנות בשכונה בית אך הסתפק בנטיעת חורשה על מגרשו. מקצת עצי "חורשת ביאליק" עודם נמצאים בפינת הרחובות ביאליק והמייסדים. ליד חורשת ביאליק שכנו בתיהם של המורים המייסדים חיים שלי ויהודה דביר (דבוסיס). במרכז השכונה נבנה "בית המדרש למורים העברי", הוא הסמינר למורים מייסודו של דוד ילין, שמשמש עד היום כמכללה לחינוך ע"ש דוד ילין.
עם הקמתה נקראה בית הכרם "שכונת המופ"סים", כיוון שמייסדיה ותושביה הראשונים היו ברובם מורים, פקידים וסופרים בני המעמד הבינוני.
בתקופת המנדט הבריטי.
בשעה שנבנתה הייתה בית הכרם מבודדת מלב העיר (בדומה לתלפיות ומקור חיים), ובקרבתה שכנו כפרים ערביים כדוגמת דיר יאסין ועין כרם. הצורך לקישור השכונה לירושלים היווה את תחילתה של התחבורה הציבורית באזור, ואת תחילתו של קואופרטיב "המקשר", שפעל בירושלים עד 1967.
בשל מיקומה בקרבת כפרים ערביים ובידודה מירושלים, סבלה השכונה בשנותיה הראשונות מבעיות ביטחוניות. ראשיתן עוד בתביעתו של הוואקף המוסלמי לבעלות על אדמות השכונה עם רכישתן על ידי "אגודת בוני בית", מה שהתבטא בהפגנות שהפריעו להקמת השכונה. בנוסף, היו גנבות בשכונה והתנפלויות מזדמנות על אנשים בודדים. בתקופת המאורעות הותקפה השכונה בידי הכפרים השכנים. בשל כך הוקמה על גג הסמינר למורים עמדת שמירה, ממנה הבריחו ביריות את הערבים שהגיעו מכיוון דיר יאסין. במאורעות תרצ"ו-תרצ"ט הוקמו עמדות הגנה בכמה מבתיה הקיצונים של השכונה. למרות זאת, היו דמי השכירות בשכונה גבוהים יחסית לשכונות אחרות בפריפריה של ירושלים.
עם קום המדינה, ביקשו תושבי השכונה להשאירה כשכונה עצמאית וכחלק ממועצה אזורית שתכלול את כל השכונות העצמאיות במערב ירושלים. אולם שר הפנים משה חיים שפירא מינה, בעקבות דרישת ראש עיריית ירושלים דניאל אוסטר לספח את בית הכרם ושכנותיה לירושלים, ועדת חקירה של משרד הפנים. בעקבות המלצות הוועדה סיפח השר שפירא ב-21 בספטמבר 1949 את בית הכרם לירושלים בצו הרחבת הגבולות המוניציפליים של ירושלים, ובית הכרם הפכה להיות שכונה במבואותיה המערביים של העיר. ברבות השנים השתנו פני אזורים אחדים של השכונה, היא התרחבה ונבנו בה גם בתי קומות רבים.
בשנות ה-2000.
בסוף העשור השני של המאה ה-21, שומרת בית הכרם על מעמדה כאחת השכונות המבוקשות והיוקרתיות ביותר בירושלים. על אף ההתפתחות האורבנית של ירושלים ומיקומה המרכזי, היא נותרה שכונה שקטה, בעלת בניינים נמוכים. בשל הביקוש הרב למגורים בשכונה, הוקמו סביבה שכונות לוויין יוקרתיות כיפה נוף ורמת בית הכרם, המהוות יחדיו את שכונת בית הכרם רבתי. בשכונות אלה מתגוררים כ-20,000 איש, רובם חילונים. אוכלוסיית השכונה ברמה סוציו-כלכלית גבוהה. בין תושביה נמנו ראשי הממשלה מנחם בגין, בנימין נתניהו ואהוד אולמרט. נשיא המדינה רובי ריבלין, השר וחבר הכנסת לשעבר בני בגין וראש עיריית ירושלים לשעבר ניר ברקת הם תושבי השכונה.
החינוך בשכונה נחשב לאיכותי והיוקרתי ביותר בעיר. בשכונה 25 גני ילדים ופעוטונים, ארבעה בתי ספר יסודיים ושלושה בתי ספר תיכוניים וחטיבות ביניים (ביניהם התיכון ליד האוניברסיטה ותיכון זיו). למרות אופייה החילוני של השכונה נמצאים בה גם בתי כנסת רבים. בשכונה נמצאת המכללה לחינוך ע"ש דוד ילין. בשכנות לה נמצאים מכללת עזריאלי להנדסה וקמפוס האוניברסיטה העברית בגבעת רם. בבית הכרם פועל גם שבט בית הכרם של תנועת הצופים מאז 1957. הוא השבט הגדול ביותר בהנהגת ציון.
הקו האדום של הרכבת הקלה בירושלים, שנחנך ב-2011, עובר בבית הכרם בין הר הרצל ובין קריית משה, דרך מספר תחנות לאורך שדרות הרצל.
בספטמבר 2014, הוועדה המחוזית לתכנון ולבנייה במחוז ירושלים החליטה להפקיד להתנגדויות הציבור את תוכנית המתאר החדשה לשכונה. תוכנית זו מאפשרת תוספת יחידות דיור לשכונה בהיקף של 1,400 יחידות דיור באמצעות פינוי בינוי, תמ"א 38 ובינוי של מבנים חדשים בגובה של עד 20 קומות. תושבי בית הכרם, החוששים מעומסים על תשתיות התחבורה ומפגיעה באופי הירוק של השכונה, פותחו במאבק נגד תוכנית המתאר.
ביולי 2017 אישרה, הוועדה המחוזית לתכנון ולבנייה הריסה של ארבעה בנייני מגורים שבהם 154 יחידות דיור ברחוב הארזים, במקומם ייבנו 401 יחידות דיור בשישה בניינים בני חמש קומות ושבעה מגדלים בני 10–19 קומות. באוקטובר 2019, החליטה הוועדה המחוזית ירושלים לקדם תוכנית להקמת מתחם מגורים על עתודת הבנייה האחרונה בשכונה, במסגרת התוכנית יוקמו שני מבני מגורים בגובה 14 קומות, בהם 100 יחידות דיור, שטח ציבורי וחניון ציבורי.
בית הוועד הישן.
שלוש שנים לאחר תחילת הקמתה של השכונה, בשנת 1925, הונחה אבן הפינה למבנה ציבורי ברחוב החלוץ, שהיה אמור לשמש כגן-ילדים ובית-ספר. עד מהרה הפך הבניין למרכז חיי החברה בשכונה, ובו שכנו משרדי ועד השכונה והתקיימו בו חוגים, הרצאות, טקסים, ועוד. בנוסף, שימש המבנה לחלוקת דואר, אירוח מבקרים בשכונה, ואף לחלוקת מזון ודלק בזמן המצור על ירושלים במלחמת העצמאות.
עם קום המדינה, כאשר סופחה בית הכרם לירושלים, הפסיק ועד השכונה את פעולתו. בתחילת שנות ה-50 נמסר הטיפול במבנה לעירייה, שהפעילה בו גן ילדים וצרכניה.
בשנת 1988 החליטה העירייה להרוס את המבנה הישן. תושבי השכונה, שהתנגדו להרס מבנה היסטורי זה, שהיה גאוות השכונה, הקימו את "עמותת בית הוועד הישן", שקראה להקים במבנה מוזיאון לתולדות השכונה במקום להורסו. מאבקם של התושבים הצליח, והמבנה שופץ ונחנך ב-1990. כיום מפעיל המתנ"ס השכונתי את בית הוועד והוא משמש כמרכז תרבות, מועדון לוותיקי השכונה, מוזיאון לתולדות שכונת בית הכרם ומרכז לאירועים של התושבים. כמו כן במקום פועלת קהילת "אחווה בכרם", המקיימת פעילויות תרבות ואירועים חברתיים.
בקרבת בית הוועד ניצבת אנדרטה לבני השכונה שנפלו במלחמת העצמאות.
כיום לאחר סגירת גן הילדים, פועל במקום בית קפה ובר קואופרטיבי בשם "בית הוועד".
בית הכרם בספרות.
דוד גרוסמן בספרו "ספר הדקדוק הפנימי" (1991) מתאר את ילדותו של גיבור הספר, אהרון קליינפלד, בשכונת בית הכרם. בשנת 2006 יצא לאור ספרו של ניר ברעם "מחזיר החלומות" הכולל את הסיפור 'בית הכרם. ירושלים, 1985'. בשנת 2018 יצא לאור ספרו של ניר ברעם "" המתאר את זיכרונותיו של סופר מימי ילדותו בבית הכרם בשנות השמונים.
ז'ילבה
ז'ילָבָה (ברומנית: Jilava) הוא כפר במחוז אילפוב ברומניה סמוך לבירת המדינה, בוקרשט.
הכפר התפרסם בזכות בית הכלא הנמצא בו, אשר הוסב לכך ממבצר שנבנה במקום זה על ידי מלך רומניה קרול הראשון, וייעודו הגנה על בוקרשט.
ב-25 בנובמבר 1940 נערך בבית הכלא בימי המשטר אנטונסקו-סימה "טבח ז'ילבה" שבו נרצחו על ידי הלגיונרים 64 אסירים פוליטיים, פוליטיקאים בכירים ואנשי ז'נדרמריה, כתגמול על רציחתם של מנהיגי לגיונרים בימי שלטונו של המלך קרול השני.