חלקת הקרקע עליה שוכנת היום שכונת רוממה הייתה בראשית המאה ה-20 גבעה חשופה בין שני כפרים ערביים: ליפתא מצפון ושייח' באדר מדרום. גבעה זו עשתה היסטוריה במהלך מלחמת העולם הראשונה, כאשר בבוקר ה-9 בדצמבר 1917 טפסו עליה זוג סמלי מטבח מחיל החלוץ הבריטי ונתקלו בראש העיר המוסלמי של ירושלים. הלה מסר להם את כתב הכניעה ואת מפתחות העיר, והסביר שבלילה הקודם ברחו הטורקים מירושלים. טקס הכניעה החפוז גוּבָּה בכמה טקסים נוספים, כשהחשוב מכולם התקיים יומיים לאחר מכן בנוכחות הפילדמרשל אדמונד אלנבי.
לזכר האירוע הוקמה במקום לימים אנדרטת אבן צנועה המנציחה את הלוחמים הבריטים שנפלו על כיבוש הארץ. האנדרטה ניצבת עד היום בשכונת רוממה, בלב כיכר אלנבי.
הבנייה.
בשנת 1921, ארבע שנים בלבד לאחר אותו אירוע, הונחה אבן הפינה להקמת שכונת רוממה סביב כיכר אלנבי. יוזם השכונה היה עורך הדין היהודי יום טוב המון, בן למשפחה ספרדית מכובדת מטורקיה, שהתמחה במשפטים באיסטנבול עוד לפני מלחמת העולם הראשונה. הוא עלה ארצה בשנת 1909, ושנה לאחר מכן מוּנָה על ידי הטורקים לשופט בבית המשפט בירושלים, משרה שבה החזיק עד פרוץ מלחמת העולם הראשונה. במהלך המלחמה הוגלה לטורקיה, ובשובו שימש כעורך דין בירושלים. מומחיותו של המון בחוק העות'מאני ובנושאי קרקעות אפשרה לו לשמש כבורר בסכסוך בין בעלי קרקעות ערביים מליפתא ושייח' באדר. הוא פסק כי עליהם למכור את שטח המריבה, וכך הצליח לרכוש את המקום במטרה להקים בה שכונה יהודית.
לתכנון שכונת רוממה חברו אליו יהודים אמידים מוותיקי ירושלים, שביקשו להקים שכונת פאר קטנה הרחק משאון העיר. ביניהם ניתן למנות את עורך הדין אהרון מני, נצר ל הידועה מחברון, שהתגורר ברחוב הצבי מספר 2; ירחמיאל אמדורסקי, שהתגורר ברחוב הצבי 4; הרב פישמן מימון שהיה חבר כנסת ומחותמי מגילת העצמאות ועוד. מקימי השכונה לא נמנו על עדה אחת, אלא רוממה זכתה "לנציגות" של בני עדות רבות: בוכרים, גאורגים, אשכנזים, ס"טים ועוד.
יוזמת הבנייה ברוממה הייתה פרטית, וכל אחד מהבתים תוכנן ונבנה באופן עצמאי על ידי בעליו. הייתה זו התארגנות יוצאת דופן, שכן שכונות רבות אחרות שנוסדו זמן קצר לאחר מכן (כמו רחביה, תלפיות או בית הכרם) תוכננו ונבנו על ידי אגודה. בשל כך השטח ברוממה חולק למגרשים פרטיים ולרחובות מצטלבים, ללא הקצאת שטחים למבני ציבור, שדרות או גינות ציבורית.
בניגוד לתכנון השכונתי הפשוט, הבתים הפרטיים ברוממה מרשימים מאוד בארכיטקטורה שלהם: כולם בנויים באבן בסגנון אוריינטלי עם תקרות גבוהות, עמודים מעוטרים וחצרות גדולות. כמו כן רובם נבנו בתחילה כמבנים חד-קומתיים, אך במשך השנים נוספו להם קומות נוספות.
כוונת המתכננים הייתה לבנות ברוממה 24 בתים, אך עיכובים בבנייה (כנראה בשל קשיים כספיים) הביאו לכך שעד יוני 1923 נבנו תשעה בתים בלבד. במפה בריטית משנת 1924 בקנה מידה של 1:2,000 מסומנים בשכונה רק 11 בתים, ועד יולי 1924 נבנו רק שניים נוספים. בנייתם של האחרים לא הושלמה מעולם. כך או כך, הייתה זו, למעשה, הפעם הראשונה בתקופת המנדט שנתאפשרה פעילות בנייה שכזאת, שכן בזמן השלטון הצבאי שהחילו הבריטים על ירושלים לאחר המלחמה לא הותר לאיש לבנות. עם החלת השלטון האזרחי ב-1920 הוסר העיכוב ברישום הקרקעות, ואז גם ניתן היה לרכוש חלקות ולהתחיל בבנייה מסודרת, כולל על קרקעות שנרכשו בתקופה העות'מאנית.
שם השכונה ורחובותיה.
גובהה הרם של הגבעה (829 מטרים מעל פני הים) הקנה לשכונה את שמה, הלקוח מן הפסוק בתהילים (פרק ): "יְמִין ה' רוֹמֵמָה, יְמִין ה' עֹשָׂה חָיִל". גובה זה שיחק לטובתה של השכונה כאשר החליטו הבריטים להקים בצמוד לה מגדל מים ובריכת אגירה גדולה (להלן).
לשמות הרחובות בשכונה מכנה משותף בולט, והוא היותם שמות עיתונים עבריים: הצבי והאור של אליעזר בן-יהודה, האריאל (רח' אריאל), תורה מציון, מוריה וכדומה. הרחוב המוביל לפסגה נקרא 'המון' על שם יום טוב המון, יוזם ומקים השכונה, וישנו רחוב בעל שם יוצא דופן - "האדריכל", על שם ריכרד קאופמן. קאופמן, מתכנן שכונות הגנים המנדטוריות של ירושלים (כמו רחביה, תלפיות, ואחרות), לא בנה ולו בית אחד ברוממה. ההנחה היא שתושבי השכונה ביקשו "לפתות" את קאופמן לתכנן ולפתח את השכונה על ידי קריאת הרחוב על שמו. מאידך הם שמרו לעצמם "פתח מילוט" בכך שבחרו בשם הסתמי משהו, "האדריכל", למקרה שקאופמן לא ישתף פעולה.
השכונה לאורך התקופות.
תקופת המנדט.
לשכונת רוממה היה יתרון גדול עקב קרבתה לדרך יפו, ששימשה ציר תנועה מרכזי בירושלים. יתרון נוסף היה לה בשל קרבתה למגדל המים ולברכת האגירה שנבנו בפסגתה. אלה קיבלו את מימיהם מבריכות שלמה שליד בית לחם, ומהם הוזרמו המים בצינורות לכל רחבי העיר. דבר זה הביא לתנופת בנייה באזור ותרם לכך שלשכונת רוממה לא היו בעיות באספקת מים כל ימיה. באמצע שנות ה-30 הורחב מאגר המים ושופץ, ועד היום הוא משמש מרכיב חשוב באספקת המים לירושלים.
אף על פי שני היתרונות הבולטים, רוממה לא התפתחה כשכונות יהודיות אחרות בירושלים בתקופת המנדט, וזאת משלוש סיבות: ראשית, ריחוקה מריכוזי האוכלוסייה היהודיים האחרים בעיר; שנית, עקב קרבתה לכפרים הערביים, ולהתנכלויות החוזרות ונשנות מצדם, שהיוו סכנת חיים של ממש. ושלישית, מכיוון שהקמת השכונה לא נתמכה על ידי גוף ציבורי כלשהו. נראה כי יוזמת הבנייה וההתיישבות הפרטית ברוממה עמדה בעוכריה של השכונה, ובעיות תקציב הביאו לקפיאתה. יוצאת דופן היא רכישת מגרש גדול על ידי "ועד העזרה - התאחדות הרבנים פליטי רוסיא ושאר ארצות", שנעשתה לאחר מלחמת העולם השנייה בתחומי השכונה. אלה הקימו שיכון גדול עבור רבנים פליטי הגולה בשנת 1945, הקיים עד היום ברחוב תורה מציון, ונקרא "שיכון הרבנים".
העיכוב בהתפתחות ובגידול של שכונת רוממה המקורית עמד בניגוד גמור להתפתחות המרשימה שחלה בבניה הערבית באזור כולו; הכפר ליפתא הלך והתפשט במעלה ההר, ותושביו הקימו את "ליפתא עילית" בצמוד לרוממה. מדרום הלך וגדל הכפר שייח' באדר, ותושבים אמידים יוצאי הכפר החלו בונים בתים פרטיים לאורך רחוב יפו. כמה מבתי הכפר ניצבים עד היום ברחוב יפו, בצמוד לרוממה. כמו שני בתיו של חאג' מחמוד, האחד צמוד לתחנה המרכזית ובולט באריחי הקרמיקה הארמנית המעטרים אותו והשני פנימי, היום ברחוב מוריה 5. מולם, ברחוב מוריה, נמצא בית המידות של עיסא מוסא. בעבר היו חדרי המדרגות שלו מעוטרים בפרסקאות על קירותיהם ובעיקר על התקרה. מזרחה, ברחוב יפו, שכנו בית דסימיני המפואר, היום בנין "ערים" ולצידו בית קאטאן הצנוע יותר. הבנייה הערבית הגדולה הביאה לכך שבאזור התגוררו זה בצד זה יהודים וערבים במשך כל תקופת המנדט.
מלחמת העצמאות.
המהפך המשמעותי באזור מבחינה פוליטית התחולל עם פרוץ מלחמת העצמאות: עד המלחמה סבלו יושבי רוממה מהתקפות חוזרות ונשנות מידי יושבי הכפרים הערביים שסביבם (שייח' באדר וליפתא) עד כי במאורעות תרפ"ט ברחו רוב תושבי השכונה, ושלוש משפחות בלבד נותר על המשמר, עד שוב הבורחים. עם פרוץ המלחמה היו הכפרים הערביים שבקרבת רוממה מנותקים מגוש היישוב הערבי שבמזרח העיר, והם נותרו מבודדים ומוקפים מכל עבר בשכונות יהודיות כמו קריית משה, גבעת שאול, מקור ברוך ואחרות, הרחק מקו החזית הירדני או המצרי. תקיפות הגדנ"ע על שייח' באדר הביאו לנטישה המונית של הכפרים, עד כי האזור הפך ליהודי בלבד, וזאת כחלק מתהליך ההפרדה הכללי שהתחולל בעיר כולה.
השכונה הייתה ערבית בחלקה הגדול. בספר "ירושלים, ירושלים" מתוארת יציאת התושבים הערבים בחסות ה"הגנה": "משך ארבעים ושמונה שעות לפני יציאתם עמדו קבוצות קטנות של יהודים וערבים והתמקחו על המדרכות, נושאים ונותנים על מכירת המיטלטלים בחנויות המוגפות מאחריהם, מסיימים חוזי שכירות, מתדיינים על מחיר הרהיטים שלא יכלו הערבים לקחת עמהם. ואחר, בוקר אחד, יצאו הערבים בהמונם, ואת מקומם תפסו תושביה היהודיים החדשים של השכונה שבאו להשתכן בה. השלטים הערביים הורדו. על מקומם נתלו שלטים חדשים, זאת הפעם בעברית... בתוך שלושה שבועות נעלמו מהשכונה השרידים האחרונים של דורות של תושבים ערביים. רוממה כמו נעלמה כליל. רוממה נראתה כאילו עברית הייתה מיום שנבנתה".
לאחר קום המדינה.
לאחר מלחמת העצמאות הייתה עדנה לרוממה, בעיקר בזכות ריחוקה מהגבול הירדני, שהקיף את ירושלים מצפון, ממזרח ומדרום. עם זאת, באוקטובר 1966 הניחו מחבלים שחדרו מירדן מטעני חומר נפץ ליד עמודי בתים ברחוב גדרה שבשכונה. לבתים נגרם נזק כבד, וחמישה תושבים נפצעו קל. בעקבות הפיגוע אמר ראש הממשלה לוי אשכול את המשפט המפורסם: "הפנקס פתוח והיד רושמת".
הקמת מוסדות הממשלה והכנסת בגבעת רם העלו אף הם את קרנה של השכונה, והיא התפשטה מערבה על ידי בניית שיכונים ומוסדות. בצפון השכונה הוקם אזור תעשייה נרחב, ובו רשות השידור לטלוויזיה ולרדיו (קול ישראל). בעקבות כך נבלעה השכונה המקורית בתוך "רוממה המורחבת", עד כי היום קשה לזהות את בתיה המקוריים בין הבתים שנבנו במגרשים הריקים. רוב הבתים החדשים ברוממה הם שיכונים, שאין בינם ובין האופי המפואר והאסתטי של רוממה הוותיקה ולא כלום.
בשנות החמישים של המאה ה-20 התחילו להרחיבה, בין היתר על מנת לבנות אזור תעשייה בפרויקט תחת השם "רוממה המורחבת" (שכונת תל ארזה).
בהמשך נבנתה גם רוממה עילית הנמצאת מאחורי א.ת רוממה. רוממה עילית היא שכונת אב של כמה שכונות המקיפות ב-180 מעלות את רחוב ירמיהו. תחילתה ברחוב המ"ג וסופה ברחוב חנה בשיכון חב"ד. בשכונה זו נמצאים ישיבת אור אלחנן ובית הכנסת "חניכי הישיבות".