במהלך דיכוי המרד הגדול נהרגו וגורשו יהודים רבים. העיר עברה טלטלה דמוגרפית והפכה למרכז שלטון רומי. היא אוכלסה בעיקר בחיילי לגיונות הצבא הרומי ובבני לאומים אחרים. מעט היהודים שנותרו בה התגוררו בהר ציון. באותה העת החלה הנצרות להתפשט ברחבי ארץ ישראל ובירושלים בפרט. לאחר מרד בר כוכבא, אשר התרחש בין השנים 132–135, התרוקנה ירושלים באופן כמעט מוחלט מתושביה היהודים, ולמשך פרק זמן של כ-500 שנים לא נותרו בידי החוקרים עדויות על קיום קהילה יהודית בה.
ירושלים עמדה בחורבנהּ עד תקופתו של הקיסר אדריאנוס, שבנה אותה מחדש בשנת 130. העיר נשאה צביון רומי, וכונתה אַיְלִיָה קַפִּיטוֹלִינָה. במסגרת שלטונו בעיר אסר אדריאנוס על כניסת יהודים לתחומהּ. בשנת 133 השתלטו מורדים יהודים בראשותו של בר כוכבא על ירושלים, בניסיון להפיל את השלטון הרומי. המרד דוכא באכזריות בידי חיילי הצבא הרומי והעיר שבה לשליטה רומית בשנת 136.
מעמדהּ הרם של העיר החל לדעוך החל מאמצע המאה השלישית לספירה, עם פינויו ההדרגתי של הלגיון העשירי פרטנסיס, שהיה מוצב בעיר. החל משנת 324, עם הפיכת האימפריה הרומית לנוצרית (תחילת התקופה הביזנטית), מלאה ירושלים אנשי דת ונזירים נוצְרים, למשך כ-300 שנה לפחות.
מימי הקיסר קונסטנטינוס, בראשית התקופה הביזנטית, עלתה קרנה של העיר כקדושה לנצרות, והפכה מרכז דתי חשוב במהלך המאה הרביעית לספירה. זאת, בזכות הקמת כנסיית הקבר וכנסיות נוספות במקום. כיבוש ירושלים בידי הפרסים, בשנת 614, הביא להפוגה קצרה בשלטון הנוצרי-ביזנטי אשר שרר בה. בשנת 628, שבו הביזנטים לשלוט בירושלים למשך עשר שנים בלבד, עד כיבושהּ בידי הערבים.
ימי הביניים.
בשנת 636, לאחר המפלה הביזנטית שנחלו בקרב הירמוך, הגיעו הערביים-מוסלמיים אל שערי ירושלים, שנפלה לידם לאחר מצור של שישה חודשים. במסגרת הסכם תנאי הכניעה שנערך בין הכובשים ובין אזרחי העיר באותה העת, הובטחו שלומם של הנוצרים ושלמות כנסיותיהם. הח'ליף עבד אל-מלכ בנה בשנת 691 את כיפת הסלע על הר הבית. ירושלים עברה לשלטון בית אומיה עד שנת 750, ולאחריו – לח'ליפות בית עבאס, עד שנת 969. בשנה זו, עברה ירושלים לידי הפאטמים.
המזרח התיכון וארץ ישראל נכנסו לתקופה של אי יציבות, שאותה ניצלו בשנת 1071 הסלג'וקים, שכבשו את ירושלים והחזיקו בה לתקופה קצרה. הכיבוש הערבי-מוסלמי חולל בירושלים מהפך דמוגרפי. היישוב הנוצרי בה הצטמצם מאוד, והתרבו בה הן מוסלמים, אשר היגרו אליה מחצי האי ערב, והן יהודים, אשר הורשו לשוב אליה לאחר שנים ארוכות.
בשנת 1033 החריבה רעידת אדמה את חומות ירושלים הדרומיות. בעטייה, צומצם קו החומה, דרום העיר ננטש ותושביו היהודים נאלצו להעתיק את מגוריהם לחלקהּ הצפוני של העיר.
עד שנת 1099 הייתה רוב אוכלוסייתה של העיר ערבית, ובמקביל פעלו בה קהילות יהודיות ונוצריות גדולות. היישוב היהודי בירושלים התרכז בעיקר בהר ציון.
עם נפילת העיר בידי הצלבנים ב-1099, שבה ירושלים לשליטת הנוצרים למשך כמאה שנים, בשני פרקי זמן נפרדים: בין השנים 1099–1187, ושוב בשנים: 1229–1244.
במהלך הכיבוש הצלבני של העיר נטבחו רוב יושביה היהודים והמוסלמים, והיא הפכה למשך זמן מה עיר רפאים. הצלבנים התקשו למלאהּ בנוצרים, ועל כן עודדו נוצרים מארמניה וממזרח אירופה להגר אל העיר הנטושה. הצלבנים פיתחו את מערך השווקים בעיר.
בתקופת השלטון הצלבני בירושלים חל גידול בתושביה הנוצריים. מוסלמים ויהודים לא הורשו לגור בה, וביקרו בה לעיתים נדירות בלבד.
בשנת 1187 כבש צלאח א-דין את ירושלים, ורוב האוכלוסייה הנוצרית סולקה ממנה. נותרה בה קהילה נוצרית מזרחית בעיקר. העיר קיבלה צביון מוסלמי למשך כ-700 שנים. חלק ממשפחות האצולה המוסלמיות בירושלים, אשר התיישבו בה באותה התקופה, שרדו עד ימינו אלה: חוסייני, נשאשיבי, ח'אלידי, דג'אני, נוסייבה ואחרות.
באביב 1219 חרבו חומות ירושלים, והעיר נותרה ב-316 השנים הבאות ללא חומות.
לאחר מסע הצלב השישי שבה העיר לשליטת הצלבנים, והם החזיקו בה עד שחרבה פעם נוספת, בשנת 1244, הפעם בידי הח'וואריזמים.
בשנת 1260, לאחר תום שלטון הח'וואריזמים, נפלה העיר בידי הממלוכים, שהשתלטו על ארץ ישראל. הם החזיקו בה עד שנת 1516. בתקופת האימפריה הממלוכית הייתה ירושלים עיר חסרת חשיבות אסטרטגית ומרוחקת מדרך הדואר. הממלוכים בנו בה מבני שלטון ודת רבים, כמו גם ארמונות ומבנים מפוארים, אשר שימשו מרכזי לימוד לכתבי הקוראן.
אוכלוסייתהּ של ירושלים בעת ההיא הייתה ברובה ענייה. אף לאוכלוסייה היהודית, אשר הורשתה לשוב לירושלים עם ראשית הכיבוש הממלוכי, לקח זמן רב להתבסס בה. תיאורו של הרמב"ן, אשר ביקר בירושלים בשנת 1267, מלמד כי בעיר היו אז כ-2,000 תושבים, מתוכם כ-300 נוצרים, ואילו היהודים היו מתי מעט: . בהמשך גדלה האוכלוסייה היהודית בעיר, ובהשפעת הספרות הערבית של התקופה החלה העיר להיקרא על שם בית מקדש: "בית אלמקדס".
בתקופה זו נתקבע מעמדהּ של ירושלים בתודעה האסלאמית כעיר קודש, השלישית ברמת קדושתהּ, אחרי מכה ואל-מדינה.
העת החדשה.
במאה ה-15 החלה העיר העתיקה להתגבש בפורמט ארבעת הרבעים המוכרים לנו כיום. רוב תושביה בעת ההיא היו מוסלמים. מפקדי אוכלוסין שנערכו בעיר במהלך המאות ה-18 וה-19 (ראו טבלה מצורפת), העידו על התרבות של האוכלוסייה היהודית בעיר, בעוד שחלקהּ של האוכלוסייה הנוצרית בה הלך ופחת.
ב-1517 נכבשו העיר והארץ בידי האימפריה העות'מאנית. הסולטאן סולימאן המפואר בנה את חומות ירושלים ושערי ירושלים ושיפץ את מגדל דוד. עם זאת, בעקבות שקיעתהּ הממושכת של האימפריה העות'מאנית, התדרדר גם מצבהּ הדמוגרפי של ירושלים וחלקים גדולים בתוך העיר העתיקה הפכו שוממים. במאות ה-18 וה-19, החל היישוב היהודי להתעצם, ולקראת סוף המאה מנה כ-11,000 נפש, הקהילה הגדולה ביותר בעיר.
חבורת רבי יהודה החסיד, בני יהדות אשכנז, אשר עלתה לארץ ישראל בשנת 1700, סולקה מן העיר עקב חוב כספי גדול לבנאים מוסלמים. עם זאת, מצבם הכלכלי של יהודי העיר השתפר בראשית המאה ה-19, בעקבות עליית תלמידי הגר"א, בראשות רבי מנחם מנדל משקלוב, כמו גם סיועה של משפחת רוטשילד. האחרונה פרעה את חובה של חבורת רבי יהודה החסיד, ואפשרה לחבריה לשוב ולגור בירושלים בבטחה.
המאה ה-19.
במאה ה-19, החלו המעצמות הקולוניאליות האירופאיות לגלות עניין בארץ ישראל בכלל, ובירושלים בפרט. מחקרים ופרסומים שונים על אודותיהן ראו אור והעלו את המודעות אליהן, בכל הקשור לחשיבותן הדתית, התרבותית וההיסטורית. בעקבות זאת החלו המעצמות לבנות בעיר מוסדות דת ותרבות, חינוך, מחקר, בריאות ותיירות, וכן להציב בה קונסולים ואנשי דת מטעמן. בתחילה בנו המעצמות את מבניהן בשטחים שבין החומות, ולאחר זמן מה מחוץ להן. במחצית השנייה של המאה ה-19 גברה ההשפעה האירופאית.
הציבור הנוצרי בירושלים של אז כלל ערבים, ילידי אירופה, תושבים ארעיים ואנשי כמורה ודת.
היציאה מן החומות הקיפה גם את הציבור היהודי. בשנת 1860 נוסדה השכונה היהודית משכנות שאננים בידי משה מונטיפיורי, והייתה לשכונה היהודית הראשונה שנבנתה מחוץ לחומות ירושלים. אחריה נבנו שכונות יהודיות נוספות, בפרט "שכונות חצר", השוכנות כיום במרכז העיר והיו אבני יסוד עבור העיר החדשה. בין היתר נבנו שכונת הבוכרים, מחנה ישראל, נחלת שבעה, בית דוד ומאה שערים.
בכתבה "בניינים ופרוורים חדשים", אשר התפרסמה בעיתון "המליץ", בי"ט באב תר"מ (1880), דווח כי "בירושלים הושלש מספר הבתים", והוצג בה תיאור מפורט אודות פלאי הבנייה:
המאה ה-20.
בשנת 1917 עברה ירושלים לידי שלטון המנדט הבריטי, שקבע אותה כבירת ארץ ישראל וריכז בה את מוסדות שלטונו, בכללם: מקום מושבו של הנציב העליון, משרדי הממשלה, בית המשפט העליון ובית הסוהר המרכזי.
בעת ההיא, שימשה ירושלים כמרכז המדיני של היישוב היהודי והתנועה הציונית, ובה שוכנו המוסדות הלאומיים: ועד הצירים, הסוכנות היהודית לארץ ישראל, הוועד הלאומי, הקרן הקיימת לישראל וקרן היסוד. נוסף על מוסדות אלו, נבנתה בה האוניברסיטה העברית, השוכנת על הר הצופים.
בכ"ט בנובמבר 1947, לאחר ההכרזה על חלוקת ארץ ישראל בעצרת האו"ם, פרצה מלחמת העצמאות. על פי תוכנית החלוקה של האו"ם, אמורות היו ירושלים ובית לחם להיכלל באזור נייטרלי, תחת שליטה בינלאומית. אולם, שני הצדדים – הן היהודי והן הערבי – התעלמו ממנה, וחתרו להגיע למצב של שליטה על העיר ועל סביבתהּ.
הכוחות הלוחמים הערביים בעיר כללו תושבים מקומיים, כמו גם כוחות עזר של מתנדבים, אשר נשלחו אליה מטעמן של מדינות ערב. כוחות אלו כללו את "הלגיון הערבי", "האחים המוסלמים" וצבא סדיר ממצרים. הכוחות הטילו מצור על כניסת יהודים אליה, והפסיקו את אספקת המים לתושביה. ההגנה על העיר ועל היישובים סביבה הופקדה על חטיבת עציוני, ואילו על הפרוזדור לירושלים הייתה אמונה חטיבת הראל של הפלמ"ח. לאחר קרבות עזים ועקובים מדם, השכילו שיירות המשוריינים היהודיים לפרוץ את המצור שהוחל על העיר, ופילסו אליה דרך, באמצעותה סיפקו לתושביה מזון, מים וציוד.
בלטרון התנהלו בין צדדים קרבות כבדים. במסגרת מבצע נחשון נכבשו כפרים ערביים בדרך לירושלים, אך למרות זאת נחסמה הגישה לעיר באופן מוחלט החל מסוף חודש אפריל, והעיר הייתה נתונה במצור.