אף על פי שהעיר הוקמה מחדש על ידי אדריאנוס על גבי שטח חרב, בכל זאת נשתמרו בה שני אלמנטים ארכיטקטוניים חשובים והם – מתחם הר הבית ההרודיאני והקטע הדרומי של החומה המערבית ומגדל דוד. על-פי כתבי יוסף בן מתתיהו, יחידות מהלגיון העשירי נשארו לשמור על חורבות ירושלים, והתמקמו באזור מגדלי המצודה של הורדוס (אזור מגדל דוד של ימינו), שלא הוחרבו יחד עם שאר העיר. ממצאי חפירות מעידים כי בשלב מאוחר יותר עבר המחנה - ככל הנראה - לאזור הר הבית. הקארדו מאקסימוס (הראשי) היה רחוב האורך הראשי של הערים הרומיות. ובאיליה קפיטולינה נבנו שני רחובות אורך ראשיים, בהתאם לטופוגרפיה של העיר - האחד לאורך רחוב הגיא של ימינו עד לאזור שער האשפות, והשני לאורך רחוב בית-הבד של ימינו ועד למפגש עם רחוב דוד. הקרדו כלל רחוב מרוצף אבנים גדולות, שדרות עמודים משני צידיו, מדרכות וחנויות. את הפורום - המרכז המסחרי והטקסי של העיר מזהים בתוואי הרחוב הנכנס לעיר העתיקה משער האריות של ימינו. על רחוב זה נמצאה קשת גדולה ורחבה מרוצפת מפוארת מתקופת הדריאנוס - וזו ככל הנראה הייתה רחבת הפורום.
נוסף על אמת המים התחתונה עוד מימי הבית השני, נבנתה בתקופה הרומית אמת המים הגבוהה לירושלים. אמה זו נמשכה לאורך כ־13 ק"מ, ממוצאה ב"בריכות שלמה", עד סיומה בשער יפו.
התקופה הביזנטית.
עם הכרזת הנצרות לדת הרומית הרשמית על ידי הקיסר קונסטנטינוס בצו מילאנו ב-313 לספירה, נעשתה ירושלים עיר קדושה לנצרות, היא הפכה למרכז הדתי של האימפריה הביזנטית, ובהדרגה הוקמו בה כנסיות רבות מסביב להר הבית שנותר בחורבותיו, כעדות דוממת לנפילתם של היהודים, דוחי המשיח. בשנת 333 מציין הנוסע מבורדו כי עוד ניתן לראות את סימני ההרס והחורבן על ההר, אם כי הוא מייחס אותם לחורבן הבית הראשון. כמו כן, מציין הנוסע כי על ההר מצויים של פסלים אדריאנוס. בשנת 361 לספירה ביקש הקיסר יוליאנוס, כחלק ממאבקו בנצרות, לבנות את בית המקדש היהודי, אך הניסיון נכשל בעקבות רעידת אדמה חזקה שארעה במהלך הבנייה ומותו של הקיסר.
על פי כלל המקורות ההיסטוריים, במשך שאר התקופה הביזנטית נשאר הר הבית אזור שומם, נטוש ומוזנח. רבים מאבניו נלקחו לצורכי בנייה והמקום אף שימש כמזבלה לעיר. כיבוש ירושלים בימי הפרסים בשנת 614 על ידי ח'וסרו השני, מלך פרס, גרם להפסקה קצרה בשלטון הנוצרי-ביזנטי על העיר. וביום 21 במרץ 628 חזרו הביזנטים ובראשם הקיסר הרקליוס לירושלים. אולם שלטונם לא ארך זמן רב, מאחר שהערבים המוסלמים התקדמו מחצי האי ערב למסע הכיבושים הגדול שלהם.
התקופה הערבית הקדומה.
בשנת 638 נכבשה ירושלים על ידי המוסלמים לאחר מצור של שנתיים. לפי מסורת מוסלמית הפטריארך סופרוניוס מסר את העיר לידי הח'ליף עומאר בן אלחטאב, לאחר שזה הציע לעיר כתב כניעה נוח וסובלני ביותר. כתב הכניעה פורסם כמנשר מטעם הח'ליף עומר, והוא מכונה חוזה עומר (عهدة عمر). הוא מבטיח את שלומם וביטחונם של תושבי ירושלים, אוסר על פגיעה בכנסיות ועל פגיעה ברכושם של התושבים, ומאפשר פינוי מסודר של אנשי השלטון הביזנטי, וזאת בתנאי שישולם מס לשלטון המוסלמי ויתקבל שלטונם. עד מהרה התיר השלטון המוסלמי את חזרת היהודים לעיר, והר הבית והכותל המערבי, שכוסו בשפכים בימי השלטון הנוצרי, נוקו. בתקופה האומיית הוקמו על הר הבית מסגד אל-אקצא, וכיפת הסלע. תקופה זו הייתה לירושלים חשיבות רבה בעיני השלטון המוסלמי והחליף האומיי מועאויה הראשון, מייסד בית אומיה, אף הושבע בה בשנת 660.
האומיים שלטו בירושלים עד שנת 750 בה עלו העבסים לשלטון. בתקופה זו ירדה קרנה של העיר בעיקר בשל ריחוקו של המרכז השלטוני בבגדאד. השלטון העבסי החל להתרופף לקראת אמצע המאה התשיעית וירושלים נכנסה לתקופה ארוכה של חוסר יציבות. בתקופה זו שלטו בעיר הטולונים, הקרמטים, האיחשידים, הפאטימים והסלג'וקים.
התקופה הצלבנית.
ירושלים נכנסה לתקופה הצלבנית עם כיבוש העיר על ידי הצבא הצלבני של מסע הצלב הראשון בשנת 1099, והפכה לבירת ממלכת ירושלים הנוצרית - לאחר 450 שנה של שלטון מוסלמי. תקופה זו בתולדות ירושלים הייתה סוערת מבחינה היסטורית והתאפיינה בכיבושים תכופים ומעבר השלטון בין הצלבנים והשושלת האיובית המוסלמית. תקופה קצרה יחסית זו, החופפת לימי קיומה הסוערים של ממלכת ירושלים הצלבנית בארץ הקודש, הייתה תקופה יוצאת דופן בהיסטוריה של ירושלים. לראשונה מאז החורבן של העיר בשנת 70 שימשה ירושלים כעיר בירה של ישות מדינית עצמאית - סטטוס אליו תחזור רק בתקופת המנדט הבריטי, ותחזור למעמדה המרכזי רק לאחר הכרזתה כבירת מדינת ישראל בשנת 1948.
המהפך הראשון אירע עם כיבוש ירושלים על ידי צבאו של צלאח א-דין בשנת 1187 ונפתחה התקופה האיובית בתולדות ירושלים, הקרויה על שמה של השושלת האיובית - הסולטנות המוסלמית ששלטה במזרח התיכון בתחילת המאה ה-12. בסוף מסע הצלב השישי, בשנת 1229, חזרה ירושלים לשליטה צלבנית שנמשכה עד לשנת 1244 - עם כיבוש העיר על ידי פושטים ח'ואריזמים. עליית הממלוכים לשלטון במצרים בשנת 1260 סימנה את תום התקופה הצלבנית-איובית.
התקופה הצלבנית בתולדות ירושלים השפיעה באופן מכריע על ההיסטוריה של המזרח התיכון והקרינה אל מעבר לגבולות האזור אל ארצות האסלאם ואירופה הנוצרית. מסעי הצלב העלו את השם "ירושלים" למעמד עליון באסלאם, חיזקו וקיבעו את מקומה בהיררכיה של המקומות הקדושים לאסלאם, אך לא הפכו את העיר למרכז רוחני או פוליטי, ומשנותק רעיון הג'יהד משמה של ירושלים בתום התקופה האיובית, שקעה העיר למעמד גאו-פוליטי משני. תהפוכות אלו לא פסחו על הקהילה היהודית של ירושלים, שלמרות הנסיבות הקשות נאחזו בעיר תוך מאבק עיקש בגלים של הרס והרג וניסיונות הרואים של שיקום ובניה.
מערכת הביצורים ומארג הדרכים בעיר העתיקה של ירושלים לא השתנה באופן משמעותי במעברים בין התקופות מאז ייסוד איליה קפיטולינה ועד היום. ירושלים הצלבנית הייתה, בשיאה, עיר פעילה ומפוארת ובה ביצורים מרשימים ומבני ציבור מרשימים לא פחות. ההרס שחוותה העיר עם תום התקופה מותיר את יופייה על דפי ספרי התקופה - כתבי עולי רגל והיסטוריוגרפים של התקופה ומספר מפות סכמתיות שצוירו במהלך ימי הביניים. המחקר הארכאולוגי מתקשה - לאור מיעוט הממצאים - לצייר תמונה מלאה של הטופוגרפיה הייחודית לעיר הצלבנית.
הקהילה היהודית.
כיבוש ירושלים בידי הצלבנים בשנת 1099 הביא סוף אלים וחורבן על קהילה יהודית פורחת ומשגשגת, שאף השתתפה בהגנת העיר שכם אחד עם תושביה המוסלמים של ירושלים. מאז הייתה העיר אסורה להתיישבות של יהודים (ביוצא הדופן של קומץ הצבעים בהם פגש בנימין מטודלה). עם כיבוש ירושלים על ידי האיובים השתנה המצב המשפטי ותקופה של סובלנות כלפי היהודים, שאפיינה את השליטים המוסלמיים של המאה ה-12, החלה. בתקופה קשה זו נאחזו היהודים בירושלים בניגוד לכל היגיון ובניגוד לכל חישוב של תועלת. התיישבות זו הונעה מתוך דחף דתי לחיות בירושלים. הצורך בקרבה למקומות הקדושים אשר נמצאים בעיר והצורך בקיום מצוות הקשורות בארץ, לא פסקו גם בזמנים שהחיים בעיר היו תלויים על בלימה ותנאי המחיה היו בלתי אפשריים.
התקופה הממלוכית.
ירושלים הייתה תחת שלטון הממלוכים החל משנת 1260 ועד שנת 1516. תקופה זו בתולדות העיר חופפת את שנות שלטונם של הממלוכים בארץ ישראל. ירושלים הממלוכית הייתה עיר שולית מבחינה אסטרטגית, מדינית וכלכלית, ועם זאת בעלת חשיבות דתית גבוהה, הן עבור השלטון הממלוכי המוסלמי והן עבור היהודים והנוצרים. לתפיסה זו של ירושלים כעיר קדושה אך זניחה מבחינה אסטרטגית היו מספר השלכות. אמנם ירושלים נשלטה, ככל עיר ממלוכית, על ידי מושל צבאי חילוני (נאיב), אך היה זה קצין בדרגה נמוכה. האיש החשוב בירושלים לאורך כל התקופה היה "הממונה על ההקדשים", איש דת, המכונה לעיתים בספרות בכינוי "המשגיח". רוב הנושאים במשרה זו פירשו אותה כפשוטה ובמובנה הצר, כלומר דאגו לבנייה ולשיפוץ של מבני דת בהר הבית ובסביבתו, ודאגו לרווחת אנשי הדת ותלמידי המדרסות. כל הכרוך בפיתוח לא-דתי של העיר נזנח בדרך כלל. במשך כל התקופה נותרה ירושלים עיר פרוזה (ללא חומות). בתחילה נומק הדבר בפחד מפני השתלטות צלבנית חוזרת תוך לכידת העיר והתבצרות בה. בהמשך נבע הדבר מחדלון השליטים החילונים, מחוסר בתקציב (ששימש רובו ככולו לפעילות דתית), ומרצון למצב את מעמד העיר כעיר קודש בלא סממנים של צבא.
על פי החוק הממלוכי לא יכול היה בעל תפקיד להוריש רכוש לצאצאיו, היות שהרכוש נחשב כחלק מן המשרה. על כן, הדרך היחידה של בעל תפקיד ממלוכי לדאוג לצאצאיו הייתה באמצעות הקדשת רכושו להקדש (וקף, وقف) תוך מינוי בנו למנהל נכסי ההקדש, כך שיזכה לשכר ממנו. מבני דת ושירותי דת רבים בירושלים הוקמו בזכות הקדשים אלה. המקום המרכזי מבחינת חשיבותו ופיתוחו היה הר הבית וסביבותיו, ושם הוקמו מרבית המבנים המוקדשים. מוסדות ההקדש ואנשי הדת היו פטורים מתשלום מסים, ובעיקרו של עול המיסים נשאו הקהילות הנוצריות והיהודים. במצב זה, שבו מיעוט של משלמי מיסים נשא בנטל, הייתה קופת העיר לרוב במצב מדולדל ביותר, שלא איפשר תחזוקה שוטפת ופיתוח עירוני. פיתוח פרויקטים לא דתיים, כמו אספקת המים בימי הסולטאן קאיתבאי, התבצע, בדרך כלל, על בסיס תקציבים מן השלטון המרכזי בקהיר.
בשנות הדעיכה, במיוחד לאחר 1454, גברו הסכסוכים בין הממונה על ההקדשים לבין מושל העיר החילוני, עובדה שהפקירה את העיר כליל לפשיטות שבטים בדואיים ולהזנחה ושיתוק של המערכות העירוניות כאספקת המים, ניקיון וכיוצא באלה.
הבנייה הממלוכית התרכזה בשלושה אזורים בעיר:
הקהילה היהודית.