השפעתה של האימפריה הרומית בארץ ישראל ובירושלים החלה במאה ה-1 לפנה"ס. המצביא הרומאי פומפיוס נקרא להתערב בסכסוך בין בניו של אלכסנדר ינאי: הורקנוס השני ויהודה אריסטובולוס השני; הוא הגיע לירושלים וכבש אותה; ומאז התגברה דריסת הרגל הרומית בעיר.
המלך הורדוס אשר שלט בארץ ישראל ובירושלים בשנים 4-37 לפנה"ס, ניהל מיזמי בנייה גדולים וחסרי תקדים בירושלים וברחבי הארץ, וזאת לצד התקיימותה של ממלכתו בחסות רומא ותחת ההגמוניה הפוליטית והצבאית שלה.
הורדוס יזם מפעלי בנייה ברחבי ארץ ישראל ובירושלים; סביב להר הבית הקים קירות תמך רחבים אשר הועילו להרחבת בית המקדש והחצר שסביבו, וכך היה לאחד המקדשים המפוארים בתקופתו. בעיר התגוררו, לפי אומדני היסטוריונים, כ-60,000-40,000 בני אדם; מאות אלפים עלו לרגל אל המקדש בירושלים, בעיקר בשלושת המועדים: פסח, שבועות וסוכות. וכדי לאכסן אותם בנוחות, הורחב מערך אספקת המים אל העיר והמקוואות בה, והאדריכלות הייתה חפה מציורים וסמלים אסורים על פי ההלכה. בנוסף, בנה הורדוס בעיר העליונה ארמון לשבתו שהוקף במגדלים, היפודרום ותיאטרון ברוח התרבות הרומית. הוא הרחיב את גבולות העיר צפונה (עד לשער שכם כיום).
לאחר מותו של הורדוס נטלה רומא את השליטה בירושלים ובארץ ישראל באמצעות שלטון נציבים, שמקום מושבם בקיסריה, עד שנת 66. אחד מהם היה פונטיוס פילטוס אשר בחג הפסח 30 הוציא להורג את ישו בצליבה, כמו רבים אחרים באוכלוסייה הארצישראלית. תקופת שלטונו של אגריפס הראשון, הפסיקה לשנים אחדות את שלטון הנציבים הרומאים. הוא יזם את הקמת "החומה השלישית" בעיר, שהגיעה אז לשיא התפתחותה.
האוכלוסייה היהודית סלדה מהשלטון הרומאי, וראתה בו גורם נוכרי וללא סמכות בארץ ישראל. המתחים בין מגזרים שונים בקרב היהודים, כמו גם השנאה לרומאים הלכה וגברה. ובשנת 66 בעקבות ניסיונות של הנציב הרומי פלורוס להוציא אוצרות מהמקדש, התעורר מרד נרחב כנגד השלטונות. תגבורת צבאית רומאית שהגיעה מסוריה ספגה תבוסה, והעיר הייתה בשלטון יהודי עצמאי כשלוש שנים.
אבל בהנהגת השלטון היהודי נוצרו שסעים והוקמו מחנות יריבים; המורדים פתחו במלחמת אחים שכללה שוד, הרס והרג. וכך, כילו המורדים את משאביהם ברוח ובחומר וניצבו מוחלשים מול הגייסות הרומאים, בראשותו של טיטוס בנו של הקיסר אספסיאנוס, אשר באו אל העיר לדכא את המרד. לאחר מצור כבד על חומות העיר פרצו הגייסות הרומאים מצד צפון.
בתשעה באב העלו הרומאים את בית המקדש באש. העיר נחרבה, רוב תושביה נהרגו, השאר הוגלו ממנה, ונאסרה כניסתם של נימולים (קרי: יהודים) אל מתחם העיר.
התקופה הרומית.
בשנת 130, שישים שנה אחרי חורבנה של העיר החליט הקיסר הרומאי אדריינוס להקים על חורבותיה עיר חדשה בשם: איליה קפיטולינה (בלטינית: ÆLIA CAPITOLINA). התוכנית עוררה זעם רב באוכלוסייה היהודית, והייתה אחת הסיבות להתעוררות מרד בהנהגתו של בר-כוכבא. בעקבות המרד הייתה העיר, כמו חלקים מארץ ישראל, בשנים 132–135, בשלטון יהודי עצמאי, אשר אף הנפיק מטבעות משלו, וחודשה עבודת הקורבנות בהר הבית במקום המקדש.
אולם הרומאים דיכאו את המרד; התוכנית לעיר הרומאית החדשה התממשה בשנת 136, ובהר הבית הוקם מקדש לאל הרומי יופיטר.
ירושלים הרומית תוכננה בסגנון אדריכלות הערים המקובלת ברומא העתיקה, הכולל תוואי מצולב: קארדו אנכי בציר צפון-דרום ודקומנוס אופקי בציר מערב-מזרח. התוואי השתמר בעיר העתיקה, אף שמפלס החיים, גבוהה כאמור ב-2–4 מטר מעל המפלס בתקופה הרומית, אשר הסתיימה בשנת 324, כאשר התפלגה האימפריה הרומית לחלק מערבי ולחלק מזרחי, בדמותה של האימפריה הביזנטית.
ימי הביניים.
התקופה הביזנטית.
בהתקופה הביזנטית בארץ ישראל התגברה השפעת הדת הנוצרית בהדרגה, וזאת ניכר גם בשלטונה בירושלים; הסמלים והמקדשים הפגניים בעיר הוסרו ונהרסו, ותחתם הוקמו בה מוסדות נוצריים רבים. לאחר התנצרותו של הקיסר קונסטנטינוס וביקורה של אמו בירושלים, הוא כינס וועידה כנסייתית בניקיאה, בשנת 325, ובה קרא בישוף ירושלים מקריוס, לטיפוח האתרים הקדושים לנצרות שבה. בעקבות זאת, נבנתה כנסיית הקבר (באתר שבו שכן מקדש לאלה הרומית ונוס). איסור הכניסה אל העיר ליהודים נשמר בקפידה באותה תקופה.
יוצא דופן בהתנהלותו היה הקיסר יוליאנוס, שנטה לחזרה אל הפגניות; הוא הציע ליהודים לבנות בית מקדש בשלישית, אך ללא שהצעתו מומשה.
כנסיית מרים הקדושה נבנתה בעיר על ידי הקיסר הביזנטי יוסטיניאנוס, ובתקופתו פותחה העיר, נבנו בה רחובות ומבני דת.
הפרסים כבשו את העיר מידי הביזנטים בשנת 614. הם לקחו את "הצלב הקדוש" מכנסיית הקבר אל פרס; והוחזר בשנת 628 על ידי הקיסר הרקליוס.
התקופה הערבית הקדומה.
בשנת 638, נכבשה ירושלים, מבלי שפיכות דמים על ידי הצבא הערבי המוסלמי שיצא מחצי האי ערב, כחלק מהתפשטותו המהירה במזרח התיכון וצפון אפריקה. אל האוכלוסייה הנוצרית בעיר, נוספו בהדרגה תושבים מוסלמים, וכן קהילה יהודית, למרות התנגדות הנוצרים, שזכתה לתמיכתו של החליף עומר, ומאמצע המאה ה-9 התגוררה בעיר כת קראית קטנה.
השליטים הערבים, השתמשו ברוב סדרי המנהל הקודמים של הרומאים והביזנטים, כגון חלוקה למחוזות אף שמותיהם שונו, וקבעו את לוד כבירתם. החליפים מבית אומאיה בדמשק, את השלטון בארץ ישראל, בשנת 660, אף כי קבעו את רמלה כבירת הארץ, פיתחו ביד רחבה את ירושלים.
בתקופתם התחברה ספרות שבחים ערבית מוסלמית על העיר, והוקמו בה מבנים גדולים בהר הבית ובסמוך לו: כיפת הסלע (בשנת 691), מסגד אל-אקצא (705) וארמונות פאר אופייניים לאדריכלות האסלאמית בתכנונם ההנדסי ובעיטוריהם המרהיבים חקוקים באבן ופסיפסים. השלטון עבר לבית עבאס בשנת 750, ובשנת 969 לידי החליפים פאטימים;
אחד מהם, החליף אל-חאכם, ציווה בשנת 1009, להרוס את מבני הדת הנוצריים בעיר, ובהם כנסיית הקבר .
התקופה הצלבנית הראשונה.
הצלבנים כבשו את ארץ ישראל במהלך מסע הצלב הראשון. ב-15 ביולי 1099, פרצו לירושלים מצד צפון. הם הרגו את תושביה היהודים והמוסלמים, ואסרו על כניסתם אל העיר. למונרכיה החדשה שהקימו בארץ ישראל קראו על שם העיר: "ממלכת ירושלים", ובה רוכזו מוסדות השלטון הצלבני, הארגונים הכלכליים והדתיים והמסדרים הצבאיים: ההוספיטלרים והטמפלרים. האוכלוסייה הירושלמית כללה אז בעיקר ילידי אירופה, רובם דוברי צרפתית, ומעט מקומיים נוצרים, וכן תושבי ארעי רבים: צליינים ותיירים. ירושלים הפכה לבירתם לאחר כיבושה.
מבני הפאר הישנים: רומאים, ביזנטים או ערבים, ובהם מסגדי הר הבית, עברו הסבה לשימוש צורכי הצלבנים, ולצדם נבנו מבנים מפוארים לצרכים דתיים או לביצורים בסגנון רומנסקי. בשנת 1149 נחנך מחדש מבנה כנסיית הקבר, שחזיתו המפוארת עוצבה בסגנון התקופה; נבנתה כנסיית סנטה אנה ליד שער האריות; הורחבה המצודה בעיר העליונה ונקראה בשם: "מגדל דוד"; והוקמה מצבת קבר מרים בנחל קדרון. בתקופה הצלבנית נקבע מסלול ויה דולורוזה בעיר (אף כי נמצא במפלס גבוה ממפלס החיים בתקופת בית שני), אשר היה מוקד לתיירות רבה.
התקופה האיובית.
המנהיג המוסלמי צלאח א-דין מהשושלת האיובית, כבש את ירושלים מידי הצלבנים ביולי 1187, לאחר שהכריע את גיסותיהם בקרב קרני חיטין.
השלטונות האיובים גרשו מהעיר את הנוצרים האירופאים, אך הותירו את כנסיית הקבר בידי הכנסייה הנוצרית-המזרחית.
תושבים יהודים הורשו להתגורר בעיר.
התקופה הצלבנית השנייה.
בשנים 1229–1244, הצלבנים חזרו לירושלים וקיימו ממלכה קטנה, עד הכיבוש הממלוכי.
התקופה הממלוכית.
הכובשים הממלוכים תפסו את השלטון בארץ ישראל לאחר שהדפו בקרב עין ג'אלות את הגייסות המונגולים שפשטו בארץ ישראל, ב-3 בספטמבר 1260. השליט הממלוכי הראשון ביברס המשיך לרדוף את הצלבנים ולגרשם מארץ ישראל. בשנת 1219 נהרסו חומות העיר העתיקה ונותרה עיר פרזות (עד הכיבוש העות'מאני), מלבד מגדל דוד שבו ישב המושל הכללי שהופקד על הסדר הציבורי ועל גביית מיסים ולצדו וחיל מצב ממלוכי; ואילו המושל הדתי, שלעזרתו גם כן עמד כוח חמוש, ישב במבנה סמוך להר הבית ואל עומריה ואחר כך ליד שער המשגיח, וחלש על מבני הציבור בשימוש דתי (ווקף). העיר השתייכה למחוז עזה ולעיתים למחוז דמשק, ואחר כך נעשתה לנפה עצמאית הכפופה לסולטאן.
לטעמם של השליטים הממלוכים לא הייתה לירושלים חשיבות כלכלית או אסטרטגית, אלא דתית. הם בנו עשרות מבני מרהיבים בעיר וסגנונם ביטא את השאיפה האיסלאמית: "לעשות את ירושלים מרכז מוסלמי רב-לאומי לתפילה ולימודי דת". הכלכלה המקומית התבססה על חקלאות ובמיוחד גידול כותנה ועיבודה לאריגים, וכן על המסחר והשירותים לתנועת התיירים והצליינים מאמיני שלוש הדתות.
בתמיכתם של השלטונות הממלוכים התקבצה בירושלים קהילה של מלומדי האסלאם אשר הפכו את העיר למרכז תאולוגי איסלאמי. הנוצרים האירופאים בירושלים סבלו לעיתים מיחס עוין של השלטונות; כך אירע עם בואם של הנזירים הפרנציסקנים אל העיר, בשנת 1334, ומינוים כ"שומרי המקומות הקדושים בארץ הקודש" מאת האפיפיור היושב ברומא.
ליהודים הותרה הכניסה והמגורים בעיר; ובשנת 1267, הגיע אל העיר הרמב"ן שהנהיג את חידוש חיי הקהילה היהודית בירושלים.
העת החדשה.
התקופה העות'מאנית.
הגייסות העות'מאניים בראשותו של סלים הראשון כבשו את ארץ ישראל וירושלים בשנת 1517.