המקורות הערביים והמסורות המוסלמיות כמעט שאינם דנים בהיסטוריה של ירושלים בתקופה המוסלמית או בחיי העיר אך מפנים מקום נכבד לתיאור ביקורו של הח'ליף עומר על הר הבית. על פי תיאורים אלו התלווה לעומר אדם בשם כעב אל אחבאר (עברית: פאר החכמים), יהודי תלמיד חכם שהתאסלם והיה ממלווי הח'ליף.
על פי המסופר, ציווה עומר על ניקוי הר הבית משפכים וזוהמה שנערמו בו במשך מאות שנים – פרי הזנחה מכוונת מצד הביזנטים שראו בהר את הסמל לירושלים היהודית ובהזנחתו – את השפלת היהדות.
על אירוע זה והשלכותיו כתב הסופר הקראי דניאל בן משה אלקומיסי בפירוש לספר דניאל:
על פי מסמכים מגניזת קהיר, היהודים ביקשו מעומר רשות להתיישב בעיר ולאחר התמקחות בין היהודים לפטריארך ירושלים החליט עומר על התיישבות 70 משפחות מטבריה שהתיישבו בירושלים. במכתב שתוארך למאה ה-11 מצוין:
שאלת ההסכם בין עומר למגינים הנוצרים של ירושלים עומדת פתוחה, ייתכן ומשנתפסה העיר אכן לא ישבו בה יהודים אך לאחר מספר שנים ראו המוסלמים את שינוי הנסיבות כעילה מספיקה לשינוי ההסכם, ליהודים בארץ ישראל שמספרם היה בלתי מבוטל הייתה חשיבות כלכלית ומאידך לא היה זה אינטרס מוסלמי להשאיר את הנוצרים כעדה מרכזית בירושלים ונוכחות היהודים שימשה להחלשת מעמדם וחזקתם של הנוצרים.
לפי מקורות מוסלמים, התמנו היהודים לנקות את הר הבית ולמסגד אל-אקצא היו 10 אנשי תחזוקה יהודים ומספרם עלה לאחר מכן לעשרים. סידור זה הופסק במאה ה-8 ותחזוקת הר הבית עברה לעבדים של השלטון.
תחת שלטון בית אומייה.
לאחר כיבוש ירושלים מתמעטות הידיעות ההיסטוריות על העיר. בשנת 658 התחוללה רעידת אדמה שהחריבה מבנים בעיר, וברחבי הנפה. באותה שנה נפגשו בירושלים מועאויה בן אבו ספיאן המפקד העליון של הצבא המוסלמי בארץ ישראל וסוריה ומושל מצריים עמר בן עאץ. הצמד כרת ברית שכוונה כנגד הח'ליף עלי בן אבי טאלב, במהלך מלחמת הכל בכל שהתחוללה בעולם המוסלמי נוצרה שושלת הח'ליפות של בית אומיה שקבעה את מרכזה בדמשק. מועאויה אף נשא את שבועת האמונים (ה"ביעה") בשנת 660 בירושלים, והוכתר באופן רשמי כח'ליף של האימפריה המוסלמית על ידי כל העולם המוסלמי בשנת 661.
במשך כל תקופת שלטונו סבל שלטון בית אומיה מחוסר לגיטימיות דתית ואתנית. מבחינה דתית, הח'ליף מעאויה אבן אבו סופיאן התאסלם, יחד עם אביו אבו סופיאן, רק אחרי כניעת מכה בפני הנביא מוחמד, כלומר זמן רב אחרי האליטות המוסלמיות הוותיקות. גם העובדה שבית אומיה בחר בדמשק לבירתו יצרה מצב בו מסופוטמיה ופרס המאוכלסות הרבה יותר מסוריה ראו עצמן כמחוזות כבושים על ידי מיעוט, אי שביעות נחת זאת הציתה מרידות ברחבי האימפריה.
האתגר הגדול הראשון לבית אומיה הייתה ההתקוממות של בני שבט זובייר בראשות עבדאללה אבן א-זובייר, השבט הערבי שישב בארץ - שבט גד'אם תמך במורדים וגם לאחר דיכוי המרד המשיכו הרוחות לסעור. מעמדה של ירושלים השתנה - לטובה- עם התבססות שלטון בית אומיה, הח'ליף עבד אל מאליכ אבן מרואן. תקופה זו ידועה כתקופת פריחה במהלכה שופרו התשתיות בירושלים ודרכים לעיר נסללו, אך עיקר השינוי ניכר בעיר עצמה. המבנה העיקרי שהוקם הוא כיפת הסלע שבנייתה החלה בשנת 688 והושלמה שלוש שנים לאחר מכן.
במחקר האסלאם הייתה רווחת הדעה כי מבנה מפואר זה נבנה במטרה לשמש כמתחרה ולהפחית מחשיבות המקומות הקדושים בחצי האי הערבי - מכה ומדינה ולקרב את מרכז הכובד של פולחן האסלאם לדמשק, אך במחקרים מודרניים כדוגמת מחקרו של שלמה דב גויטיין התבססה הדעה כי כיפת הסלע הוקמה כתחרות וכנגד מבני הדת הנוצריים בירושלים ובראשם - כנסיית הקבר. לאחר מכן ב-705 נבנה מסגד אל-אקצא על ידי עבד אל-מלכ (יש הסוברים שהבונה היה בנו וליד הראשון), וכן נבנתה קריית השלטון האומאית ממערב ומדרום להר הבית על ידי וליד הראשון.
בסופו של דבר, התלכדו תומכי עלי (שיעת עלי, הסיעה של עלי) עם בית עבאס (ענף מבית האשם) והצליחו למגר את השלטון האומיי במזרח בשנת 750, בקרב הזב, בו נרצח מרבית השבט בידי העבאסים, ובית עבאס הפך לשושלת הח'ליפים החדשה.
תחת שלטון בית עבאס.
תום שושלת בית אומיה, ועליית בית עבאס נקשר בירושלים כאמור בחדית' המיוחסת לנביא: .
הלכה למעשה, ירדה ירושלים ממעמדה וח'ליפי בית עבאס שישבו בעיראק התנהלו לפי הפתגם "רחוק מהעין רחוק מהלב". החליף השני בשושלת אל-מנסור ביקר בירושלים בשנת 758 וציווה להוריד את הצלבים מהכנסיות ולהעלות את גובה המיסים המשולמים על ידי הנוצרים.
בימי הח'ליף הארון א-רשיד הח'ליף העבאסי החמישי נוצרו החל משנת 797 קשרים בין הח'ליפות לבין הקיסר קרל הגדול. בשנת 798 יצאה משלחת מארמון המלך שבעיר אאכן, אל ארמון הח'ליף בבגדאד, במשלחת שני אצילים – לאנטפריד וסיגיסמונד, ועמם יצחק בן יעקב (יצחק היהודי), משימתם של השליחים הייתה להציע ברית מכוונת נגד בית אומיה השולטים בספרד והכרה באפוטרופסות של קרל הגדול על הנוצרים בארץ הקודש. עם הכתרתו של קרל לקיסר האימפריה הרומית הקדושה בשנת 800, יצאה המשלחת חזרה מירושלים, ולאחר תלאות הביא יצחק היהודי, היחיד ששרד מהמשלחת המקורית לקיסר, מתנות: מפתח של כנסיית הקבר ודגל של העיר. קשרים בילטרליים אלו איפשרו לקרל ליזום בנייה רחבת היקף בירושלים ובמהלכה נבנו מנזרים, אכסניה, ספרייה ושוק. הקיסר רכש שטחי קרקע בעמק יהושפט והכנסות משטחים אלו מימנו את פעילות מוסדות הדת והצדקה.
הגאוגרף המוסלמי בן התקופה ובן ירושלים אל-מקדסי מתאר את העיר במאה העשירית:
תחת שלטון מצרי.
בשנת 878 סיפח אחמד אבן טולון את ארץ ישראל לממלכתו החדשה שמרכזה היה בקהיר. אבן טולון היה מושל במצרים מטעם בית עבאס. אבן טולון פעל על פי הוראות הח'ליף העבסי לדכא מרידה של מושל סוריה (א-שאם) אך לאחר הצלחתו הצבאית סיפח את השטח למצרים והפסיק את תשלומי המיסים לבגדאד.
השלטון המצרי נמשך עד לשנת 905 ובמהלכו נפרדה מצרים מהשפעת הח'ליפות העבסית וארץ ישראל הפכה לאזור קרבות בין שני הכוחות השולטים במזרח התיכון. צבאות עבאסים עברו דרך ירושלים בדרכם למצרים או בדרך לשדה הקרב מול הצבא המצרי. כך נמצאו כתובות מימי הח'ליפים אבו אחמד עלי אל-מכתפי באללה (902–908), ואבו אלפדל ג'עפר אל-מקתדר באללה (908–932) על מבנים בעיר העתיקה.
הפאטמים ומלחמת שישים השנים.
במאה העשירית לספירה אימאם אסמאעילי בשם עבדאללה אל-מהדי הצליח לכבוש את תוניס ולבסס בה את שלטון השושלת הפאטמית. יורשיו הצליחו לכבוש את מרבית צפון אפריקה והגיעו למצרים בשנת 972 והקימו את בירתם החדשה בקהיר. הם המשיכו לכבוש את האזורים הסמוכים עד שביססו את שליטתם מתוניסיה עד לסוריה.
דמדומי שלטון הח'ליפות העבסית ומיקומה של ארץ ישראל כאזור חיץ הביאו - שוב- את הארץ וירושלים לתוך מלחמת אזרחים ותוהו. את החולשה העבסית ניצלו שבטים מקומיים וכתות מוסלמיות שהשתלטו על מבצרים ברחבי ארץ ישראל, הביזנטים שמעולם לא איבדו את תקוותם להחזיר את שליטתם על הארץ בחשו אף הם בקדירה, כוח נוסף שמצא עצמו נלחם על השפעה ושליטה בארץ ישראל הם שבטים סלג'וקים-טורקמנים משבטי האוע'וז שהיו לוחמים בשירות הח'ליפה ונדדו לתוך סוריה וארץ ישראל בחיפוש אחר תחום שלטון עצמאי.
ערב הכיבוש הפאטאמי שלטו בירושלים האח'שידים המצריים ושלטונם קשה ומושחת. בשנת 966 מושל העיר מחמד בן איסמעיל אלצנאג'י עורר מהומות אנטי נוצריות כנקמה על סירובם להמשיך בתשלום שוחד ודמי חסות. כנסיית הקבר נשדדה והוצתה ובמהומות נהרג הפטריארך של ירושלים. על פי היסטוריונים נוצרים "היהודים אף עלו על המוסלמים במעשי ההרס והחורבן".
בשנת 967 כבשו הקרמטים – כת מוסלמית שנוסדה במאה ה-9 לספירה על ידי מוסלמים פרסים – את ארץ ישראל ובשנת 970 כבשו הפטאימים את ארץ ישראל וסוריה, הנדנדה נמשכה עוד זמן מה וירושלים כמו כל ארץ ישראל עברה מיד ליד. את אי היציבות ניצלו הביזנטים שחדרו אל תוך סוריה במטרה לשחרר את ירושלים. במכתב שנשלח לארמניה מספר הקיסר הביזנטי יוחנן צימיסקס לאשוט השלישי האדיב על מסעו הצבאי מחמץ דרומה דרך בעלבכ. על פי התיאור דמשק שילמה לקיסר על מנת שלא יחריב ויכבוש את העיר והוא מינה בה מושל טורקי שהתנצר. המסע המשיך דרומה וטבריה ונצרת פתחו בפניו את שעריהן והוא מינה עליהן מושל מטעמו. על פי המכתב ירושלים ורמלה נכנסו עמו למשא-ומתן על כניעתן בתנאים דומים אך בשלב זה גבר האיום הפאטאמי שצבאם, מחוזק בצי מצרי החזיק בערי החוף המבוצרות. איום זה מנע מהקיסר מלעלות ולכבוש את ירושלים, ונאלץ לחזור לביזנטיון לקדם פני איום פנימי.
בשנת 998 הגיעו הביזנטים להסכם עם הפטאמים לפיהם ישרור שלום בין המדינות למשך 7 שנים. על פי ההסכם ישוחררו השבויים, תשוקם כנסיית הקבר, ומעמדם של הנוצרים בירושלים ישופר. ההסכם שהיה לטובת שני הצדדים הוארך מספר פעמים עד שמסיבות לא ברורות עלו היחסים על שרטון והח'ליפה הפטאמי אל-חאכם באמר אללה שנאלץ לעמוד מול תסיסה בתוך מצרים, וצבאו הפנה את הלחץ לכיוון הנוצרים והיהודים.
מעשי הדיכוי החלו בשנת 1003 וב-1009 הוא הרס את כנסיית הקבר הקדוש בירושלים, ואילץ את נתיניו הנוצרים לענוד צלבי עץ ברוחב ובאורך חצי מטר סביב הצוואר. כמו כן הוגבלה רכיבתם של נוצרים על סוסים לרכיבה על אוכפי עץ ועם רתמות ללא קישוטים ועיטורים.
הריסת כנסיית הקבר ודיכוי הנוצרים יצרה מערבולת חדשה של מלחמת אזרחים שבמהלכה תקפו שבטים ערבים שנהנו מתמיכה נוצרית את מוקדי הכוח הפטאמים. הקרבות נמשכו, בעיקר סביב העיר החשובה בארץ ישראל - רמלה, עד לשנת 1025 שבה עלה צבא פטאמי ממצרים להשקיט את הארץ. הקרבות הקשים הביאו את הקהילה היהודית של ירושלים לסף הרעב כפי שמתאר במכתב מירושלים למצרים שלמה הכהן גאון בן יהוסף: