הכיבוש הערבי ותחילת התקופה המוסלמית הקדומה גרם להעלאת קרנו של הר ציון, במיוחד בעקבות התפתחות מסורת קבורת דוד המלך בהר ציון במאה העשירית. היהודים, שהורשו לשוב לירושלים לאחר מאות שנות גירוש, בחרו בהר ציון למקום מושבם, ושכונה יהודית החלה להתפתח סביב קבר דוד. במקביל, התפתחה שכונה של יהודים קראים בשם צלע האלף במדרון המזרחי של הר ציון, מעברו המערבי של הקדרון. בשנת 1033 זעזעה רעידת אדמה חזקה את ירושלים והפילה את חומות העיר. שליטי ירושלים הפאטמים שיקמו את החומות, אך לא במלואן: קו החומה הדרומי צומצם, והר ציון (וגם עיר דוד) נותרו עתה מחוץ לחומה. נראה כי בעקבות כך עזבה הקהילה היהודית את הר ציון ונדדה צפונה, אל תחומי הרובע המוסלמי של ימינו.
התקופה הצלבנית.
לוחמי המחנות הצלבנים נכנסו אל ירושלים בקרב שנזכר בהיסטוריוגרפיה של המסעות כעקוב מדם ובו נטבחו תושבי העיר. לאחר הכיבוש נאסר על יהודים ומוסלמים לקיים חיי קהילה בירושלים. על פי המסורת הנוצרית ולפיכך גם בתודעתם של הצלבנים היה הר ציון ערש צמיחת הנצרות בירושלים; כאן התגבשה הקהילה הנוצרית הראשונה. בין היתר, על פי המסורת הנוצרית בהר ציון נערכה הסעודה האחרונה של ישו עם תלמידיו, בו ירדה רוח הקודש על השליחים לאחר מותו, בסמוך לקבר דוד - מקום שזוהה כבר במאה העשירית בהר ציון. הצלבנים הקימו במקום כנסייה בשם "גבירתנו של הר ציון" על חורבותיה של הכנסייה הביזנטית האגיה ציון שעמדה שם לפנים.
בתחומי הכנסייה הצלבנית נכללו קבר דוד, חדר הסעודה האחרונה וציון מקום תרדמתה של מרים אם ישו. זו כנראה התקופה בה התבססה המסורת בדבר קבר דוד בהר ציון, ובה הוצב הסרקופג שנמצא בקבר דוד עד ימינו. הכנסייה הצלבנית ככל הנראה ניזוקה משמעותית עם הכיבוש הערבי ועברה שיפוץ נרחב על ידי נזירים פרנציסקניים במאה ה-14.
התקופה האיובית.
עם כיבוש ירושלים ב-1187 על ידי צלאח א-דין ועליית שלטון האיוּבּים חזרו היהודים והתיישבו בירושלים ובהר ציון בפרט. לפי המסורת העניק צלאח א-דין את הר ציון לאחד מגיבוריו, דג'אני, אשר משפחתו החזיקה ברוב שטחי ההר (כולל קבר דוד) עד שנת 1948.
מאז התקיימה נוכחות יהודית בהר ציון למשך כ-250 שנה. תחילתה בשנת 1236, לפי מכתבו של סוחר יהודי מצרי, אשר נמצא בגניזה הקהירית, לפיו ניהל משא ומתן עם מושל העיר לחידוש היישוב היהודי בה. הוא השיג היתר ליהודים לעלות לרגל לירושלים ולצבע יהודי בשם: ברוך הטוב והמטיב, לגור בה. על קיומה של השכונה יש עדויות מראשית המאה ה-14 מפי נוסע נוצרי יעקב מוורונה ורבי אשתורי הפרחי. הרמב"ן, לפי אחת ההשערות, היה בשנת 1267 בבית הכנסת בהר ועליו הוא כתב את הדברים הבאים: "ומצאנו בית חרב בנוי בעמודי שיש וכיפה יפה, ולקחנו אותו לבית הכנסת". (אמנם התיאור מיוחס לבית הכנסת הרמב"ן, אך זהו זיהוי מאוחר, מן המאה ה-19, ומבנים שתאורם דומה היו בעיר). קיצה של השכונה בא כאשר הסולטאן הממלוכי אל-מלכ אל-אשרף סייף א-דין קאיתבאי (1468–1496) הגביל את תנועת היהודים באזורים נוצרים רגישים כמו הר ציון.
התקופה העות'מאנית.
בראשית התקופה העות'מאנית קיבלה משפחת דג'אני את הבעלות על מבנה קבר דוד וחדר הסעודה האחרונה שמעליו. במקום פעלה זאווייה סופית. בחדר הסעודה האחרונה אף הוצב שלט ובו פקודה המצווה על הפיכת המקום למסגד בשנת 1524. מאז ועד 1948 כניסת לא מוסלמים למקום הייתה מוגבלת ביותר. משפחת דג'אני בנתה את בתיה סביב המקום הקדוש במהלך התקופה העות'מאנית ולאחריה, והתגוררה במקום על אף שבתקופה זו הר ציון לא נכלל בתחום חומת העיר. סולטאני האימפריה העות'מאנית בנו אמנם, באמצעות מהנדסיהם, את חומות ירושלים, אך הותירו את הר ציון מחוץ לתחומי העיר (החומה נבנתה על שרידי החומה המוסלמית הקדומה). בעקבות כך הפך הר ציון לאתר קבורה נוח ליושבי העיר הנוצרים, המוסלמים והיהודים. השער שהוביל את יושבי העיר אל הר ציון נקרא בערבית "באב צַהְיוּן" (باب صهيون - שער ציון.) או "בּאבּ א-נֶבּי דָאוּד" (باب النبي داود - שער הנביא דוד, על-שם דוד המלך), או בָּאבּ חָארַת אל-יַהוּד (باب حارة اليهود - שער הרובע היהודי, ממנו היה המעבר לרובע היהודי).
סמוך לחודש מאי 1560, העביר הסולטן סלימאן את הר ציון והגנים שסביבו לשיח' אחמד דג'אני ולצאצאיו, והוא הפך להקדש.
במאה ה-19, עם שיפור היחס כלפי בני הדתות שאינן מוסלמיות והחלת חוקי הקפיטולציות, שבו הנוצרים להר ציון ובנו בו מבני דת רבים. הסנונית הראשונה הייתה סמואל גובאט, הבישוף הפרוטסטנטי של ירושלים, אשר כבר ב-1853 הקים את מבנה בית הספר הקרוי על שמו (שם בית הספר ושנת ההקמה חרוטים מעל שער הכניסה). בית הספר על שם גובאט היה אחד המבנים הראשונים שסימנו את תהליך היציאה מהחומות. בעשור הראשון של המאה העשרים הוקמה על ההר על ידי מוסדות קתוליים גרמניים כנסיית הדורמיציון.
מלחמת העצמאות.
אחת הסיבות לנחיתות האסטרטגית של ירושלים היהודית במלחמת העצמאות הייתה העדר רצף טריטוריאלי בין האזורים בשליטה יהודית ברחבי העיר, ביניהם גם הרובע היהודי. בימי המלחמה אספקת מזון ותרופות לרובע היהודי עברה דרך שער ציון.
מפקדת ארגון ההגנה הכינה תוכנית להשתלטות על ירושלים עם תום המנדט הבריטי. מטרת התוכנית, שנקראה מבצע קלשון הייתה ליצור רצף טריטוריאלי יהודי בירושלים, ועל ביצועה הופקדה חטיבת עציוני (היא חטיבת ירושלים). בתוכנית זו שולב גם מבצע שפיפון, שנועד להרחיב ולבסס את גבולות הרובע היהודי על ידי הכוחות המוצבים במקום. שער ציון ומספר נקודות אסטרטגיות היו להלכה בידי הצבא הבריטי, עד ל-13 במאי 1948. כאשר יצאו החיילים הבריטים האחרונים דרך שער ציון, הם מסרו את "מפתחות השער" לידי הרב ויינגרטן, ראש ועד יהודי העיר העתיקה שכונה "המוכתר של הרובע". הבריטים עזבו את ירושלים העתיקה והחדשה לקראת יציאתם את הארץ עד ה-15 במאי 1948. באותו היום הוכרז על הקמת מדינת ישראל בתל אביב.
ב-16 במאי 1948 פתחו הכוחות הערביים הבלתי סדירים במתקפה על הרובע היהודי ובבוקר 18 במאי התברר כי ללא תגבורת הוא עלול ליפול לידי התוקפים. דוד שאלתיאל, מפקד חטיבת עציוני ומרחב ירושלים, הכין תוכנית לפריצה אל הרובע היהודי. הכוח העיקרי של חטיבת עציוני אמור היה להיכנס דרך שער יפו, ומחלקה מן הגדוד הרביעי, גדוד "הפורצים" בחטיבת הראל של הפלמ"ח, בפיקודו של דוד אלעזר (דדו), אמורה הייתה לערוך התקפת הסחה על הר ציון. בשעה 23:00 בלילה, בין ה-18 ל-19 במאי 1948, החלה הפעולה המשולבת. הפריצה הגדולה דרך שער יפו נבלמה, עקב הגנה עזה מצד הערבים, אשר ישבו בעמדות מבוצרות בחומות העיר וסביבתן. כוח ההסחה, לעומת זאת, הצליח לחצות את גיא בן הינום סמוך לבריכת הסולטאן ולטפס ללא הפרעה כמעט במעלה הר ציון בעזרת דוידקה, תותח ומרגמות. הכוח התמהמה אמנם בלחימה, כאשר עבר מחדר אל חדר במתחם כנסיית דורמיציון, אך בתוך שעות ספורות היה הר ציון כולו בידי הפלמ"ח. בשל כך, הוחלט לנסות ולפרוץ אל הרובע היהודי דרך שער ציון, במקום התוכנית המקורית לפרוץ דרך שער יפו.
הודעה על הפריצה הועברה למטה הרובע, וכן נערכו תיאומים עם מפקדת חטיבת עציוני. סוכם כי כוח של עציוני יכנס בעקבות הכוח של הראל, ויתָגבר את מגיני הרובע. פיצוץ השער היה בשעה 02:00 לפנות בוקר, ודדו וחבריו שעטו פנימה. אך במהרה התברר כי חלק מן הלוחמים מותשים מימי לחימה ארוכים ללא מנוח. הם נרדמו בעת ההמתנה לפיצוץ, ואפילו הרעש הנורא לא הצליח להעירם. בעדות שנמסרה לאחר מכן סיפר יצחק רבין:
לאחר שהתעוררו, נכנסו לוחמי הפלמ"ח בשער ציון, וחברו לכוחות ההגנה והאצ"ל ברובע היהודי. המחלוקת מי ימשיך להחזיק בשער ציון, עוררה סכסוך בין מפקדת עציוני לבין מפקדת הפלמ"ח. הסכסוך גרם לנטישת שער ציון ללא שמירה והגנה. וכך אירע, שבאותו לילה עצמו, כאשר נכנס כוח של הלגיון הירדני לתוך העיר העתיקה, הוא תפס ללא התנגדות את שער ציון. ב 28 במאי נכנע הרובע.
בליל ה-16–17 ביולי 1948 נעשה ניסיון נוסף לפרוץ לעיר העתיקה ממספר כיוונים. על פי התוכנית, אחד מראשי חוד הכוח היה אמור לפרוץ את החומה בסמוך לשער ציון, במבצע שקיבל את השם מבצע קדם. עתה הוכנה תוכנית לפרוץ את החומה על ידי פיצוצה. מדעני חיל המדע פיתחו פצצות מיוחדות, שצורתן קונוס, על פי התצורה והמנגנון של הפצצות ששמשו את פורצי הסכרים במלחמת העולם השנייה (על בסיס מטען חלול). כיוון ששער ציון היה מבוצר ומוגן בידי כוחות הלגיון הירדני, הוחלט לבצע את הפריצה במרחק מה מערבה ממנו. קשיים רבים בהעלאת ה"קונוס" אל הר ציון על ידי הכוח, גרמו לכך שהוא הופעל לבסוף מעט לפני 05:00 לפנות בוקר. רעם הפיצוץ החריד את כל העיר, ודוד שאלתיאל ראה את ניצוצות הנפץ ממפקדתו בימין משה והיה משוכנע שהחומה נפרצה. הקונוס פגע בחומה, אך לא הצליח לפעור בה פתח, ולא התאפשרה פריצה לתוך העיר העתיקה.
תקופת העיר החצויה.
בתקופת "הקו העירוני" בה ירושלים הייתה מחולקת בין ישראל לירדן הר ציון היה המקום הקרוב ביותר לעיר העתיקה בשטחי מדינת ישראל הצעירה. צידו הירדני של קו הגבול, "הקו העירוני", עבר על חומת העיר העתיקה ושער ציון היה בתחומי ירדן. באותן השנים עלתה קרנו של הר ציון מאוד. הן מכיוון שזה היה האתר הקדוש העיקרי שנותר בידי מדינת ישראל לאחר שנחסמה הגישה למקומות קדושים מסורתיים יותר, והן מכיוון שמפסגתו הייתה תצפית יפה לכיוון הר הזיתים והעיר העתיקה.
בשנת 1950, הוקם בהר ציון סניף של האקדמיה לאמנות ועיצוב בצלאל, בבנין בית הספר גובאט שנשכר מהכנסייה הפרוטסטנטית.