בדצמבר 1917 העלה מייג'ור-גנרל דאוניי (Dawnay), אחד מיועציו של גנרל אלנבי, שהיה בקיא במסורות ארץ ישראל, הצעה לפתוח את שער הרחמים כך שהגנרל אלנבי יכנס לירושלים כמו ישו, הרקליוס וגודפרי מבויון לפניו, וזאת על מנת "להגשים את הנבואה המוסלמית העתיקה" על בואו של משיח הנוצרים דרך השער ואף לנצל את תעתיק שמו לערבית אל-נאבי (הנביא). אלנבי, שהתנער מכל יומרה משיחית, סירב לכך.
במסורת היהודית.
בתקופה הערבית זכה השער להיות אחת הנקודות החשובות ביותר במסורת סיבוב השערים של קהילת הקראים בירושלים (קהילת אבלי ציון) ונערכו מולו תפילות, בקשות וקינות. המתפללים התלוננו על כך שהערבים הפכו את המקום למקום זריקת אשפה ובית קברות. כך למשל בקינת "אבלי ציון" נאמר: "שער הקדים היה מעבר לטמאים ועווילים", תפילת סלמון בן ירוחִם בה נאמר: "והנה היום כל שעריו עזובים נטושים, ועל שערי קדים קברי זדים ארורים" והקדמת סהל בן מצליח ל"ספר המצוות": "ואחינו האבלים לילה ויומם לא יחשו בראותם מטות המתים מובאות אל המקום אשר עמד שם ארון האלוהים, ואחרי יוציאם לקברם סביבות המקדש".
מסורת יהודית נוספת, נפוצה מאוד בימי הביניים, מקשרת את שער הרחמים עם מדרש אגדה המתייחס ל (כל הנכנסין להר הבית, נכנסין דרך ימין ומקיפין ויוצאין דרך שמאל – חוץ ממי שאירעו דבר, שהוא מקיף על השמאל. מה לך מקיף לשמאל? שאני אבל – השוכן בבית הזה ינחמך; שאני מנודה – השוכן בבית הזה, ייתן בליבם ויקרבוך, דברי רבי מאיר) וקושר אותה לימי מקדש שלמה, הקיים במקורות במספר מקבילות :"ראה שלמה כת של גומלי חסדים ובנה להם לישראל שני שערים אחד לחתנים ואח' לאבלים ולמנודים. בשבת היו מתקבצין יושבי ירושלים ועולין להר הבית ויושבין בין שני שערים הללו כדי לגמול חסדים לזה ולזה". ר' אשתורי הפרחי (1322), כתב למשל: "מסתבר שהם אותם שני השערים שעשה שלמה לגמול חסדים אחד לחתנים ואחד לאבלים ומנודים וכמו שנזכר [ב]מסכת סופרים". יצחק חילו (1333) כתב: "לפנים היו שני שערים אחד לחתנים ואחד לאבלים כמו שאמרו בפרקי דר' אליעזר"; מסורת זו שבה ונזכרת גם אצל משולם מוולטרה (1481) ואצל משה באסולה (1522), שציין: "יש לבית המקדש ב' שערים מברזל סגורים... וקורין להם "שערי רחמים" ואומרים שבאחד היו נכנסים החתנים ובאחד האבלים".
היותו של השער סתום, סייעה להעצמת ההגות והמסורת היהודית על המשיח המתמהמה והנחסם בידי כוחות זרים. לאחר חסימת השער, הפך האזור שמחוץ לכותל המזרחי לבית קברות מוסלמי. יש אמונה בקרב היהודים, שהמוסלמים מבקשים בכך למנוע את ביאת המשיח, בחשבם שאליהו הנביא הכהן לא יוכל לעבור בבית הקברות, שמא ייטמא, ובכך תעוכב גאולתם של היהודים. אולם בהלכה היהודית קיימות דעות כי בית קברות של גויים אינו מטמא, אלא רק מגע ישיר במת או בנשיאתו.
במסורת הנוצרית.
על פי המסורת הנוצרית שער הרחמים הוא השער דרכו נכנס ישו לירושלים. זהו גם מקום פגישתם המסורתי של יהויקים הקדוש ואנה הקדושה, הוריה של מרים, אם ישו שנקרא בבשורה האפוקריפית פסאודו-מתי בשם "שער הזהב".
בתרבות.
משנת 1977 צורף דימוי שער הרחמים בשטר של 500 לירות, ומשנת 1980, בשטר של 50 שקל, שהנפיק בנק ישראל.
בשירו של מאיר בנאי, "שער הרחמים", מוזכר השער מספר פעמים.
מוזיאון רוקפלר
מוזיאון רוקפלר הוא מוזיאון לארכאולוגיה המסונף למוזיאון ישראל, אך שוכן בנפרד ממנו במזרח ירושלים, בסמוך לשער הפרחים. במבנה המוזיאון שוכנים גם משרדי רשות העתיקות. המוזיאון, שהוקם על ידי שלטונות המנדט הבריטי ונחנך בשנת 1938, קרוי על שמו של הנדבן האמריקני הנודע ג'ון ד. רוקפלר, הבן.
במוזיאון ממצאים ארכאולוגיים רבים וחשובים מאזור ירושלים ומארץ ישראל כולה. בין הממצאים בולטים עצמות האדם הקדמון ממערות האדם הקדמון בכרמל, אוסף תכשיטי הזהב שנתגלו בתל אל-עג'ול ובבית שמש, אוצר שנהבי מגידו, מכתבי לכיש, תבליטי הסטוקו מן הארמון האומיי מח'רבת מפג'ר שליד יריחו, ספיני עץ אומיים מהר הבית ומשקופי אבן מגולפים, מן התקופה הצלבנית מכנסיית הקבר.
הקמת המוזיאון.
עם תום השלטון העות'מאני ותחילת שלטון המנדט הבריטי בירושלים, היו מוסדות התרבות בירושלים מעטים והתרכזו בעיקר במוסדות דת. התפתחות העיר הביאה לפריחה של חיי התרבות מחד גיסא ומחקר מדעי, ואיסוף של ממצאים ארכאולוגיים מאידך גיסא. כל זה עמד בסתירה לעושר הארכאולוגי העצום מרחבי המזרח התיכון שנבע מעיסוקן של מעצמות אירופה זה עשרות שנים בחשיפת צפונות העבר. שלטונות המנדט הבריטי, שראו עצמם כממשיכי דרכם של הצלבנים וכן של בני ישראל, גילו עניין רב בגילוי עברה ההיסטורי של ירושלים וארץ ישראל וטיפוח המחקר הארכאולוגי בארץ. כך אירע שמבנה התרבות היחיד שנבנה על ידי ממשלת המנדט בארץ (במימון תורם אמריקני) הוא מוזיאון לארכאולוגיה - מוזיאון רוקפלר, שמבנהו נחשב לאחד היפים בירושלים.
בנובמבר 1919 הגיש האדריכל פטריק גדס תוכנית מתאר לעיר ירושלים, שנודעה בשם תוכנית גדס, ובה הוצע להקים מוזיאון ואקדמיה למחקר ארכאולוגי בסמוך לחומות העיר העתיקה. ייתכן והרעיון להקמת המוזיאון באתר ניטע בליבו של גדס בעקבות מכתבו של בוריס שץ אליו לפני הגשת התוכנית שפורסם בסופו של דבר בעיתון "הארץ" בשנת 1920. במכתב זה שטח בפניו את חזונו המקיף לתכנון ירושלים.
עם התבססות שלטון המנדט והתגברות המחקר המדעי בארץ ישראל החלו ממצאים ארכאולוגיים להיערם במשרדי מחלקת העתיקות של ממשלת המנדט הבריטי. תוכנית מפורטת למוזיאון מרכז מחקר ומרכז לוגיסטי בירושלים הוגשה בשנת 1924. המוסד המתוכנן נועד להצטרף לשלושה מוזיאונים קטנים שפעלו בירושלים: "המוזיאון הפרנציסקני המקראי" שנבנה בשנת 1902, "המוזיאון היווני האורתודוקסי" שהוקם בשנת 1922 ו"מוזיאון האסלאם" שהוקם בשנת 1923 על הר הבית.
הארכאולוג והאגיפטולוג ג'יימס הנרי ברסטד מהמכון האוריינטלי של אוניברסיטת שיקגו גילה עניין בפרויקט המוזיאון ושכנע את המיליונר האמריקני הנודע ג'ון ד. רוקפלר, הבן לתרום שני מיליון דולר להקמת המוזיאון בירושלים ולאחזקתו. תרומתו של רוקפלר, שהוכרזה במכתב אל הנציב העליון, הלורד הרברט פלומר, ב-13 באוקטובר 1927, נחלקה לשניים: מחצית הסכום נועדה להקמת הבניין, ומחציתו השנייה הושקעה בקרן, שנועדה לממן את הפעילות השוטפת.
בנייה.
לביצוע מלאכת הבנייה נשכרו שירותיה של החברה הקבלנית ארנסטו די א' דה פארו. חברת בנייה איטלקית שביצעה את מירב עבודות הבנייה של ממשלת המנדט. לחברה היו משרדים בלונדון, קהיר ואלכסנדריה. החברה בנתה בירושלים את ארמון הנציב, בניין ג'נרלי, הכנסייה הסקוטית, וסללה את רחוב המלך ג'ורג' בירושלים. בבנייה הועסקו בעיקר פועלים ערבים; מתוך כ-160 פועלים באוגוסט 1931, רק שמונה היו יהודים.
אבן הפינה הונחה ב-19 ביוני 1930, בנוכחות הנציב העליון סר ג'ון צ'נסלור. הבנייה בוצעה תוך שיתוף פעולה עם המהנדס יהודה שפירא. אף על פי שהבנייה אמורה הייתה להימשך שלוש שנים היא התארכה מסיבות שונות, שכללו קשיים באספקת אבנים לציפוי הבניין, חפירות הצלה, והצורך להעמיק את יסודות הבניין. אי לכך נמשכה הבנייה חמש שנים, וב-20 במאי 1935 עברה מחלקת העתיקות לבניין החדש. בהמשך השנה רוכזו בו עתיקות לקראת פתיחת המוזיאון, שתוכננה לאביב 1936.
המוזיאון נפתח לקהל הרחב ב-13 בינואר 1938 ונקרא בשם המוזיאון הארכאולוגי של פלשתינה – א"י Palestine Archaeological Museum. עם הקמתו של המוזיאון ומעבר מחלקת העתיקות המנדטורית אליו, היה זה המוסד היחיד מבין מוסדות הממשל שהיו בידיו בניין ראוי לשמו ותקציב נדיב לשם פעילות יום-יומית.
חנוכת הבית החגיגית של המוזיאון בוטלה, לאחר שאחד האורחים ג'יימס לסלי סטרקי, ארכאולוג נודע, נרצח בדרכו לטקס בידי כנופיית ערבים חמושים, שהסלימו את מאורעות תרצ"ו-תרצ"ט והחלו לתקוף בריטים. מייסדי המוזיאון לא זכו לראותו ממלא את ייעודו. האדריכל הריסון עזב את ארץ ישראל לפני הפתיחה, היזם ג'יימס הנרי ברסטד ביקר במבנה באוקטובר 1935 אך נפטר מדלקת ריאות בדרכו ממסע מחקר במצרים חזרה לביתו בארצות הברית, והתורם רוקפלר מעולם לא ביקר במקום.
מיקום המוזיאון.
כרם השיח'.
האתר שנבחר להקמת מוזיאון רוקפלר היה ידוע בתקופה העות'מאנית בשם כרם א-שייח' על שמו של שייח' מוחמד אל-ח'לילי החברוני, שהיה המופתי השאפעי של ירושלים במאה ה-17. בשנת 1711 בנה באתר זה, על גבעה מול הפינה הצפון מזרחית של חומות ירושלים, את מעון הקיץ שלו - העומד במקום גם בתחילת המאה העשרים ואחת. מאחורי המוזיאון, ובו שוכנת מחלקת השימור של רשות העתיקות.
מדובר בבית שהוא אחד הבניינים הראשונים שנבנו מחוץ לחומות העיר העתיקה. הבניין בן שתי קומות - קומת הקרקע של הבניין שימשה בית-בד, והקומה השנייה הייתה קומת המגורים. שיח' אל-ח'לילי היה פעיל ביותר והיו לו מיזמים רבים. הוא עודד רבים לבנות בתים מחוץ לחומות ובזמנו היו כמאה קַסְרים (ארמונות קיץ). השייח' כתב בצוואתו שבנוסף על הרצון לחיות בחיק הטבע בעונת הקיץ, שהייתה משופעת במגיפות ובזיהומים שנפוצו בתוך החומות, נוספה השאיפה לעסוק בפיתוח חקלאי ואף שיקול ביטחוני – להגן על העיר ועל הארץ מפני חדירת זרים.
רכישת האתר.
בשנת 1906 תכננה הקרן הקיימת לישראל לרכוש את קצר אל-שיח' - האתר עליו הוקם המוזיאון - במטרה לבנות עליו את האקדמיה לאמנות ועיצוב "בצלאל", לפי חזונו של בוריס שץ, שרצה להקים באתר מכלול של "מוסדות לאומיים" עבריים - ספרייה לאומית ומוזיאון לציון פועלו של הרצל, על הגבעה שממנה "יחלוש המבט על מקום המקדש". למרות ההתלהבות הרבה, הביא המשא ומתן הלא תכליתי מצד ההנהגה הציונית ותאוות הבצע מצד בעלי המגרש שהעלו את מחירו יותר ויותר להכשלת העסקה.