הבחירה במיקום זה נעשתה על ידי פיליפ לנגסטף אורד גיא אשר שימש כמנהל בפועל של מחלקת העתיקות המנדטורית. גיא הוא זה שהחליט להקימו במקום בו הוא ניצב עד היום, במקום להקימו במגרש הסמוך למלון המלך דוד (מקום שניצב בו היום ההיברו יוניון קולג'). לימים, הצטער על החלטה זו, שכן בעטיה נותר הבניין, שהיה מרכז הפעילות הארכאולוגית בארץ ישראל המנדטורית, בתחום שליטתה של ירדן.
שרידים ארכאולוגיים.
אזור כרם אל שייח' היה חלק מנקרופוליס - שדה קברים אדיר ממדים שהקיף את ירושלים. ראשוני חוקרי ירושלים המודרניים עמדו על קיומו של בית הקברות העתיק והארכאולוג הידוע שארל קלרמון-גנו סקר את האתר ותיאר מערות קבורה וסרקופגים שנמצאו בו. בשנות השלושים של המאה ה-20 ערכה מחלקת העתיקות של המנדט "חפירות הצלה" בטרם יוקם המוזיאון ובחפירות אלו נתגלו מערות קבורה, קברים וארונות קבורה מהתקופה הרומית והתקופה הביזנטית. בחפירות הצלה שנערכו בשטח המוזיאון בשנת 2001 בחצר מוזיאון רוקפלר לצורך הנחת קו ביוב נחשפו חמישה קברים ושרידים של מבנה גדול.
תכנון המוזיאון.
האדריכל הראשי של הפרויקט היה אוסטן סיינט בארב הריסון, מנהל מחלקת העבודות הציבוריות המנדטורית, שבמסגרת עבודתו תכנן, בין היתר, את ארמון הנציב, בניין הדואר המרכזי ובית המדפיס הממשלתי. לצורך תכנון המוזיאון יצא הריסון לסיור לימודים במוזיאונים ברחבי העולם והכין מספר תוכניות שבכולן מבנה שבמרכזו חצר פנימית.
בחודש נובמבר 1927 השלים הריסון את תוכנית הבניין, ובמקביל אף הוקם מדור מיוחד במחלקת העבודות הציבוריות שתפקידו היה לנהל את בנין המוזיאון. במשך כל זמן עבודות הבנייה שהה הריסון בארץ ישראל, אך עם סיום העבודות - בסוף שנת 1937, עוד לפני הפתיחה הרשמית של המוזיאון, עזב את הארץ, אליה לא שב יותר.
האלמנט מעורר המחלוקת בתוכנית היה המגדל המתומן המתנשא מעל הכניסה הראשית למוזיאון. ההתנגדות נהדפה על ידי ברסטד - שהיה נציגו של רוקפלר בפרויקט, שראה במגדל חלק בלתי נפרד מהמבנה, אך דרש כי המגדל לא יתחרה במגדלים וצריחי הכנסיות והמסגדים שבעיר העתיקה.
הצורה המתומנת היא אלמנט אדריכלי מהתקופה הצלבנית, שמקורותיו נעוצים, ככל הנראה, בהשפעת המבנה המונומנטלי של כיפת הסלע, ובאים לידי ביטוי בכנסיית העלייה. אלמנט זה משתקף במגדלים המרכזיים של ארמון הנציב ומוזיאון רוקפלר- מבנים שהוקמו בתקופת המנדט על ידי השלטון הבריטי, שראה עצמו כממשיך דרכם הישיר של הצלבנים.
במכתב למנהל מחלקת העתיקות של המנדט מיום ה-28 בינואר 1928 מספר ברסטד על התרשמותו מהתוכנית ומציין כי אצילותו של המבנה המוצע, עיצובו המכובד והמאופק עוררו בו התפעלות.
טכנולוגיה וחומר.
על פי תפיסתו של הריסון, תפיסה שבאה לידי ביטוי גם בארמון הנציב, נבנה המוזיאון בשילוב של טכנולוגיות מסורתיות וטכנולוגיות מודרניות. כך שולבו במבנה אלמנטים של גגות מעוטרים בכיפות - ואלו חוזקו בבטון מזוין. סיתות האבן בשיטות וסגנון מקומי נתמך על ידי קירות בטון וקונסטרוקציית ברזל. מערכת אספקת המים לבנין נעשתה- ככל בנין שנבנה בארץ באותה תקופה - באמצעות בורות אגירה.
תשומת לב מרובה ניתנה לפרטי הבנייה, וזו ניכרת באיכות החומרים וברמת הביצוע הגבוהים, המייחדים את הבניין.
לציפוי קירות המוזיאון בחר הריסון באבן מקומית שצבעה לבן, ומקורה כנראה במחצבות שבדרך בין ירושלים ליריחו. האבן מסותתת בסיתות "תלטיש" ואילו פרטי הבנייה מסותתים בסיתות עדין יותר. תשומת לב ניתנה לעבודות העץ בבניין – הדלתות עשויות עץ אגוז שיובא מטורקיה. מסגרות המתכת לחלונות יוצרו באנגליה לפי הוראותיו של הריסון וכך גם פרטי עבודות המתכת הדקורטיביות ובהם הידיות, המנעולים והבריחים.
דלתות הכניסה שבשער הכניסה המרכזי (משקלן כ-700 ק"ג) צופו בלוחות נחושת מעוטרים באלמנטים מהאומנות המוסלמית של צפון אפריקה- מוטיב של ארבעה מלבנים. בריצוף המוזיאון נעשה שימוש בשני חומרים: בחללים בעלי תקרות גבוהות נבנתה רצפה של לוחות שעם שעמעמו את רעש המבקרים. במקומות אחרים רוצפו האולמות בלוחות אבן גיר ובחללים שלא לשימוש הציבור נעשה שימוש במרצפות מלט. קירות הבניין חופו מבפנים בטיח גס עשוי גרגרים גדולים.
כמקובל ברבים מהמוזיאונים שנבנו בתחילת המאה העשרים נעשה שימוש באור השמש לצורכי תאורה. כך נבנו חלונות גבוהים ורחבים הממוקמים בחלקם העליון של הקירות על מנת לאפשר כניסה מקסימלית של אור, ובמקביל למנוע קרינה ישירה על המוצגים. באולמות הכניסה ובאולמות המקשרים את אגפי הבניין תלויות מן התקרה נברשות זכוכית, המעוצבות כגופים מרובי צלעות או ככדורים.
עיצוב.
הפסל והטיפוגרף הבריטי אריק גיל הוזמן מאנגליה על ידי הריסון על מנת לעצב את השילוט ואחד עשר תבליטי אבן המקשטים את המוזיאון.
מעל לשער הכניסה תלוי לוח ובו תיאור של עץ עבות הצומח בין אסיה לבין אפריקה ומציג את מפגש התרבויות, כדי לשקף את התפיסה התרבותית הרואה בארץ-ישראל גשר בין מסופוטמיה למצרים.
משני עברי החצר המרכזית נקבעו עשרה תבליטי אבן מרובעים המתארים את התרבויות שהטביעו את חותמן על ההיסטוריה של ארץ-ישראל: כנען, מצרים, יהודה, פיניקיה, אשור-בבל, יוון, רומי, ביזנטיון, אסלאם והצלבנים.
על קירות האבן של הבניין נחקקו כתובות הכוונה בצבע אדום בשלוש שפות אנגלית, עברית וערבית. הסגנון של הכתובות העבריות נשמע מעט ארכאי: "בית הספרים", "המשומן (במקום מתומן) הצפוני", "מלבושים" (במקום מלתחה), וכדומה. צורת האותיות העבריות, גם היא, נראית משונה. אריק גיל לא ידע צורת אות עברית. את ההשראה לאותיות העבריות הוא קיבל מן האותיות המופיעות בכתובת ציון עוזיה מלך יהודה שהתגלתה באותה עת בירושלים.
אופי המוצגים.
שאלת אופיו של המוזיאון ואופיים של המוצגים בתצוגה היה נתון למחלוקת בין המנהל הממונה של המוזיאון, ג'ון אייליף, שגרס כי המוזיאון צריך להיות גם מוזיאון אתנוגרפי ערבי, לבין ברסטד שהתנגד לגישה זו, ובתמיכתו של רוקפלר קבע כי המוזיאון יהיה ארכאולוגי בלבד באופי מוצגיו, ולא יוצגו בו נושאים היסטוריים, ביולוגיים או אתנוגרפיים.
האוסף עצמו נבנה באופן מקרי והוא מייצג את החפצים הארכאולוגיים העיקריים שנתגלו בחפירות המרכזיות שנערכו ברחבי ארץ-ישראל בראשית המאה העשרים - שומרון, בית שאן, לכיש, מגידו, תל בית-מרסים, אשקלון, ואתרים נוספים. המוזיאון מציג ממצאים החל מהתקופה הפרהיסטורית, כגון ממצאים מחפירות נחל מערות, ועד תקופת ימי הביניים.
ארונות התצוגה מסודרים באופן סימטרי ובהן מוצגים החפצים המיועדים לקהל. בארוניות שמתחת לוויטרינות מאוחסנים חפצים אחרים, שמקורם באותן החפירות.
אופן התצוגה.
במאמר ביקורת מאת איתן דור-שב על חלקם של מוזיאונים בירושלים בהדחקת ההיסטוריה היהודית והפן הלאומי הישראלי בתצוגה הקבועה, מובא התיאור הבא על התצוגה במוזיאון רוקפלר:
שליטה במוזיאון וניהולו.
מועצת הנאמנים.
משהתקרב שלטון המנדט לקיצו ומתוך רצון לשמור על אופיו המיוחד של המוזיאון, החליט הנציב העליון למנות מועצת נאמנים בינלאומית שבידיה הופקד ניהול המוזיאון ובה היו חברים מאוניברסיטאות ואקדמיות למדעים מאירופה והמזרח התיכון. חבר במועצת הנאמנים מטעם היישוב היהודי היה פרופ' אלעזר ליפא סוקניק. סוקניק תושב מדינת ישראל הצעירה לא זכה להשתתף בישיבה כלשהי של מועצת נאמנים זו.
שלטון ירדן.
במהלך מלחמת העצמאות כבש הלגיון הירדני את אזור המוזיאון, ככל אזור העיר העתיקה וסביבתה. בהסכמי שביתת הנשק בין ירדן לישראל נקבע שלישראל יהיה חלק בניהול המוזיאון. הסכם זה לא כובד והמוזיאון הולאם בידי המלך חוסיין ב-1966 ועבודת מועצת הנאמנים הגיעה לסיומה.
תחת ניהול ירדני נכנס המוזיאון לתקופה של "תנומה" וקיפאון. רוב הממצאים שנחפרו בגדה המערבית הועברו למוזיאון לארכאולוגיה של ירדן בעמאן, והבולטת בהם היא מגילת הנחושת מן המגילות הגנוזות. הספרייה לא עודכנה מאז תום המנדט והמוצגים לא התעדכנו. הירדנים טרחו והדביקו סרטים דביקים על החלק העברי בשלטים מתקופת המנדט. גם כספי הקרן לתפעול המוזיאון ומחלקת העתיקות הולאמו בידי השלטונות.
מלחמת ששת הימים.
במלחמת ששת הימים, ב-5 ביוני 1967, חצו כוחות של חטיבת ירושלים את הקו העירוני וכבשו את ארמון הנציב. ביום השני למלחמה, 6 ביוני, גדוד 28 של חטיבת הצנחנים 55 פרץ דרך שטח ההפקר לכיוון מוזיאון רוקפלר לאחר קרב עקוב מדם באזור שער שכם, בקטע שכונה "סמטת המוות", התקדם אל מתחם המוזיאון וכבש אותו בשעה 07:30 לאחר קרב קצר. האתר שימש מיד לחפ"ק של מפקד החטיבה, מרדכי גור, אליו התלוו שלושה ארכאולוגים מהאוניברסיטה העברית שדאגו לשלום המוצגים הארכאולוגיים יקרי הערך שבמוזיאון. קיימות עדויות על-פיהן עם פרוץ הלחימה בירושלים נערכו הירדנים להעביר את הממצאים החשובים לירדן, אך לא הספיקו.
המבנה היה עדיין תחת אש צלפים של הצבא הירדני בעת שמפקד חטיבת הצנחנים קיבל הנחיות מפיקוד המרכז בראשות עוזי נרקיס: "בכוונתי לכתר את העיר העתיקה וליצור מצב לכניעתה. לחלופין ייתן הכיתור קרש קפיצה לכיבוש העיר". על הצנחנים הוטל להתארגן במתחם המוזיאון, שם הייתה מפקדתו של מוטה גור ולהתכונן לכיבוש המוצבים במתחם אוגוסטה ויקטוריה. בשעה 19:00 יצא כוח מגדוד 28 לכיוון הרכס, אך טעה בפנייה ונכנס למארב ירדני בסמוך לשער האריות. לאחר שעות של קרב אינטנסיבי חזר הכוח למתחם המוזיאון. למחרת היום קרסה ההתנגדות הירדנית, ובירושלים נותרו כוחות קטנים שלא יכלו להתנגד למהלך ההתקפי הבא, ולאחר כיבוש הר הזיתים נותרו מכותרים ועם מעט תחמושת. בשעה 9:45 יצאו הצנחנים ממתחם המוזיאון ופרצו אל תוך העיר העתיקה דרך שער האריות.