אחר כיבוש ירושלים בידי הבריטים בשנת 1917 הולאם מתחם אוגוסטה ויקטוריה והפך למפקדה הראשית של הצבא הבריטי בארץ ישראל. כשהתחילה תקופת המנדט הבריטי בשנת 1920 אכלס המבנה את מוסדות השלטון, והנציב העליון, הרברט סמואל, עבר להתגורר בו למשך חמש שנים. בין השנים 1925–1927 התגורר במבנה אוגוסטה ויקטוריה הנציב העליון, הפילדמרשל הרברט פלומר, אך אז פקדה רעידת אדמה קשה את ירושלים, וסדקה את המבנה. בעקבות כך עבר הנציב העליון להתגורר באופן זמני בבית מחניים ברחוב הנביאים, ובמקביל החלה בנייתו של מבנה חדש שייועד לשמש כמגורים רשמיים ומרכז שלטוני, לאחר שנבדקו אתרים רבים ברחבי ירושלים הוחלט לרכוש אתר בג'בל מוכבר ממזרח לשכונת תלפיות. במקום נבנה ארמון מפואר, מבנה המשדר רשמיות ופאר תוך שימוש מושכל באלמנטים עיצוביים ארכיטקטוניים אירופאים, ומזכיר מבני ציבור שנבנו ברחבי האימפריה בכלל ומבנים מנדטוריים בפרט כדוגמת מוזיאון רוקפלר. טכנולוגיות בניה מודרניות וחומרים מודרניים כגון בטון שולבו עם טכנולוגיות מסורתיות האופייניות לאזור וחומרי בנין מסורתיים מקומיים כגון אבן ירושלמית. למתבונן מקרוב מזכיר המבנה, בזכות שימוש באלמנטים מקומיים, מבנים ואופי של כפרים ערביים ומשקף את אופייה של העיר העתיקה עליה הוא צופה. אחד האלמנטים המוסלמיים-ערבים הבולטים היא צורת המתומן המשולב בעיצובים רבים במבנה – החל מהמגדל והמזרקה וכלה בריצוף במרפסת המובילה לגינה המזרחית, עיצוב דלתות אולם הנשפים. עם אישור סופי של תוכנית הבניין בשנת 1928 החלה מלאכת הבניה ובשנת 1933 נחנך הבניין בטקס מפואר. בארמון התגוררו ארבעה נציבים עליונים שהשתמשו בארמון לניהול המנדט וניצלו את המבנה המפואר לקבלות פנים ומסיבות רשמיות ששמן יצא למרחוק. ביומו האחרון של המנדט הבריטי, העבירו הבריטים את המבנה לארגון הצלב האדום והמבנה שימש כמטה הארגון במהלך מלחמת העצמאות.