הקרקע להקמת המבנה נקנתה על ידי קק"ל בתרומותיהם של יצחק גולדברג ואליהו כדורי, תכנון המבנה נמסר לידי האדריכלים פטריק גדס ופרנק מירס והוצאת התוכנית לפועל ניתנה בידי בנימין צ'ייקין. טקס הנחת אבן הפינה נערך ב-18 ביולי 1926. השלמת הבנייה התעכבה מספר שנים עקב המשבר של חברת סולל בונה ורעידת האדמה של 1927 וב-15 באפריל 1930 נערך טקס חנוכת הבית, שבו נאמו הנציב העליון ג'ון צ'נסלור, קנצלר האוניברסיטה יהודה לייב מאגנס ומנהל בית הספרים הלאומי שמואל הוגו ברגמן.