בית החולים הוקם במקור במבנה שכתובתו היום היא חורב 2. המבנה תוכנן ב-1935 על ידי האדריכל משה גרשטל, ככל הנראה, כמלון בן שלוש קומות, אך עקב פרוץ המאורעות מחד, ועליית יהודי גרמניה מאידך, שימש כ"בית עולי גרמניה" של התאחדות עולי גרמניה. בעת הבנייה, תוכנן במקום גם סליק גדול שהיה שייך להגנה. בתקופת מלחמת העולם השנייה, נסגר בית העולים עקב הפסקת העלייה, והמקום נרכש על ידי קופת חולים הכללית. המטרה הייתה להקים בו בית חולים למחלות פנימיות. היוזם להקמתו של בית החולים ומי ששימש כמנהלו במשך 25 שנים היה ד"ר גרהרד רוזנקרנץ, יליד גרמניה, אשר עלה לישראל ב-1933.