משפחת קלר (יורשיו של פריץ ואחיו) החלה למכור את אדמותיה. בתחילה ניסו למכור את המגרשים לפרידריך בירינג (מיסיונר שוודי פרוטסטנטי) ואלכסנדר אנגלהרדט שתכננו לקנות את כל שלוחת כרמל מערבי של היום ולבנות במקום כפר נופש. בירינג כבר הביא צריפים שוודיים שיהוו את מגורי כפר הנופש, אך המלחמה תפסה אותו לפני שהשלים את תוכניתו. בתכנונם היה לבנות גם רכבל (תוכנית הרכבל לא הייתה חדשה לחיפה והוצגה גם בספרו של הרצל "אלטנוילנד" ובתכנונים מאוחרים יותר של פטריק גדס וריכרד קאופמן). במהלך המלחמה גורשו השניים וככל הנראה הופסקו התשלומים על הקרקע. הפסקה זאת גרמה למוכרי הקרקע לראות בכך הפרת ההסכם.
אפ"ק והכשרת היישוב, באמצעות יחיאל ויצמן, יהודה גרזובסקי וארתור רופין החלו בקניית השטחים במאמץ בינלאומי והצליחו לבסוף לקנות את רוב שטחי קלר, אונגר (אחד מעשירי המושבה הגרמנית שביתו נמצא ברחוב יפו ושנרצח על רקע סכסוכי קרקעות על ידי תושב טירה) ויונג. כאן הופיע לראשונה השם "כרמל מרכזי" כשם שמייצג את האדמות הללו. מקור המימון היהודי היה ביתרות מזומנים שנשארו בסניף החיפאי של בנק אנגלו-פלשתינה שנותק מסניפיו האחרים בדרום הארץ ועל מנת שהכסף לא יאבד את ערכו השתמשו בו לרכישת קרקעות על הכרמל.
רכישות נוספות בוצעו על ידי משפחת גבריאלוביץ ויצחק לייב גולדברג שקנה את ביתה של פון באנוורט. גולדברג הרס את הבית המקורי ובנה תחתיו בית חדש ושמו "בית רחל". בית זה עמד שנים שומם ונהרס בשנות ה-90. על שמו של גולדברג נקרא רחוב שדרות יצחק הניצב לרחוב קלר ובו בתים רבים שנבנו על ידי היהודים קוני המגרשים. בבניין ליד בית רחל נפתח ב-1934 "קפה פרנק". במלחמת העולם השנייה נסגר בית הקפה ובמקומו נפתח בית קפה ומועדון ריקודים בשם "טברנה".
על פי התוכנית של צבא בריטניה, אמור היה הגדוד ההודי של חטיבה 15 של צבא הוד מלכותו, לכבוש את התותחים הגרמניים (שנמצאו באזור הכניסה לגנים הבהאים של היום) מכיוון נשר של היום לאורך ה"דרך העליונה" עד כרמלהיים. העלייה הקשה נתנה אותותיה בסוסים ורק 15 מהם הבקיעו את המערך הגרמני על הכרמל. הבריטים נתקלו בהתנגדות באזור כיכר הקיסר.
ימי המנדט.
יישוב היהודים בשכונה.
לאחר מלחמת העולם הראשונה החלה חברת הכשרת היישוב במכירת הקרקעות שרכשה. תחילה פנתה לפטריק גדס, הוגה תוכנית גדס בתל אביב, על מנת שיתכנן עבורה את השכונה החדשה. גדס, ועוזרו מירס, לא הצליחו לסיים את העבודה אך סימנו כ-250–300 מגרשים של שלושה דונם כל אחד. כמו כן תכננו השניים דרך משכונת הדר הכרמל לכרמל המרכזי. עיקרי התוכנית היו:
גדס לא סיים, כאמור, את עבודת התכנון, ואת המשך התכנון ביצע ריכרד קאופמן, שהשתמש בתוכניותיו של גדס כבסיס לעבודתו. לרשותו עמדו כ-1,500 דונם טורקיים (כ-1,380 דונמים מטריים) מחולקים ל-200–300 מגרשים בני שני דונם כל אחד. עיר הגנים, שהיוותה מאפיין מובהק של תכנוני קאופמן בחיפה, היוותה גם כאן את הבסיס המרכזי בתכנון השכונה. כבהדר, בת גלים ונווה שאנן, תכנן קאופמן יצירת רחובות על בסיס קווי הגובה הטופוגרפיים הטבעיים, ובקצותיהם גנים. רעיון זה, שדוגמתו הקלאסית היא בהדר ברחובות הרצל, פבזנר ואחרים, והגנים גן בנימין וגן הטכניון, נוסה גם כאן בכרמל. הגנים שתכנן קאופמן היו גן האם וכיכר רקפות, ואילו הרחובות הם אותם רחובות שקיימים גם כיום.
שני המגרשים הראשונים (בשדרות הנשיא פינת רחוב אלחנן) נמכרו לאברהם ספקטור, בעל בית המרקחת היהודי הראשון בחיפה, וכך גם נטבע השם "מרכז הכרמל", שכן מכאן החלו להימנות המגרשים. על אף המלחמה, רכשו רבים ביישוב מגרשים על הכרמל ובהם הלל יפה, וילבושביץ, בלקינד, הצלם צבי פייגין, המורה מאיר בן-עמי, אנה טיכו.
אל הכרמל חזרו בתקופה זאת מקצת מהטמפלרים שעזבוה בתקופת המלחמה.
הבניינים הראשונים קמו בעיקר באזור המישורי (לימים מרכז הכרמל), שכן כאן הייתה קיימת, עדיין, התשתית הגרמנית. המתיישבים החדשים הקימו את 'ועד הר הכרמל', ששימש בתחילה בעיקר כאגודת מים (ראו להלן). בראשות ועד זה עמד יעקב מושלי, שבתיו נמצאים כיום ברחוב מחניים 16. בתים אלו היו רק חלק ממתחם גדול יותר שהיה שייך למושלי, שכללו אף מגרש טניס. מושלי תכנן ובנה בתים בצורת צלב, תוך ניצול מרבי של השטח (בתחילת רחוב שושנת הכרמל כיום).
האדמות סביב מגדל המים ניקנו על ידי משפחת מרדכי בן-ציון ומקורביהם, וכונו במשך שנים שכונת בן-ציון. האדמות נקנו בגיבוי בנק אמריקה-א"י שהוקם על ידי בן-ציון. סביב מתחם ייחודי זה נבנו בתי מלון והוקמו תחנת כיבוי אש ותחנה מטאורולוגית.
מרכז הכרמל (המרכז המסחרי עצמו) נבנה מתוך ראייה אורבנית ארוכת טווח. המרכז, שבבסיסו נשאר כפי שתוכנן, בנוי מפסאז', שורות חנויות ומעליהן שתי קומות מגורים. בתחילה התנגדו התושבים לבניית המרכז המסחרי, בעיקר מסיבות של רעש.
באדמות בירינג הוקם בשנים 1947-1946 מתחם מגורים לעובדי בתי הזיקוק, אשר היה שכונה סגורה, מוקפת חומה ושמירה בשערה (כיום רחוב הצופים). המתחם תוכנן על ידי האדריכל אלפרד גולדברגר (Alfred Goldberger), האדריכל שתכנן את בניין הקזינו בבת גלים. חדר השמירה שופץ בסוף המאה ה-20.
פנחס רוטנברג בנה אף הוא את ביתו בשכונה (בשדרות הנשיא 77). עם השלמת הבנייה הוא עזב את בית הטירה ועבר לבניין החדש, אך הוא הספיק להתגורר בבניין זה רק כשנה. הבית תוכנן על ידי שמואל רוזוב ונחנך ב-1939. רוטנברג הוריש בצוואתו את הבית ואת הגן הנרחב מוקף החומה לטובת פעילות חברתית. חדר העבודה של רוטנברג שומר, ומהווה מעין מוזיאון קטן לפעילותו הענפה. בבניין מרפסות גדולות, שאפיינו של בנייניו של רוזוב. רוטנברג אף ביקש מרוזוב לתכנן גם הוא רכבל שיוביל מהדר הכרמל אל מרומי הכרמל.
בקרבת מקום נמצא "בית הציידים". בית זה היה שייך למשפחת נגלר שהיוותה חלק מקבוצה שרצתה לבנות יישוב עם בתים הדומים לבתי הקיץ שהיו ברשותם ביער השחור בגרמניה. הבית תוכנן על ידי אלכסנדר ברוולד בקצה הצפון-מערבי של כרמלהיים. לאחר קום המדינה נקנה הבית על ידי קרן רוטנברג, שומר, והוא מהווה כיום חלק ממתחם בית רוטנברג. הבית נבנה מעץ, ושרידים המעידים על כך נמצאים בפנים הבית.
בית נוסף שתוכנן על ידי רוזוב הוא הבית שנמצא כיום בשדרות הנשיא 139, שתוכנן בתחילה כבית מלון עם כ-40 חדרים ואף חמאם טורקי, אך בלחץ התושבים שונה ייעודו והפך לבית מגורים.
חברת קלאב כרמל ספורט, בניהולו של מר הורוביץ, יזמה הקמת מועדון ספורט על מגרש של 3.8 דונם ב-1941 באדמות בירינג. התכנון הופקד בידי רוזוב, אך מתכנון זה נשארו רק מגרשי הטניס בשדרות הצבי.
בתקופה זו נפתחה שלוחה של בית הספר הריאלי בשכונה בהנהלת עמנואל יפה. מיקומו נבחר כך שלא יילקח מקצבת המגרשים המיועדים למכירה. השלוחה, שנקראה "המכינה" כללה בעת הקמתה רק כיתות א'-ד', ורק בהמשך נוספו כיתות ה'-ו'. מקום בית הספר קרוב לשטח בו הקים פנחס כהן, מורה מבית הספר, את היסוד לגן החיות.
הוקמו מספר בתי חולים פרטיים כגון בית יולדות "בית יולדות מולדה" (כיום בית ההארחה של מכון רוטנברג.) בניהולו של דר' רודולף (רפאל) מאיר ו"אמהוּת" (גימנסיה כרמל כיום) בניהולה של דר' פיניה רוטנברג. בהמשך רחוב ישורון (כיום רחוב יאיר כ"ץ) עבר מהדר בית חולים בלומנטל (מוסד פסיכו-גריאטרי פרטי מיסודו של קורט בלומנטל). ברחוב אלחנן 14 נפתח "בית הבראה לילדים" באמצע 1933 בניהולם של ד"ר גרטרוד וד"ר וילהלם מנסבכר.
בניית הבתים היהודים בשכונה הייתה מהירה מאוד. יזמים פרטיים כמו יוסף לוי, גאורג הרץ-שקמוני ומרדכי קרייתי (אחיו של שמואל מסטצ'קין) החלו לתווך במכירה ורכישה של הקרקעות. ב-1933 הוקמו כ-20 בתים וב-1935 כבר הוקמו כ-200 בתים, בעיקר על ידי יוצאי גרמניה עולי העלייה החמישית.
הבאת המים לשכונה.
ההתיישבות בשכונה חייבה הבאת מים לתושבים. לחלק מן הבתים היו בורות מים, אך מספרם היה מועט. מושלי, עובד הרכבת, הכיר את הספקת המים לתחנה הראשית ממעיין שיח. בתחילה תכנן למשוך מצינור זה אל בריכת אגירה שניצבה במרומי ההר. מאוחר יותר הוקמה האגודה ההדדית להספקת מים, והוקם ועד ששיתף בתוכו ניצים כגברת ניוטון וספקטור, שכן בעיית המים הייתה משותפת לכולם. ב-1937 הקים מושלי מערכת שאיבת מים מנחל שיח למרומי הכרמל, אל מגדל מים שניצב כיום בכיכר היינריך היינה אותו תכננו יוחנן רטנר ועמנואל ילן (וילנסקי). כמו בהדר הכרמל גם כאן שימשו המים "שוט" בידי ועד השכונה על מנת לכפות על התושבים לשלם את מסי הוועד ובכלל זה את "הגרוש הנוסף", ששימש לפיתוח השכונה. בהמשך, בשנות ה-40, היווה עניין הבאת המים לשכונה על ידי מקורות מוקד לסכסוך בין האגודה לוועד הדר הכרמל. לבסוף הוחלט שוועד הדר הכרמל יסכים להזרמת מים מצינור בעמק זבולון, שהיה בבעלות מפעל המים של הדר הכרמל, וגבול הרשויות יהיה ברחוב יפה נוף.
שירותי כיבוי האש.
שירות כיבוי אש החל לפעול באזור מגדל המים של השכונה. השירות התבסס על מתנדבים, חברי ההגנה, שהורשו לשאת נשק על ידי השלטונות הבריטיים. כתוצאה מהרשאה זאת גדל באופן ניכר מספר ה"מתנדבים", ביניהן נשים, לשירות. התחנה (והמתנדבים שבה) שהייתה כפופה לתחנה ברחוב פבזנר, היוותה גורם חשוב בקרב על חיפה ב-1948. התחנה נסגרה בשנות ה-50, ונפתחה מאוחר יותר על ידי כבאים בשכר.
התיישבות חסידות גור.