עוד בתקופה הפרה-היסטורית התקיימה התיישבות באזור הכרמל בכלל ובתחומי העיר חיפה של ימינו בפרט. אתר התיישבות מרכזי התגלה במתחם קיר העורבים, לצד רחוב מאיר יערי, עליו ממוקמת שכונת רמת אלון. המתחם כולל מערה וכן מספר גומחות במצוק, בהם נמצאו כלים מלפני 10–16 אלף שנה וכן מבנה ששימש כנראה כחווה חקלאית בתקופה ההלניסטית, דבר שככל הנראה מרמז על התיישבות קבע במקום בעת העתיקה. עם זאת, היישוב המאוכלס הראשון באזור בו נמצאת כיום העיר חיפה, היה באזור תל שקמונה, הסמוכה למכון לחקר הימים והאגמים של ימינו. ראשיתו של כפר הדייגים ביישוב זה בראשית המאה ה-16 לפנה"ס. היישוב התפתח בנקודה החולשת על הדרך שעברה לאורך הר הכרמל, ובסמוך למפרץ קטן שאיפשר עגינת ספינות דיג. במאה ה-15 לפנה"ס הוקם יישוב אשר שימש כנמל עתיק במפרץ חיפה באתר ארכאולוגי תל אבו הואם. יישוב זה אשר היו לו קשרי מסחר ענפים עם העולם האגאי התקיים עד התקופה ההלניסטית-רומית. חיפה מוזכרת בכתובים החל במאה השלישית לפני הספירה, אולם מיקומה המדויק של חיפה הקדומה אינו ברור. ככל הנראה שקמונה, ששרידיה נמצאים היום במערבה של חיפה, אינה עיר חיפה הקדומה – וזו הייתה באזור הקצה הצפוני של חיפה של ימינו, באזור בית חולים רמב"ם – חיפה אל-עתיקה. הן באתר שבו נמצאת כיום שקמונה והן באתר זה איפשר המעגן הטבעי עגינה של ספינות סוחר ודיג, ומיקום היישוב איפשר שליטה על הדרך שעברה לרגלי הר הכרמל. לימים עברה העיר דרומה, לאזור הקצה הדרומי של רחוב העצמאות של ימינו, שם התגלו שרידי חומה עתיקה. מהתקופה הביזנטית ועד סוף התקופה הערבית הקדומה (המאה ה-4–המאה ה-7) התקיימה ליד חיפה עיירה שומרונית בשם קסטרא.
תקופת התנ"ך.
על פי המסורת היהודית, אליהו הנביא הסתתר במערה שלימים כונתה מערת אליהו (כיום, בשכונת קריית אליעזר, למרגלות סטלה מאריס) ועל הר הכרמל התמודד עם נביאי הבעל. עד התקופה הפרסית היה אזור הכרמל בלתי מיושב.
התקופה הפרסית הקדומה.
במהלך הכיבוש הפרסי של ארץ ישראל (במאה השישית לפנה"ס), התפתחו ערי הנמל עכו, תל דור ויפו וביניהן נפרסו דרכי המסחר שלאורכן הוקמו יישובים קטנים. לאורך חוף הכרמל, באזור שבו נמצאת כיום חיפה, התפתחו ארבעה יישובים נפרדים ובהם שקמונה ויישובים באזורים שבהם ממוקמים בימינו בת גלים, דרך העצמאות וחוף שמן (תל אבו הואם). במהלך התקופה הפרסית נוסדו מספר כפרים באזור הכרמל עצמו ובהם באזור שכונת רוממה של ימינו, ובאזור שכונת רמות רמז. בתקופה זו נבנתה מצודה על גבעת שקמונה.
התקופה ההלניסטית.
במהלך תקופת שלטונו של המלך החשמונאי אלכסנדר ינאי, הפך אזור העיר חיפה לחלק מהמדינה החשמונאית. בתקופה זו הייתה שקמונה העיר הראשית באזור שכלל מספר כפרים ובהם חיפה וראש מיה. העיר שקמונה הפכה לעיר אמידה, ומתקופה זו התגלו שרידי בתי מידות ובהם פסיפסים. חיפה ושקמונה היו ערים יהודיות, כאשר בשקמונה היה שיעור רב של תושבים ממוצא הלניסטי.
העיר חיפה מוזכרת בספרות בשל החכמים שישבו בה ובהם אבדימי דמן חיפה, אבא דמן חיפה, חלפתא דמן חיפה וכן יוסף חפני משמשו של רבי יהודה הנשיא.
במסכת ברכות נקבע שאין לאפשר ליהודי חיפה (יחד עם יהודי בית שאן ויהודי קריית טבעון) לברך בציבור בתפילות בבתי כנסת, בשל מבטאם: .
ימי הביניים.
במשך השנים התבססה חיפה כעיר נמל קטנה לצד הנמל הגדול שפעל בעכו. לאחר הכיבוש הערבי בוצרה העיר ותפסה את מקומה של שקמונה כמעגן העיקרי שבין עכו לדור. במאה התשיעית הייתה העיר חלק מקווי הסחר עם ערי מצרים. הסחר הביא עושר רב לעיר, שמרבית תושביה עסקו בספנות, במסחר ובהפקת צבע ארגמן מחלזונות, וכן בייצור זכוכית. בין המאות ה-9 וה-11 היו מרבית תושבי העיר יהודים, והעיר זכתה להשפעה רבה. בין השנים 1092–1100 פעלה בעיר סנהדרין שזכתה להשפעה רבה באזור הגליל.
הכיבוש הצלבני.
כוחות הצלבנים שהגיעו לארץ ישראל התמקדו בראשית כיבושיהם באתרים הקדושים של ירושלים ובית לחם ורק לאחר כיבוש ירושלים החלו לכבוש את אזורי מישור החוף על מנת להרחיב את ממלכתם ולהבטיח את הקשרים הימיים עם אירופה. המצור על העיר חיפה החל בשנת 1100. העיר הייתה מבוצרת ומוקפת חומה ובה מגדלים רבים, והמצור הצלבני היה הן ימי והן יבשתי. יהודי העיר דחו את דרישות הצלבנים להיכנע ולהתנצר, ואף יצאו מחומות העיר ותקפו את הכוחות הצלבניים ואת מגדלי המצור שלהם. על מנת לכבוש את העיר נאלץ טנקרד נסיך הגליל להביא לאזור חיפה כוחות רבים, ורק לאחר חודש של לחימה נכבשה העיר, ומרבית תושביה (מרביתם יהודים) נטבחו. שורדים מעטים מבין התושבים הצליחו להימלט ולהסתתר ביערות הכרמל, ומשם להגיע למצרים.
לאחר הכיבוש הצלבני שוקמו חומות העיר שנהרסו במהלך הלוחמה, אולם המספנות שהיו בעיר לא שוקמו. זמן מה לאחר הכיבוש התירו הצלבנים לתושבי העיר המוסלמים לשוב אליה, ומרבית תושבי העיר, שהייתה קודם לכן יהודית, היו מעתה מוסלמים ונוצרים. יישוב יהודי קטן נוצר מחדש בקרבת מערת אליהו.
העיר חיפה הפכה למרכזה של נחלה עצמאית הנפרדת מנסיכות הגליל. הצלבנים בנו סביב העיר מספר מצודות שנועדו להגן על הדרך לעכו ועל הנמל של העיר, שהיה משני לנמל עכו. המבצר שנבנה בסמוך לחומת העיר והגן על הנמל נקרא "טירת כייפא" (Castrllum Caypha). הנמל היה נמל ייצוא חשוב של תוצרת מאזור הגליל ועמק הירדן לאירופה.
בין היתר נבנה מבצר באזור ראש מיה (שכונת רוממה של היום). על הכרמל, באזור נחל שיח, התיישבו נזירים רבים, ואלה התארגנו בשלהי השלטון הצלבני, קבעו לעצמם תקנות והיוו את ראשיתו של המסדר הכרמליתי, אשר נפוץ באירופה לאחר הכיבוש המוסלמי של הממלכה הצלבנית.
באמצע יולי 1187 נכבשה העיר ונהרסה בידי כוחות השושלת האיובית של צלאח א-דין. כוחות הצלבנים, אותם הנהיג ריצ'רד הראשון, מלך אנגליה, כבשו מחדש את האזור ב-1191.
במהלך המאה ה-13 שיקם לואי התשיעי, מלך צרפת את מבצר העיר, אולם זה נכבש על ידי ביברס בשנת 1265, וחומות העיר, המבצר ומרבית הבתים נהרסו.
התקופה הממלוכית.
לאחר הכיבוש הערבי נהרסו חומות העיר הצלבנית, ולא שוקמו, על מנת למנוע מהצלבנים לשוב ולהתבסס בעיר. כמו כן שרפו הממלוכים את המנזרים שעל הכרמל. העיר חיפה הפכה לכפר דייגים קטן שהתפרנס ברובו מדיג. צליין שתיאר את העיר בשנת 1350 מתאר במקום כפר דייגים חרב וריק.
התקופה העות'מאנית.
התקופה העות'מאנית המוקדמת.
העיר נותרה חרבה עד לאחר הכיבוש העות'מאני, בשנת 1516. רק מאוחר יותר שב ופעל במקום כפר דייגים. תיאורים מהמאה ה-16 מתארים יישוב קטן שנמצא בין בנייני עיירה חרבה, כאשר בסמוך לעיר ממוקמים שרידי מבצר הרוס. ציור של דה ברוי משנת 1682 מראה את שרידי המנזר ההרוס בסטלה מאריס.
במהלך המאה ה-17 שלט באזור חיפה בית טורבאי – שבט בדואי, אשר איפשר את פיתוח העיר. שבט זה קיבל את השלטון ממושלי דמשק באזור, וגילה סובלנות רבה לנוצרים וליהודים. בעיר חיפה עצמה היה משכנו של האמיר משבט טורבאי, שמשל בעיר, גבה מסים (מסי-מעבר מעולי רגל ומכסים) ועודד את פיתוח הנמל והסחר. בית טורבאי איפשר למסדר הכרמליתי לשוב אל העיר ולשקם את מבנה המנזר שעל הר הכרמל. בשנת 1631 הגיע אל העיר האב פרוספר וייסד מחדש את המנזר הכרמליתי (באזור הנקרא כיום על שמו – מערות פרוספר, על המדרון הצפוני למיקום המנזר הנוכחי). פיתוח הסחר בעיר הביא להגדלת הנמל ולהקמת אזור מחסנים בעיר שבו אוחסנו סחורות משי, עורות וכותנה ששווקו לאירופה. עם נפול בית טורבאי שב ונחלש מעמדה של העיר, שהפכה בסיס לשודדי ים שתקפו את הספינות שנעו לאורך החוף, בדרכם לעכו, והעיר זכתה לכינוי "מלטה הקטנה" על שם האי מלטה שהיה בסיס לשודדי ים.
הגברת השוד הימי והפגיעה במסחר אילצו את השלטונות העות'מאניים לבצר שוב את העיר, לשקם את מבצרה (שעמד באזור בית החולים רמב"ם של ימינו) ולהבריח את שודדי הים מן העיר. השבת הביטחון לעיר איפשרה גידול מסוים באוכלוסייתה.
שלטון דאהר אל-עומר.
דאהר אל-עומר היה מייסדה של חיפה המודרנית. עומר, שבירתו הייתה בעכו, הקים בחיפה את הנמל העיקרי שלו, וביצר את העיר כמוצב הגנה קדמי על עכו. ב-1761 הורה עומר להרוס את נמל חיפה הקדום, בחוף בת גלים של ימינו, ולהקים תחתיו נמל חדש דרומית-מזרחית לאתר הקודם, באזור כיכר פריז של ימינו. במקביל להריסת הנמל הרס אל-עומר את השכונה שהייתה ליד הנמל, ובנה עיר חדשה במתחם שבו שוכנת היום קריית הממשלה.
סביב העיר בנה עומר חומה ובה שני שערים: שער עכו בצידה המזרחי, הפונה אל הדרך המובילה לעכו, ושער יפו בצידה המערבי, הפונה אל הדרך המובילה ליפו. עומר בנה באזור הדר (במקום בו נמצא היום גן הזיכרון) מצודה לה קרא "בורג' א-סלאם" (מצודת השלום), סלל אליה דרך מהעיר, שנקראה בהמשך "דרך הבורג'", ולימים שונה שמה ל"מעלה השחרור". בסמוך לנמל בנה עומר מצודה נוספת שכללה את בית המכס ואת "בית הסראייה" (בית הממשל), שם נגבו מכסי הסחורות ומסי הגולגולת מהצליינים שעלו אל העיר (עולי רגל נוצרים בדרכם למנזר סטלה מאריס הכרמליתי, ועולי רגל יהודים בדרכם למערת אליהו).
שתי המצודות שנבנו היו חלק מסמלי העיר, ועל אף שנהרסו בתקופה מאוחרת יותר, הן מונצחות בסמל העיר חיפה.
כיבוש נפוליאון.
ב-1799 כבש נפוליאון את חיפה במסעו לכיבוש עכו. תושבי העיר החליטו שלא להתגונן מפני צבאו של נפוליאון, פתחו בפניו את שערי העיר וכלכלו את צבאו. המנזר הכרמליתי סטלה מאריס שעל הכרמל נתפס על ידי נפוליאון והפך לבית חולים המיועד לחייליו. חלק מהחיילים שנפטרו שם נקברו בפתח המנזר.
העת החדשה.
הכיבוש המצרי.