בנק המזרחי נוסד על ידי תנועת המזרחי העולמית בשנת 1923, במטרה להעניק סיוע כספי ולשמש מכשיר פיננסי למפעלם של יחידים ולמוסדות השייכים להסתדרות המזרחי. נוסף לכך הוטלה על הבנק המשימה לשמש בנק לאומי ציבורי לכלל היישוב. הבנק הוקם עם הון התחלתי של 10,000 לירות מצריות, וההון המונפק באותו שלב היה בערך של 100 מניות יסוד בנות לירה מצרית כל אחת, ו-9,900 מניות רגילות בנות לירה מצרית כל אחת. מניות היסוד אמורות היו, על פי התקנון, להישאר ברשות הסתדרות המזרחי כדי להבטיח את המשך קיומו של המוסד. במשך שנות ה-20 המזרחי פעל רבות בשיווק מניות הבנק בארץ ישראל, ארצות הברית ואירופה. מניות נמכרו בוועידות המזרחי בארצות הברית בשנים 1923-1925, באסיפות בארץ ישראל ושליחים נשלחו לאירופה, ארצות הברית ודרום אפריקה למכירת מניות. באפריל 1925 הבנק נפתח לקהל הרחב, ומניות המייסדים הראשונים הוקצו לרב יהודה לייב פישמן מימון ולפרופסורים הרמן שטרוק וחיים פיק. למנהל ראשי של הבנק מונה דוד צבי פנקס.
בשנת 1927 שילם הבנק את הדיבידנד הראשון שלו. בהזדמנות זו הוחלט להפריש מהרווחים 20 ליש"ט לקרן הקיימת לישראל לשם רישום הבנק ב"ספר הזהב". באותה שנה נפתח סניף הבנק בתל אביב, ברחוב הרצל 18, ומנהלו היה דוד צבי פנקס, לימים שר התחבורה בממשלת ישראל. המשרד הראשי של הבנק היה ברחוב יפו בירושלים. במקביל להקמת בנק המזרחי הוקם בשנת 1928 "בנק הפועל המזרחי" ונקרא "קופת מלווה של הפועל המזרחי". בשנת 1932 התקבלה החלטה שחייבה את כל עובדי הבנק להיות חברים מאורגנים ומשלמי מיסים, בתנועת המזרחי או הפועל המזרחי. על פי החלטה זאת חברי ועד ההנהלה חייבים להתגורר בארץ ישראל. כן נקבע, שאדם שאינו מתנהג בחייו בדרך התורה והמצוות לא יוכל להתקבל לעבודה בבנק. בשנת 1935 נוסדה חברת המזרחי לפיתוח קרקעות בע"מ ונפתח סניף הבנק בחיפה ברחוב כיאט.
במאי 1936 עבר סניף הבנק בתל אביב לרחוב לילינבלום 48. הבניין תוכנן על ידי האדריכל ד"ר אלכס פרידמן ובנייתו הושלמה בשנת 1936 בסגנון הבאוהאוס, שאפיין את הבניינים שנבנו בעיר בסוף שנות ה-20 של המאה ה-20.
לאחר קום המדינה.
במאי 1960 פתח הבנק סניף שני בירושלים, ברחוב בן יהודה. במאי 1961 נפתח סניף ברמת גן. בשנת 1963 היו לבנק 14 סניפים, בין השאר באשדוד ובשלומי.
בשנת 1969 החליטו ראשי בנק המזרחי ובנק הפועל-המזרחי לחבור יחד ולהקים את בנק המזרחי המאוחד. לבנק המאוחד היו 42 סניפים ברחבי הארץ ונכסים בשווי של למעלה מ-400 מיליון לירות ישראליות. בשנת 1978 החל הבנק בתהליך מחשוב הסניפים, לאחר שקודם לכן רכש לשם כך את חברת המחשוב "חיש", שהפכה לחברת המחשוב של הבנק בשם "מחיש".
במרץ 1979 רכש הבנק מההאפוטרופוס הכללי את "בנק שווייץ ישראל לסחר", לאחר הרכישה שם הבנק שונה ל"בנק למימון ולסחר" עד לשנת 1990 בנק זה היה לחברת בת שבשליטת מזרחי, ולקראת סוף שנה זו הוא מוזג לתוכה. בשנת 1980 רכש הבנק מהמדינה את בנק טפחות שהחל להתנהל כחברת בת של הבנק.
בשנת 1983, בעקבות משבר מניות הבנקים, עבר הבנק לבעלותה של ממשלת ישראל. רכישת בנק טפחות הכבידה על הבנק, ולבסוף, שבועות לאחר שמאיר פנה אל ראש הממשלה שמעון פרס ואמר לו כי הבנק עומד בפני פשיטת רגל, ובסיוע יועצו של פרס, אמנון נויבך, המפקחת על הבנקים גליה מאור ונגיד בנק ישראל ד"ר משה מנדלבאום, הושג קו אשראי של 100 מיליון דולר שמנע את קריסת הבנק. לנוכח המלצות ועדת בייסקי נאלץ מנכ"ל הבנק, אהרן מאיר, להתפטר, והוא הועמד לדין ונדון למאסר על תנאי של שנתיים וקנס בסך 600,000 ש"ח.
בשנת 1995 החלה הפרטת הבנק וקבוצת עופר-ורטהיים רכשה 26% ממניותיו. לאחר מכן הגדילה הקבוצה את החזקותיה בבנק ורכשה 51% ממניותיו, והמדינה מכרה את יתרת החזקותיה בבנק לעובדי הבנק (9%) ולציבור הרחב.
בנק טפחות.
טפחות הוקמה בשנת 1944 על ידי הסוכנות היהודית כחברה למתן משכנתאות שניות והושקעו בה כספים של קרן היסוד. היא הלוותה כסף לפרויקטים של שיכון כמלווה נוספת. בשנת 1949, שנת הקמתה של עמידר, היא הייתה לחברת בת שלה. פעילותה בשנת 1950 הייתה מצומצמת כי הממשלה הגדילה את אחוזי המימון של המשכנתא הראשונה דבר שייתר ברוב המקרים את הצורך במשכנתא שנייה. בראשית 1954 הוחלט שטפחות תעבור לממן פרויקטים ליצירת מקומות עבודה, עבודות ציבוריות ועבודות דחק. החברה העניקה הלוואות לרשויות מקומיות לעבודות פיתוח שונות, כמו חיבור יישובים לרשת החשמל, פיתוח דרכים והקמת בתי ספר ונודעה כ"בנק עמידר". במקביל העניקה החברה הלוואות לצורך בניית חדר נוסף בבתים פרטיים. בסוף 1961 הוחלט על הפיכתה לבנק למשכנתאות. בשנת 1965 פתח הבנק סניף בירושלים ובשנת 1968 עברה הנהלת הבנק מתל אביב לירושלים. בשנת 1975, בעקבות שמועות על הענקת הלוואות מועדפות למקורבים, עלתה בכנסת הדרישה להפריט את הבנק. הבנק היה לחברה ציבורית שרוב מניותיה בידי ממשלת ישראל. הממשלה החזיקה בשנת 1978 52% מהמניות, משקיעי ישראל החזיקו ב-16% וכלל החזיקה ב-20%. 22% מהמניות נסחרו בבורסה.
מיד לאחר המהפך, ביולי 1977 הוחלט במשרד האוצר להפריט את בנק טפחות. בשנת 1978 קיימה הממשלה משא ומתן למכירת מניותיה בבנק למשקיעים פרטיים וחברות כלל ומשקיעי ישראל של סם רוטברג טענו שנחתם עמם זיכרון דברים על מכירת הבנק להם. בינואר 1979 הסתמן שמניות הממשלה יימכרו למשקיעים קנדיים ולבנק המזרחי. בפברואר 1980 החליטה הממשלה על מכירת טפחות לבנק המזרחי, שהציעה את ההצעה הגבוהה ביותר והמכירה יצאה אל הפועל בסוף מרץ 1980.
מנכ"ל החברה היה חיים רייזל, עד פטירתו בשנת 1964. מנכ"ל הבנק בשנות ה-60 וה-70 היה משה מן. יושב ראש מועצת המנהלים של הבנק היה דוד טנה שעד 1969 היה במקביל גם מנכ"ל משרד השיכון. במרץ 1974 נתמנה זאב שרף, שקודם לכן היה שר השיכון, ליו"ר מועצת המנהלים של הבנק. ביוני 1975 עבר תפקיד יו"ר מועצת המנהלים לידי דוד וינשל שהיה מנכ"ל משרד השיכון.
מיזוג מזרחי טפחות.
בשנת 2005 התמזגו בנק המזרחי המאוחד ובנק טפחות למשכנתאות, ומאז נקרא הבנק "בנק מזרחי טפחות בע"מ" או "מזרחי טפחות".
בנק טפחות נמנה עם קבוצת בנק המזרחי מאז רכישתו בשנת 1980. במשך השנים לא התקיימו בין חברת האם - (בנק המזרחי), לחברת הבת - (בנק טפחות), יחסי גומלין. ההנהלה והדירקטוריון של בנק טפחות התנהלו באופן עצמאי ובנק המזרחי לא התערב בניהולו. הקשר ביניהם התבטא בכך שבנק טפחות נהנה מן ההון ומן המקורות שהעמיד לרשותו בנק המזרחי, ועל בסיסם פיתח והרחיב את פעילותו העסקית, ואילו קבוצת בנק מזרחי נהנתה מרווחי בנק טפחות, שנרשמו בדוחות הכספיים של הקבוצה.
היעדר שיתוף פעולה בין שני הבנקים שנבע, בין השאר, ממגבלות רגולטוריות, מנע מן הקבוצה לנצל את מלוא הפוטנציאל שהיה בידיה, והפתרון היחיד לבעיות אלו, היה מיזוג בין שני הבנקים - רעיון שעלה מדי פעם על סדר יומו של הבנק, ומסיבות שונות לא יצא אל הפועל.
במהלך שנת 2004, לנוכח תמורות ושינויים שחלו במערכת הבנקאית, ובהם השלמת מיזוגם של מספר בנקים למשכנתאות עם הבנקים המסחריים שלהם, הפך רעיון המיזוג בתוך קבוצת בנק המזרחי למעשי, ובחודש יוני אותה שנה, החליט דירקטוריון בנק המזרחי לפעול למיזוג בנק טפחות עם ולתוך בנק המזרחי. עם זאת, שני ועדי העובדים של שני הבנקים התנגדו להליך המיזוג, מחשש לפיטורי עובדים שיביא המהלך בעקבותיו. גם מנכ״ל בנק טפחות, חיים פרייליכמן, התנגד למיזוג ופרש בעקבותיו. הוועדים נקטו בשביתות והנושא אף הגיע לדיון בוועדת העבודה של הכנסת. לאחר עימותים נחתם הסכם שהוארך לאחרונה עד שנת 2015 ולאחר מכן הוארך פעם נוספת עד שנת 2021. בעקבות המיזוג, עבר הבנק תהליך כולל של מיתוג מחדש (פברואר 2006) על ידי סטודיו עדלי סטוק (מעצבת: ברברה דגטיאר). במסגרתו אימץ הבנק שם חדש - מזרחי טפחות ושפה תקשורתית חדשה הכוללת לוגו, סיסמה וקו עיצובי חדש. לוגו הבנק בנוי מסימן האינסוף, בצבעי כתום ואפור.
בשנת 2003 עבר מטה הבנק לבית מזרחי-טפחות, משכנו הנוכחי, בקומות 3–13 של מגדל משה אביב, בצומת הרחובות ז'בוטינסקי ואבא הלל סילבר ברמת גן.
בשנים 2009-2008 הושלמו רכישת 50% מההון המונפק של בנק יהב לעובדי המדינה בע"מ והמיזוג עם בנק אדנים למשכנתאות.
בשנים 2007 עד 2017 עלה תיק המשכנתאות של הבנק ביותר מפי שלושה לכ-115 מיליארד שקל, הונו העצמי יותר מהוכפל והגיע ליותר מ-13 מיליארד שקל במרץ 2017.
מיזוג מזרחי טפחות עם בנק אגוד.
באוגוסט 2017 פורסם על מגעים למיזוג הבנק עם בנק אגוד לישראל, צעד שגרם להסתדרות להכריז על סכסוך עבודה בבנק אגוד. ביוני 2018 הודיע מ"מ הממונה על ההגבלים העסקיים על התנגדותו למיזוג. בעלי השליטה בשני הבנקים הגישו ערעור לבית המשפט, ובדיון שנערך בבית הדין לתחרות בנובמבר 2019 נדחה הערעור והמיזוג אושר. כעת יחל תהליך שבו חברת מזרחי תפרסם הצעה לציבור לרכוש את כל מניות החברה, תהליך שייקח כ-3 חודשים. באם תהליך רכישת המניות יושלם בהצלחה (מזרחי צריכה לקבל את הסכמת 95% ממחזיקי המניות), יחל תהליך מיזוג משפטי, אשר הוא צפוי להסתיים רק בסוף 2020. בסוף אוגוסט 2020 בנק מזרחי פרסם הצעת רכש רשמית לבעלי 25% מניות המיעוט הכוללת הסכם חליפין תמורת כ-8% ממניות מזרחי.
העילה המרכזית של הממונה על התחרות להתנגדות המיזוג היא שוק האשראי לענף היהלומים הישראלי. בנק מזרחי מחזיק בכ-40% מהשוק, ואיגוד מחזיק בכ-22% ומיזוגם היה יוצר מונופול, ולכן הערעור של שני הבנקים התקבל בנובמבר על תנאי שהם ידללו את שליטתם בשוק זה. ביולי 2020 בנק מזרחי פרסם שהוא חתם על הסכם למכירת תיקי האשראי שלו בשוק זה לחברת פנינסולה וכך הבנק התקרב עוד שלב בדרך להשלמת המיזוג.