התכנון החל בשנת 1970 על בסיס לקחי מלחמת ששת הימים. הדרישות המבצעיות הכלליות ודרישות הנדסת האנוש נקבעו על ידי קציני שריון מצטיינים ובהם ישראל טילן, נתי גולן וגד רפן. על בסיס הגדרת מאפייני הטנק הרצויים נבנה דגם עץ שהורכב על ג'יפ. באמצע דצמבר 1974 נמסר אב טיפוס ראשון לניסויי שדה. מותו של המהנדס הגרמני הנס גסאן בפיגוע במלון סבוי עיכב את בניית פס הייצור של הטנק שהושלם רק בספטמבר 1975. בינואר 1976 החל הייצור הסדרתי. ב-29 באוקטובר 1979 נכנס לשירות מבצעי הדגם הסדרתי הראשון - מרכבה סימן 1, בו נעשה שימוש במבצע שלום הגליל. בשנת 1982 נכנס לשירות דגם משופר - מרכבה סימן 2, ומיד אחריו מרכבה סימן 2ב. בתקופת שירותם הופקו לקחים מבצעים וטכנולוגיים רבים שהביאו לקפיצת דרך משמעותית במרכבה סימן 3 שנכנסה לשירות בראשית שנות ה-90 של המאה ה-20. בדגם זה הוחלף התותח המחורק בקליבר 105 מ"מ בתותח חלק-קדח מודרני בקליבר 120 מ"מ תוצרת תע"ש. במהלך שנות התשעים נכנסו לשימוש טכנולוגיות חדשות המבשרות את שדה הקרב העתידי, ורובן הוטמעו במרכבה סימן 3ב ב"ז (על שם מערכת בקרת האש: ברק זוהר). מאוחר יותר נוספו לדגמי סימן 2 וסימן 3 תוספות מיגון מודולריות שנקראו "מיגון דור ד'" או 'קס"ג' (קו סגול - הגבול עם לבנון) ונועדו להגביר את עמידות הטנקים נגד טילי נ"ט של חזבאללה. במהלך שנות ה-90 והעשור הראשון של המאה ה-21 הוסבו כל טנקי סימן 3 בשירות סדיר לסימן 3 ב"ז, אך עדיין קיימות חטיבות שריון במילואים עם מרכבה 3 רמ"ח. בשנת 1997 התקבל אישור לייצא את המרכבה סימן 3 לטורקיה, במסגרת מכרז הצטיידות של צבא טורקיה בטנק מערכה חדש. לבסוף החליטה טורקיה לשדרג את טנקי ה-M60 פטון שלה במסגרת עסקה עם תע"ש, בה צוידו הטנקים בכל המערכות של המרכבה סימן 3, כך שיהיו מתקדמים יותר מה-M60 פטון הישראלי מגח 7.