בשנות ה-50 הפך IBM ליצרן דומיננטי בתעשיית המחשבים שהחלה להתפתח, והעסיק כ־35 אלף עובדים. ב־1952 החליף את ווטסון בתפקיד בנו, תומאס ווטסון הבן, שכיהן בתפקיד זה עד לשנת 1971. ווטסון הבן הגדיל את ההשקעה במחקר ופיתוח מ-3% בימי אביו ל-9%. ההשקעה במחקר ופיתוח נתנה פירות והעניקה ל- IBM יתרון בייצור המחשב המרכזי הראשון המבוסס על טכנולוגיית טרנזיסטורים, IBM 7030, שהיה פריצת דרך מבחינת מזעור עוצמת מחשוב. המחשב הראשון של הסדרה נמכר למעבדה הלאומית לוס אלמוס ב-1961. ב-1959 יוצר המחשב הראשון מסדרת IBM 1401, שיועד עבור עסקים בינוניים ויצר בכך שוק חדש למחשוב האלקטרוני. ב-1957 פיתחו מדעני החברה את שפת FORTRAN.
ב-1964 החלה להימכר באופן מסחרי אחת מסדרות המחשבים המוצלחות והנמכרות ביותר, IBM System/360, הסדרה שווקה עד 1978 והיוותה אב טיפוס של המחשב המרכזי המודרני. הסדרה תוכננה כך שהקיפה לראשונה את כל מכלול השימושים ועוצמות המחשוב הנדרשות, תוך התבססות על אותה מערכת הפעלה ואותן תוכנות ושמה "360" בא לציין עובדה זו. ההשקעה במחקר ופיתוח עבור הפרויקט הייתה עצומה (5 מיליארד דולר לאורך ארבע שנים) והיוותה הימור על עתיד החברה, הימור שהשתלם לבסוף והפך את התאגיד לראשון בתחום, הרחק מעבר למתחרים משך עשורים.
בשנות ה-60 וה-70 כונו יצרני המחשבים בארצות הברית "IBM ושבעת הגמדים" – IBM ייצר כשני שלישים מהמחשבים בעולם. כתוצאה מכך נתבע על הפרה לכאורה של חוקי המונופול. תביעה זו התבררה עד שנת 1983 תוך השפעה מהותית על עסקי התאגיד.
בשנת 1973 עברו מטה התאגיד ומשרדיו הראשיים לבניין IBM שנבנה במרכז שיקגו, בתכנון האדריכל המודרניסטי מיס ון דר רוהה.
בשנות ה-80 ייצר את המחשב האישי מדגם IBM PC, שחולל מהפכה בתחום המחשבים האישיים, ולמעשה שינה את פני המחשוב בעולם (אם כי הוביל לפריחתן של תאגידים אחרים שהיו שותפים למיזם זה – מיקרוסופט ואינטל, תוך פגיעה בעסקי של IBM).
בתחילת שנות ה-90 נקלע IBM למשבר חריף, שהביא לפיטורי 80,000 עובדים. לצורכי שיקום הארגון מונה לו גרסטנר למנכ"ל, והוא העביר שינוי ארגוני מרחיק לכת, שחילצו מהמשבר. גרסטנר הצליח לשנות את ייעודה של החברה מחברת פיתוח מחשבים בלבד לחברת שירותי טכנולוגיה באופן כללי, וכך הצילה מפשיטת רגל.
בשנת 1991 רוכז תחום שירותי טכנולוגיות המידע של IBM בזרוע בשם IBM Global Services. זרוע זו מעסיקה 190,000 מעובדי IBM ברחבי תבל.
בשנת 1995 רכש IBM את חברת התוכנה "לוטוס" תמורת 3.5 מיליארד דולר, בעיקר לשם רכישת תוכנת Lotus Notes.
ב-2004 החליט לצאת משוק המחשבים האישיים ולמכור את חטיבת המחשבים האישיים ומותג Thinkpad לתאגיד הסיני לנובו.
בשנת 2007 מכרה IBM את חטיבת ההדפסה שלה לחברת "Ricoh" היפנית. באותה שנה ביחד עם ליהמן ברדרס היא רכשה 7.7% מחברת תוכנה סינית Kingdee.
בשנת 2008 ייצר IBM את המחשב הראשון ששבר את מחסום המיליון-מיליארד פעולות בשנייה.
ב־28 באוקטובר 2018 הודיעה חברת IBM על רכישת חברת הקוד הפתוח רד האט לפי שווי של כ־34 מיליארד דולר. החברה אמורה להישאר חטיבה עצמאית בתוך IBM.
בשנת 2021 פיצלה IBM את חטיבת IBM Global Technology Services - GTS שלה לחברה נפרדת בשם קינדריל, העוסקת בשירותי ניהול תשתיות IT. אל החברה החדשה הועברו כ-90,000 מעובדי IBM. בעקבות הפיצול תתמקד IBM בתוכנה ובשירותי מחשוב ענן, אך תמשיך לתמוך במחשבי סדרה Z וסדרת Power שלה.
מוצרי התאגיד.
מכונות כתיבה.
בשנת 1961 השיק IBM את מכונת הכתיבה החשמלית Selectric ("כדורית") אשר כללה ראש הדפסה כדורי הניתן להחלפה. ראש זה איפשר הדפסת מסמכים בגופנים (פונטים) בשפות שונות, וכן סימנים מתמטיים. מכונות מדגם זה שרתו 75% מהשוק המשרדי האמריקאי של מכונות כתיבה חשמליות. הטיפוגרף הירושלמי הנרי פרידלנדר עיצב את גופני "הדר", "שלום" ו"אביב", אשר שימשו כגופנים העבריים של ה"כדורית" (דגם בעל ראש ומקלדת בעברית).
מחשבים מרכזיים.
בשנות ה-60 וה-70 כונו יצרני המחשבים בארצות הברית "IBM ושבעת הגמדים". שליטתו של IBM בשוק המחשבים המרכזיים החלה מסדרת מחשבי ה-700/7000, וגברה עם פיתוח סדרת המחשבים מערכת/360 (1964). סדרת ה-360 המשיכה להתפתח לסדרת ה-z/z9 של ימינו, ויחד עם המחשבים מבוססי מערכת ההפעלה MCP (ראשי תיבות של Master Control Program) של יצרן המחשבים בורוז (כיום יוניסיס) הם המחשבים היחידים המבוססים על ארכיטקטורה שהתפתחה מתקופה מוקדמת זו. עם זאת, ואף על פי שמחשבי ה-CMOS מבוססי ארכיטקטורה של 64 ביט מסדרת z/z9 מסוגלים עדיין להריץ את הקוד מבוסס ארכיטקטורת 24 ביט של מחשבי ה-360, אין שום דמיון במבנה הפנימי והחיצוני בינם לבין הסדרות הישנות.
מחיר דגם נוכחי של מחשב מרכזי מתוצרת IBM מתחיל בכ-100,000 דולר (מחשב מדגם A01 מסדרת Z9 BC, מחיר מדווח בשנת 2006 שאינו כולל ציוד היקפי של דיסקים וקלטות ואינו כולל את מחירי התוכנה המגיעים למאות אלפי דולרים). המחירים כוללים בדרך כלל גם תנאי שירות ותחזוקה שאינם דומים למקובל בשוק המחשבים האחרים (בשל מחירם הראשוני הגבוה קיים גם שוק פעיל במיוחד במחשבים מרכזיים משומשים).
מערכות הפעלה.
מערכות ההפעלה למחשבים המרכזיים מתוצרת IBM מיוצרות אף הן על ידי IBM. פיתוחן של מערכות ההפעלה נעשה במקביל לפיתוח החומרה. במערכת/360 נקראו מערכות ההפעלה העיקריות OS (ראו למשל, OS/360), למחשבים הגדולים בסדרה, ו-DOS (ללא קשר ל-MS-DOS) למחשבים הקטנים בסדרה. את הדור הנוכחי של מחשבי המיינפריים משרתות מערכות ההפעלה z/VM, z/VSE z/OS, z/Linux.
ל-IBM גם סדרה של שרתים מבוססי UNIX, הפועלים באמצעות ניב של IBM הקרוי AIX.
IBM-PC.
המחשב האישי שייצר IBM בשנת 1981, שכונה IBM PC, פרץ את הדרך להבאת המחשב אל שולחן העבודה בכל משרד, ומאוחר יותר גם אל בתים פרטיים. היו מחשבים אישיים שקדמו לו, אך המחשב של IBM, שהוכרז באופן רשמי ב-12 באוגוסט, הצטיין במודולריות רבה ובכך ש-IBM פרסם את המפרט הפנימי שלו, ואפשר ליצרנים אחרים לייצר "תואמי IBM" ובכך להוזיל אותו מאוד, דבר שדחק אותו לבסוף לשולי השוק. במחשב האישי, כמו במחשבים האחרים, יישם IBM את תפיסת ל- "מחשוב כולל", ושם דגש על איכות החומרים ואמינותם, לעיתים על חשבון החדשנות והביצועים. תפיסה זו הייתה בעוכרי הארגון, כיוון שהתואמים שהיו זולים, היו לעיתים מהירים וחדשניים יותר, וגם מפני שהמחשבים שתוכננו לפעילות ארוכת טווח של 10–20 שנים, התיישנו במהירות, ונזרקו לאשפה כאשר "כוחם היה במותניהם".
ב-2004 החליט לצאת משוק המחשבים האישיים ולמכור את חטיבת המחשבים האישיים ומותג Thinkpad לתאגיד סיני בשם לנובו (Lenovo). ב-1 במאי 2005 הושלם תהליך המכירה בתמורה ל-655 מיליון דולר במזומן ו-600 מיליון דולר במניות לנובו.
מעבדים.
כמעט כל קונסולות המשחקים מהדור השביעי מכילות מעבדים מתוצרת IBM. קונסולות משחקים אלה כוללות את Xbox 360 של מיקרוסופט, פלייסטיישן 3 של סוני ו-Wii של נינטנדו. הדור השמיני של קונסולות המשחקים מכיל בעיקר מעבדים מתוצרת AMD.
מוצרי תוכנה.
חטיבת התוכנה (IBM Software Group) היא אחת מהעיקריות בחטיבות IBM. מוצרי החטיבה כוללים, בין השאר:
World Community Grid.
בשנת 2004 יזם IBM פרויקט של מחשוב מבוזר קהילתי בשם World Community Grid. במסגרת הפרויקט משתמשים מכל רחבי העולם מפעילי תוכנה המשתמשת בכוח-החישוב של המחשבים האישיים שלהם על-מנת לסייע למחקרים לטובת האנושות (כגון מציאת מרפא למחלות הסרטן, האיידס ומחלות נוספות, מציאת מקורות אנרגיה חלופיים ועוד). התוכנה פועלת כאשר המשתמש אינו משתמש במחשב או ברקע, בזמן השימוש. לפרויקט רשומים למעלה מחצי מיליון משתמשים.
עובדי התאגיד.
עמית IBM.
עמית IBM (IBM Fellow) היא הדרגה המקצועית הגבוהה ביותר, שיכול מדען, מהנדס, או מתכנת לקבל בחברת IBM. דרגה זו מוענקת פעם בשנה על ידי מנכ"ל IBM בכנס השנתי המכונה Corporate Technical Recognition Event (CTRE) לקבוצה של ארבעה עד תשעה עובדים. ניתן לראות בתואר זה, דרגת הערכה וכבוד הניתנים לעובד בחברה. הקריטריונים לקבלת הדרגה כוללים כישורים, הישגים ופוטנציאל תרומה לעתיד. הזוכים מקבלים מרווח פעולה ותקציבים נכבדים, כדי שיוכלו לממש את יכולותיהם בשטח ההתמחות שלהם. תוכנית זו החלה בשנת 1962, ומאז ועד 2009 קיבלו 218 איש את הדרגה הזו. נכון לסוף 2009 יש 73 עובדים פעילים בעלי דרגה זו, מתוכם אחד בישראל. אדוארדו (חיים) קאהן, שהיה עמית IBM פעל בישראל בשנים 2007–2009.
יבמ ישראל.
ל-IBM סניף בישראל שהוקם בשנת 1949, ומשווק את מוצרי החברה ואת שירותיה. בראשיתו הסניף שכן ברחוב לינקולן בתל אביב. בשנת 1979 עבר הסניף לבית יבמ שברחוב ויצמן בתל אביב. בשנת 1999 נמכר הבניין, והסניף עבר לפארק אזורים בפתח תקווה. משנת 2017 עומד בראש הסניף הישראלי דניאל מלכה. קדמו לו בתפקיד דוד כהן, יהושע מאור, מאיר ניסנסון וריק קפלן.
תרומה ייחודית של יבמ ישראל לתרבות הישראלית הייתה הוצאת כתב העת "מחשבות" – כתב עת להגות ומדע בעריכת צבי ינאי, שיצא לאור משנות ה-60 עד שנות ה-90.
החברה מפעילה מעבדת מחקר השוכנת בקמפוס אוניברסיטת חיפה, וב-2014, היא נחשבה לשנייה בגודלה מתוך שתים-עשרה מעבדות המחקר של IBM בעולם. המרכז נוסד כמרכז מדעי בשנת 1972, מעסיק כ-600 עובדים ובראשו עומדת, נכון ל-2021, ד"ר איה סופר (קדמו לה בתפקיד ד"ר מיכאל רודה, עודד כהן וד"ר יוסף רביב).