IBMs historie begynte flere tiår før utviklingen av datamaskinen – før den tid produserte man hullkortmaskiner. Opprinnelig het virksomheten (), som ble opprettet som et aksjeselskap 15. juni 1911 i Binghamton, New York. Denne virksomheten var en fusjon mellom , og . Direktøren for Tabulating Machine Corporation var den gang Herman Hollerith. Thomas J. Watson Sr., som grunnla IBM, ble direktør for CTR i 1914 og administrerende direktør i 1915. 14. februar 1924 endret CTR navn til (IBM).