IBM er noteret på den amerikanske fondsbørs New York Stock Exchange med i dag over 600.000 aktionærer. På grund af størrelsen og det blå logo er IBM også kendt som Big Blue.
Virksomheden blev grundlagt i 1888 under navnet Herman Hollerith and the Tabulating Machine Company. I juni 1911 blev virksomheden omdannet til et aktieselskab under navnet Computing Tabulating Recording Corporation (CTR).
Navnet International Business Machines (IBM) blev skabt i 1924. Det var ikke mindst Thomas J. Watson Sr., der som administrerende direktør for CRT fra 1915 stod i spidsen for selskabet og udviklingen af IBM.
Oprindeligt fremstillede selskabet både tidsstyringssystemer, vægte, automatiske kødskærere og hulkortudstyr, hvor sidstnævnte blev virksomhedens primære fokus. Det var Thomas J. Watson, Jr., der i årene efter Anden Verdenskrig – trods hård intern modstand – satsede på udvikling af computere.
Den 29. april 1952 lancerede IBM sin første kommercielle computer, IBM 701, beregnet på videnskabelig anvendelse. En mindre model kaldet IBM 650 blev rettet mod erhvervslivet, og IBM dominerede computer-industrien de næste 30 år, ikke mindst inden for mainframe-computere.
IBM lancerede den første succesfulde PC i 1981, hvis design og arkitektur blev industristandard. Tilsynekomsten af nye og billigere kopi-produkter udhulede dog IBMs førerposition og årsregnskabet for 1992 endte med et underskud på knap 5 milliarder dollar.
Tidligere producerede IBM også et bredt udvalg af grundkomponenter, såsom harddiske, men i dag genereres virksomhedens primære indtægt ved konsulentarbejde. PC-divisionen hos IBM blev således solgt til kinesiske Lenovo i maj 2005, og halvdelen af printer-divisionen blev efterfølgende solgt til Ricoh.
De senere års vækst er blandt andet lommet fra en række opkøb. I 1995 købt IBM således Lotus Development Corporation og Tivoli Systems for sammenlagt 4,2 milliarder dollar.
Andre opkøb tæller Sequent Computer Systems, Informix Software, konsulentforretningen i PricewaterhouseCoopers samt Rational Software Corporation. I 2004 overtog IBM også Mærsk Data og DM Data.
I 2010 omsatte IBM for 99,8 milliarder dollar og havde et nettooverskud på næsten 15 milliarder dollar. Der var i 2010 426.751 ansatte i IBM på verdensplan.