I 1910 observerte den britiske fysikeren J. J. Thomson en frigjøring av positive ioner og nøytrale atomer fra en fast overflate indusert av ionebombardement. Forbedret vakuumpumpeteknologi på 1940-tallet muliggjorde de første prototypeeksperimentene på SIMS av Herzog og Viehböck i 1949, ved Universitetet i Wien, Østerrike. På midten av 1950-tallet konstruerte Honig et SIMS-instrument ved RCA Laboratories i Princeton, New Jersey. Så tidlig som på 1960-tallet ble to SIMS-instrumenter utviklet uavhengig. Det ene var et amerikansk prosjekt, ledet av Liebel og Herzog, som ble sponset av NASA ved GCA Corp, Massachusetts, for å analysere månestein, det andre ved University of Paris-Sud i Orsay av R. Castaing for doktorgradsavhandlingen av G. Slodzian. Disse første instrumentene var basert på et magnetisk dobbeltfokuseringsfeltmassespektrometer og brukte argon for de primære stråleionene. På 1970-tallet utviklet K. Wittmaack og C. Magee SIMS-instrumenter utstyrt med kvadrupol-masseanalysatorer. Rundt samme tid introduserte A. Benninghoven metoden for statisk SIMS, der den primære ionestrømtettheten er så liten at bare en ubetydelig brøkdel (typisk 1%) av det første overflatelaget er nødvendig for overflateanalyse. Instrumenter av denne typen bruker pulserende primære ionkilder og flyvetidsmassespektrometere, det ble utviklet av Benninghoven, Niehuis og Steffens ved Universitetet i Münster, Tyskland og også av Charles Evans & Associates. Castaing- og Slodzian-designet ble utviklet på 1960-tallet av det franske selskapet CAMECA S.A.S. og brukt i materialvitenskap og overflatevitenskap. Nyere utvikling fokuserer på nye primære ionearter som C, ioniserte klynger av gull og vismut, eller store gassklyngionstråler (f.eks. Ar). Den følsomme høyoppløselige ionemikroben (SHRIMP) er et SIMS-sektorinstrument med stor diameter, basert på Liebl og Herzog-design, og produsert av Australian Scientific Instruments i Canberra, Australia.