Ericsson ble født i Värmskog og vokste opp i den lille bygda Vegerbol, mellom Karlstad og Arvika. Da han var 11 år døde hans far og Ericsson måtte begynne å arbeide. Han arbeidet som rallar og gruvearbeider, både i Sverige og Norge. I 1867 flyttet familien til Stockholm og han tok arbeid hos Öller & Co som for det meste laget telegrafiutstyr. Efter seks år fikk han, takket være sine ferdigheter, stipend for å fortsette å utdanne seg utenlands. Han reiste til Sveits og Tyskland, blant annet arbeidet han hos Siemens og Halske. Da han i 1876 vendte tilbake til Sverige grunnla han og en kamerat fra Öllers & Co, Carl Johan Andersson, et lite, mekanisk verksted. De holdt til i et tidligere kjøkken på ca. 13 m² i Drottninggatan 15 i det sentrale Stockholm. Til å begynne med sysslet de med produksjon av matematiske og fysiske instrumenter, men snart begynte de å lage sin egen variant av telefonen. I 1883 begynte virksomheten å samarbeide med Henrik Tore Cerdergren, grunnlegger av Stockholms allmänna telefonaktiebolag, og Ericssons firma begynte å vokse ordentlig, til det som etter hvert utviklet seg til det vi i dag kjenner som Telefon AB L.M. Ericsson.