Informasjonsteorien oppsto innen ingeniørmiljøer som forsket på tekniske kommunikasjonssystemer som telefon og telegraf, hvor det er viktig at opplysningene som mottas er de samme som ble sendt ut fra avsender. Shannon, i tillegg til å gi en matematisk definisjon av informasjon, klarte å gi øvre grenser for hvor mye informasjon som er mulig å sende over støyfrie og støyete kanaler. Shannons pionerarbeide har vært svært viktig for de senere fremskrittene i informasjons- og kommunikasjonsteknologien.