Shannoni esimene teoreem

Telekommunikatsioonis kasutatakse andmete kodeerimist ehk krüpteerimist, mille eesmärk on muuta andmeedastus paremaks või turvalisemaks. Mingi signaaliallika genereeritavad andmed kodeeritakse mingi algoritmi järgi, mida nimetatakse allika kodeerimiseks. Seade, mis kodeerib allikast tulevat signaali, nimetatakse koodriks. Et kooder toimiks efektiivselt, on oluline teada allika väljundsümbolite statistikat (näiteks Morse koodis on enim kasutatavad tähestiku tähtede kodeeritud kuju lühem kui harva kasutatavate tähtede kodeeritud kuju).

Shannoni 1. teoreem:

Diskreetsest mäluta allikast (allikast, kus järgmisena tulev sümbol ei sõltu eelmisest sümbolist) tuleva koodisõna pikkus L saab olla võrdse pikkusega kodeeritud kujul, kuid ei saa olla koodisõnast lühem. Seega määrab entroopia (korrapäratu signaal) põhimõttelise piiri diskreetse mäluta allika sümboli koodisõna keskmise pikkuse. Ehk siis lühemaks kui entroopia ei saa koodisõna muuta.

Entroopia – tähestikuga diskreetse mäluta allika keskmine informatsiooni hulk allika sümboli kohta.

Teoreemid