Shannon-entrópiafüggvény

A Shannon-féle entrópiafüggvény Claude Shannon amerikai matematikus és híradástechnikai szakember munkája. Az elméletet a negyvenes évek legvégén az információ nevű fogalom fizikai mennyiséggé és mérhetővé tételére született. Ma ez a fogalom és a tanulmányozása az információelmélet egyik alapja.

Definíció
A függvény definiáláshoz feltételezzük, hogy egy kommunikációs folyamatban veszünk részt, melynek csatornáján az  halmaz jeleiből álló véges sorozatok, üzenetek áramlanak. Ha sok üzenet áll rendelkezésre, mérni vagy becsülni tudjuk azt a  valószínűséget, hogy adott  elem milyen gyakran fordulhat elő egy üzenetben, továbbá, hogy valahogy mérhető vagy meghatározható az  jel információtartalma is, amit az  jelöl.

Legyen egy üzenet az  jelek sorozata.

Ekkor az üzenet információtartalma Shannon definíciója szerint .

Tehát az  üzenet információtartalma jelei  „egyedi információtartalmának” várható értéke.

A Shannon-képlet intuitív levezetése
Shannon egy véges sok jelből álló (véges ábécé feletti) üzenet információértékét az üzenet jeleinek mint a jelre jellemző valószínűséggel bekövetkező események információtartalmának „átlagos”, azaz várható értékeként határozta meg:
  . 
Ez még nem elégséges a definícióhoz, pontosan azért, mert az I(x) „adott jelhez tartozó információtartalom” mennyiséget nem definiáltuk. Ennek definiálásához Shannon további két feltételezéssel élt:
 Kisebb valószínűségű üzenetnek (és így jelnek) az információtartalma nagyobb. Hiszen ha olyan eseményről szerzünk tudomást, amely átlagos, gyakori, azaz nagy valószínűségű; annak nincs nagy jelentősége; ellenben ritkább eseményre kevésbé vagyunk felkészülve, tehát ha ilyen következik be, az fontosabb.
 1/2 valószínűségű esemény információtartalma 1 legyen (egységválasztás, azaz normálás).
 Független események együttesének mint eseménynek az információtartalma a két esemény információtartalmának összege legyen (additivitás).

Matematikailag bebizonyítható , hogy a következő képlet adja meg, ha a fenti normális(?) feltételezésekkel élünk:
      

A fenti H függvény néhány jellemzője:

Története 
Korábban (1928) R. V. L. Hartley már bevezetett egy információfogalmat (Hartley-információ). Szerinte egy n elemű véges X halmaz valamely elemének azonosításához, ha elvileg bármelyik lehet közülük a keresett elem,
 I(n) = log2 |X| = log2(n) 
mértékű információra van szükség. E definíció szerint bármely elem (kiválasztása) azonos információtartalmat hordoz.

A fenti definíció azért bírálható, mert az információ értéke nem függ attól, hogy az egyes elemeket milyen valószínűséggel kívánjuk kiválasztani. Shannon vezetett be egy konkrét problémából, egy hírközlési csatorna kapacitásának definíciójának szükségességéből kiindulva egy olyan információdefiníciót, amely a fenti problémára tekintettel van („The Mathematical Theory of Communication” c. cikkeiben, mely a Bell System Technical Journal c. lapban jelent meg 1948 júliusában és októberében). Neumann János javaslatára nevezte el saját információmérő függvényét entrópiafüggvénynek, noha az elnevezés nemcsak a fizikai entrópiával kapcsolatos sok hasonlóságra mutat rá, de attól való különbségei miatt rengeteg kritika is érte (az ilyenek egy lehetséges motivációjáról és alternatív definícióról ld. például T. Stonier: Információ és az Univerzum belső szerkezete).

Később – elsősorban szovjet – kutatók, mint Fagyejev, Hincsin, axiomatikusan is felépítették.

Axiomatikus definíciók 
A H függvény tulajdonságai a következők:

 Fagyejev belátta, hogy 1.-2.-5.-6.-ból következik, hogy H-t a Shannon-képlet adja meg;
 Hincsin belátta, hogy 1.-3.-4.-6.-ból is következik ugyanez.

Jegyzetek

Források
 Csiszár Imre – Fritz József: Információelmélet. ELTE jegyzet. Nemzeti Tankönyvkiadó, Bp., 1995.
 Csiszár Villő: Információelmélet. Előadássorozat, ELTE, 2003.
 Shigeru Furuichi, Flavia-Corina Mitroi-Symeonidis, Eleutherius Symeonidis, On some properties of Tsallis hypoentropies and hypodivergences, Entropy, 16(10) (2014), 5377-5399; DOI:10.3390/e16105377
 Shigeru Furuichi, Flavia-Corina Mitroi, Mathematical inequalities for some divergences, Physica A 391 (2012), pp. 388-400, DOI:10.1016/j.physa.2011.07.052; 
 Shigeru Furuichi, Nicuşor Minculete, Flavia-Corina Mitroi, Some inequalities on generalized entropies, J. Inequal. Appl., 2012, 2012:226. DOI: 10.1186/1029-242X-2012-226
 Claude Shannon: „The Mathematical Theory of Communication”; Bell System Technical Journal, 1948. július-október

További információk 
 Alice és Bob - 2. rész: Alice és Bob számítógépezik

Függvények
Informatika