Entropia (teoria informacji)

Entropia – średnia ilość informacji, przypadająca na pojedynczą wiadomość ze źródła informacji. Innymi słowy jest to średnia ważona ilości informacji niesionej przez pojedynczą wiadomość, gdzie wagami są prawdopodobieństwa nadania poszczególnych wiadomości.

Wzór na entropię zmiennej losowej  o zbiorze wartości :
 

gdzie  to prawdopodobieństwo zajścia zdarzenia  a  to podstawa logarytmu. W teorii informacji najczęściej stosuje się logarytm o podstawie 2, wówczas jednostką entropii jest bit. Dla  jednostka ta nazywa się nat (nit), natomiast dla  – dit lub hartley. W przypadku gdy  dla pewnego  wartość składnika  jest przyjmowana jako 0, co jest zgodne z granicą:
 

W latach 60. XX wieku węgierski matematyk Alfred Rényi uogólnił pojęcie entropii do zbioru funkcji za pomocą których można opisać ilościowo różnorodność, niepewność czy losowość systemu. Miara ta od jego nazwiska nazywana jest entropią Rényi.

Entropię można interpretować jako niepewność wystąpienia danego zdarzenia elementarnego w następnej chwili. Jeżeli jakieś zdarzenie w zbiorze zdarzeń występuje z prawdopodobieństwem równym 1, to entropia układu wynosi wówczas 0, gdyż z góry wiadomo, co się stanie – nie ma niepewności.

Własności entropii:
 jest nieujemna;
 jest maksymalna, gdy prawdopodobieństwa zajść zdarzeń są takie same (maksymalna niepewność);
 jest równa 0, gdy prawdopodobieństwa stanów systemu poza jednym wynoszą 0, a jednego stanu – 1 (maksymalna pewność);
 własność superpozycji – gdy dwa systemy są niezależne, to entropia sumy systemów równa się sumie entropii;
 jeśli ze źródła danych pobierane są k-literowe ciągi, wówczas entropia wynosi 

Definicja informacyjna była pierwotnie próbą ujęcia tradycyjnego pojęcia entropii znanego z termodynamiki w kategoriach teorii informacji. Okazało się jednak, że definicja ta jest przydatna w ramach samej teorii informacji.

Pojęcie entropii jest bardzo przydatne np. w dziedzinie kompresji danych. Entropię zerowego rzędu można obliczyć znając histogram ciągu symboli. Jest to iloczyn entropii i liczby znaków w ciągu. Osiągi kodowania Huffmana są często zbliżone do tej granicy, jednak lepszą efektywnością charakteryzuje się kodowanie arytmetyczne.

Przyjęcie modelu, w którym uwzględnia się kontekst znaku, pozwala zwykle na bardzo duże obniżenie entropii.

Przykład 
W przypadku, gdy prawdopodobieństwa poszczególnych zdarzeń w zbiorze są równe, powyższy wzór można stosować w postaci uproszczonej:
 

gdzie:  oznacza wielkość zbioru. Przykładowo dla zbioru 26 liter alfabetu  entropia każdej z nich wynosi około 4,7, więc ośmioznakowy ciąg liter wykorzystywany np. jako hasło będzie miał entropię 37,6.

Moneta, która wyrzuca z takim samym prawdopodobieństwem orły i reszki, ma 1 bit entropii na rzut:
 

Jednakże jeśli moneta z jakieś przyczyny daje zafałszowany wynik (statystycznie częściej daje albo orła albo reszkę z określonym prawdopodobieństwem) mamy do czynienia z sytuacją, w której jest mniejsza niepewność (możemy łatwiej przewidzieć wynik). Objawia się to niższą entropią. Przykładowo, jeśli założymy, że z czterech rzutów wypadły 3 reszki to podstawiając do wzoru otrzymamy entropię równą 0,81. Idąc do ekstremum, przy czterech rzutach i 4 reszkach lub 4 orłach entropia osiąga minimum, czyli 0, ponieważ nie ma niepewności (wiemy co wydarzy się w następnym rzucie). Przedstawiony przykład jest skrajnie uproszczony i próba czterech rzutów jest za mała, aby wyciągać jakieś statystyczne wnioski, ale dobrze obrazuje problem.

Ogólniej każde źródło dające  równie prawdopodobnych wyników ma  bitów na symbol entropii:
 

Ponadto inną miarą związaną z entropią Shannona jest entropia metryczna, która uwzględnia długość informacji (entropia dzielona jest przez długość wiadomości) i pozwala zmierzyć losowość informacji.

Zobacz też 

 entropia produktowa
 entropia krzyżowa
 entropia warunkowa
 informacja wzajemna
 łańcuch Markowa
 teoria informacji

Przypisy

Linki zewnętrzne 
 kalkulator entropii – jak obliczyć i interpretować entropię dowolnej wiadomości
 M. Berta, O. Fawzi, M. Tomamichel, On Variational Expressions for Quantum Relative Entropies, arxiv.org/1512.02615

Teoria informacji