Entropija (informacijos teorija)

Entropija – informacijos teorijoje naudojamas dydis, kuris apibūdina vidutinį informacijos kiekį, kurį teikia vienas pranešimas (kai perdavimo kanale nėra trukdžių).

Informacinės entropijos sąvoką 1948 m. pristatė Klodas Šanonas savo  darbe „Matematinė komunikacijos teorija“ (A Mathematical Theory of Communication), (PDF, archived from here) (PDF, archived from here) kuri dar vadinama Šenono entropija.

 Formulė 



 Šaltiniai 

Kategorija:Informacijos teorija