Entropija (informacijos teorija)

Entropija yra informacijos teorijoje naudojamas dydis, kuris apibūdina vidutinį informacijos kiekį, kurį teikia vienas pranešimas (kai perdavimo kanale nėra trukdžių).

Formulė 

 

Informacijos teorija