Entropi (bilgi teorisi)

Bilgi teorisi'nde entropi bir iletinin içerdiği bilgi miktarıdır.

Tanım
Ayrık bir rassal değişken X'''in entropisi

olarak tanımlanır.

Burada bir x'' için Pr[X=x]=0 ise,

varsayılır. Bu varsayım
  
limiti ile tutarlıdır.

Bilgi teorisi
İstatistik teorisi
Rastlantısallık