Entropi (bilgi teorisi)

Bilgi teorisi'nde entropi bir iletinin içerdiği bilgi miktarıdır.

Tanım
Ayrık bir rassal değişken X'''in entropisi

olarak tanımlanır.

Burada bir x'' için Pr[X=x]=0 ise,

varsayılır. Bu varsayım

limiti ile tutarlıdır.

Kategori:Bilgi teorisi
Kategori:İstatistik teorisi
Kategori:Rastlantısallık