Entropi (bilgi teorisi)
Bilgi teorisi'nde entropi bir iletinin içerdiği bilgi miktarıdır. Ayrık bir rassal değişken Xin entropisi
\Eta(X) := -\sum_{x}\Pr[X=x]\lg \Pr[X=x]
olarak tanımlanır. Burada bir x için Pr[X=x]=0 ise,
\Pr[X=x]\lg \Pr[X=x] = 0
varsayılır.