情報理論
離散確率変数 M {\displaystyle M} のエントロピー H {\displaystyle H} とは、 M {\displaystyle M} の値の不確かさの尺度である。ここでの「ビット」の定義は重要である。例えば、通常の感覚(0 と 1)で 1000 ビットを転送するとしよう。事前にそのビット群の内容(0 と 1 の送信順序)がわかっている場合、論理的には通信によって得られる情報はゼロである。逆に個々のビットが 0 なのか 1 なのか五分五分の確率であった場合(かつビット間に相互の関連が存在しない場合)、1000 ビットで得られる情報は最大となる。これらの中間で、情報の定量化は次のように表される。 M {\displaystyle \mathbb {M} \,} を確率変数 M {\displaystyle M} の発するメッセージ m {\displaystyle m} の集合とし、 p ( m ) = P r ( M = m ) {\displaystyle p(m)=Pr(M=m)} としたとき、 M {\displaystyle M} のエントロピーは次のようになる(単位はビット)。
H ( M ) = E M [ − log  p ( m ) ] = − ∑ m ∈ M p ( m ) log  p ( m ) {\displaystyle H(M)=\mathbb {E} _{M}[-\log p(m)]=-\sum _{m\in \mathbb {M} }p(m)\log p(m)}
エントロピーの重要な特徴として、メッセージ空間内の全メッセージが全て同じ確率でありうる場合に(つまり最も予測が難しい場合)、エントロピー値が最大の H ( M ) = log  | M | {\displaystyle H(M)=\log |\mathbb {M} |} となる。
情報の数学的理論は確率論と統計学に基づいている。最も重要な情報の定量的尺度はエントロピーと伝達情報量である。エントロピーは確率変数の情報の尺度であり、メッセージの圧縮しやすさの度合いである。伝達情報量は2つの確率変数間に共通する情報の尺度であり、通信路における通信速度を決定するのに使われる。
以下の式に出てくる対数の底は、情報エントロピーの単位を決定するのに使われる。現在最も一般に使われている情報の単位はビットであり、2を底とする対数に基づいている。そのため通常、底は 2 とみなされる。さらに、通常定義されない 0 log  0 {\displaystyle 0\log 0\,} を 0 とする。