情報理論
情報レート (rate) とは、記号ごとの平均エントロピーである。メモリを持たない情報源では、これは単に各記号のエントロピーを表すが、一般に次のような式で表される:
r = E H ( M t | M t − 1 , M t − 2 , M t − 3 , ... ) . {\displaystyle r=\mathbb {E} H(M_{t}|M_{t-1},M_{t-2},M_{t-3},\ldots ).}
正確に言えば、これは単位時間当たりの期待される条件付きエントロピーであり、それまでに生成されたメッセージ群から得られる。情報理論では、言語の「レート」や言語の「エントロピー」を扱うのも特別なことではない。例えば、ソースが英語の散文であった場合などにそのような言い方が出てくる。メモリのない情報源の情報レートは単に H ( M ) {\displaystyle H(M)} となる。これは、メモリのない情報源では、それまでのメッセージ群と次のメッセージとの間に理論上何も関係がないためである。情報源の情報レートは、冗長性と圧縮の程度に関係する。
H ( X , Y ) = E X , Y [ − log  p ( x , y ) ] = − ∑ x , y p ( x , y ) log  p ( x , y ) {\displaystyle H(X,Y)=\mathbb {E} _{X,Y}[-\log p(x,y)]=-\sum _{x,y}p(x,y)\log p(x,y)\,}
X {\displaystyle X} と Y {\displaystyle Y} が独立なら、結合エントロピーは単純に個々のエントロピーの総和となる。類似の概念として交差エントロピーがあるが、違うものである。
Y = y {\displaystyle Y=y} のときの X {\displaystyle X} の条件付きエントロピーとは、 Y = y {\displaystyle Y=y} が既知であるときの X {\displaystyle X} のエントロピーである。前述の例で言えば、列が決まっているときの駒の行位置のエントロピーとなる。 Y = y {\displaystyle Y=y} のときの X {\displaystyle X} の条件付きエントロピーは次のようになる:
H ( X | y ) = E X | Y [ − log  p ( x | y ) ] = − ∑ x ∈ X p ( x | y ) log  p ( x | y ) {\displaystyle H(X|y)=\mathbb {E} _{X|Y}[-\log p(x|y)]=-\sum _{x\in X}p(x|y)\log p(x|y)}
ここで p ( x | y ) {\displaystyle p(x|y)} は、ある y {\displaystyle y} に関する x {\displaystyle x} の条件付き確率である。