情報理論
情報理論の基本となる概念は人間のコミュニケーション手段として最も広く使われている「言語」である。言語に関する重要な2つの観点がある。第1に、最もよく使われる単語(例えば、「日」、「私」、「それ」)はそれほど使われない単語(例えば、「唯々諾々」、「開口一番」、「対馬海流」)よりも短く、結果として文はそれほど長くならない。このような単語長のトレードオフはデータ圧縮に通じるものがあり、情報源符号化の基盤となっている。第2に、自動車が通りかかったなどのノイズのために文の最初の方を聞き逃しても、聞いていた人はメッセージの言わんとするところを理解できる(場合もある)。そのような言語の堅牢性は電気通信システムの基本であり、通信におけるその種の堅牢性を構築するのが通信路符号化である。情報源符号化と通信路符号化は情報理論の基礎となる概念である。
情報源符号化と通信路符号化では、メッセージの内容の重要性を全く考慮していない。例えば、「またおいでください」という決まり文句と、緊急時の叫び「救急車を呼んでくれ!!」は長さは似たようなものだが、その内容の重要性はかなり異なる。情報理論では、メッセージの重要性や意味には立ち入らない。すなわち、データの質は扱わず、確率論的に扱えるデータの量だけを扱う。
情報理論は、1948年、クロード・シャノンが Bell System Technical Journal に投稿した論文 "A Mathematical Theory of Communication"(通信の数学的理論)を始まりとする。
確率変数 Y {\displaystyle Y} における X {\displaystyle X} の条件付きエントロピーとは、 Y {\displaystyle Y} についての平均条件付きエントロピーであり、次のようになる:
H ( X | Y ) = E Y { H ( X | y ) } = − ∑ y ∈ Y p ( y ) ∑ x ∈ X p ( x | y ) log  p ( x | y ) {\displaystyle H(X|Y)=\mathbb {E} _{Y}\{H(X|y)\}=-\sum _{y\in Y}p(y)\sum _{x\in X}p(x|y)\log p(x|y)}
= − ∑ x , y p ( x , y ) log  p ( x , y ) p ( y ) {\displaystyle =-\sum _{x,y}p(x,y)\log {\frac {p(x,y)}{p(y)}}}
= ∑ x , y p ( x , y ) log  p ( y ) p ( x , y ) {\displaystyle =\sum _{x,y}p(x,y)\log {\frac {p(y)}{p(x,y)}}}
これを Y {\displaystyle Y} に関する X {\displaystyle X} のあいまい度とも呼ぶ。このように条件付きエントロピーには、確率変数についての定義と、それが特定の値の場合の定義があるので、混同しないこと。これらのエントロピーには次の関係が成り立つ。
H ( X | Y ) = H ( X , Y ) − H ( Y ) {\displaystyle H(X|Y)=H(X,Y)-H(Y)\,}