相互情報量

相互情報量（そうごじょうほうりょう、）または伝達情報量（でんたつじょうほうりょう、）は、確率論および情報理論において、2つの確率変数の相互依存の尺度を表す量である。最も典型的な相互情報量の物理単位はビットであり、2 を底とする対数が使われることが多い。
定義.
形式的には、2つの離散確率変数 formula_1 と formula_2 の相互情報量は以下で定義される。
ここで、formula_4 は formula_1 と formula_2 の同時分布関数、formula_7 と formula_8 はそれぞれ formula_1 と formula_2 の周辺確率分布関数である。
連続確率変数の場合、総和の代わりに定積分を用いる。
ここで、formula_4 は formula_1 と formula_2 の同時分布密度関数であり、formula_7 と formula_8 はそれぞれ formula_1 と formula_2 の周辺確率密度関数である。
どちらの場合でも相互情報量は負とならず（formula_19）、対称性がある（formula_20）。
これらの定義は対数の底が明示されていない。離散確率変数の場合、最も一般的な相互情報量の尺度はビットであるため、底として 2 を指定することが多い。一方、連続確率変数の場合、ネイピア数formula_21をとることが多い。
直観的には、相互情報量は formula_1 と formula_2 が共有する情報量の尺度であり、一方の変数を知ることでもう一方をどれだけ推測できるようになるかを示す。例えば、formula_1 と formula_2 が独立であれば、formula_1 をいくら知っても formula_2 に関する情報は得られないし、逆も同様である。このとき、相互情報量はゼロである。逆に、formula_1 と "formula_2" が同じであれば、formula_1 と formula_2 は全情報を共有しているという事ができ、formula_1 を知れば formula_2 も知ることになり、逆も同様である。結果として、相互情報量は formula_2（すなわち formula_1）単独の情報量（エントロピー）と同じとなる。
相互情報量は、以下のような意味で相互の依存性（非独立性）の尺度でもある。これは一方向から考えると分かり易い。formula_1 と formula_2 が独立なら、formula_38 であるから、次が成り立つ。
したがって、離散確率変数の場合も連続確率変数の場合もformula_40 となる。実際は逆も成り立ち、formula_40 であることと、formula_1 と formula_2 が独立な確率変数であることは同値である。
また、後述するようにformula_1 と formula_2 が独立な場合の同時分布と実際の同時分布の（擬）距離を示す量であるとも考えられる。
他の情報量との関係.
相互情報量は次のようにも表せる。
さらに、formula_47
従って、相互情報量は、formula_48 と formula_7 の分布に差があればあるほど、情報利得（カルバック・ライブラー情報量）は大きくなる。
応用.
多くの場合、相互情報量を最大化させ（つまり相互依存性を強め）、条件付きエントロピーを最小化させるという方向で使われる。以下のような例がある。