自己相互情報量

自己相互情報量（じこそうごじょうほうりょう、、略称: PMI）は、統計学、確率論、情報理論における関連性の尺度である。全ての可能な事象の平均を取る相互情報量（mutual information、MI）とは対照的に、単一の事象を指す。
定義.
離散確率変数formula_1 に属する結果 formula_2 の組の自己相互情報量は、独立性の仮定の下で、それらの同時分布と個々の分布が与えられたときの同時確率の不一致を定量化したものである。数学的には下記の式として表される。
確率変数 formula_1 の相互情報量は、考えられる全ての結果に関する、自己相互情報量の期待値である。対称性がある。
正負の値を取りうるが、formula_1 が独立している場合はゼロである。 PMI が負であっても正であっても、すべての共同イベントに対する期待値である相互情報量は正である。formula_1 が完全に関連している場合、すなわち、formula_8 または formula_9 のとき、次のような境界が得られる。
なお、formula_11 が一定で formula_12 が減少するなら、formula_13 は増加する。
次の例を考える。
この表を周辺化して、個々の分布について次のような表が得られる。
2を底とする対数用いると、formula_13 を次のように計算できる。
なおこのとき、相互情報量 formula_16 と計算できる。
相互情報量との類似点.
自己相互情報量は、相互情報量と同様の性質がある。
formula_17
ここで、自己情報量 formula_18 である。
正規化自己相互情報量（Normalized PMI）.
自己相互情報量は、区間 formula_19 で正規化できる。決して共起しない場合は−1、独立の場合は0、完全に共起する場合は+1が得られる。
ここで、formula_21は共同自己情報であり、次のように推定できる。
PMIの亜種.
上記のNormalized PMI以外にも多くの亜種がある。
PMIの連鎖律.
相互情報量と同様、自己相互情報量は連鎖律に従う。
これは次のように証明できる。
応用.
自己相互情報量は、情報理論、言語学、化学（化合物のプロファイリングと分析など）など、さまざまな分野で利用できる。計算言語学では、自己相互情報量は単語間のコロケーションや関連正を見つけるために使用されてきた。たとえば、テキストコーパス内の単語の出現と共起をカウントして、その確率 formula_12 および formula_26 を近似的に求めることができる。次の表は、ウィキペディアの上位5000万語（2015年10月時点）のうち、共起回数が1000回以上でフィルタリングした上で、PMIスコアが最も高い単語と最も低い単語のカウントを示したものである。各カウントの頻度は、その値を50,000,952で割ることで得られる（注：基底 2 ではなく、自然対数を使用して自己相互情報量を計算した）。
良好なコロケーションのペアは、共起確率が各単語の出現確率よりもわずかに低い程度であり、PMIは高い。逆に、出現確率が共起確率よりもかなり高い単語のペアは、PMIが低い。