自己相互情報量
自己相互情報量は、情報理論、言語学、化学(化合物のプロファイリングと分析など)など、さまざまな分野で利用できる。計算言語学では、自己相互情報量は単語間のコロケーションや関連正を見つけるために使用されてきた。たとえば、テキストコーパス内の単語の出現と共起をカウントして、その確率 p ( x ) {\displaystyle p(x)} および p ( x , y ) {\displaystyle p(x,y)} を近似的に求めることができる。次の表は、ウィキペディアの上位5000万語(2015年10月時点)のうち、共起回数が1000回以上でフィルタリングした上で、PMIスコアが最も高い単語と最も低い単語のカウントを示したものである。各カウントの頻度は、その値を50,000,952で割ることで得られる(注:基底 2 ではなく、自然対数を使用して自己相互情報量を計算した)。
良好なコロケーションのペアは、共起確率が各単語の出現確率よりもわずかに低い程度であり、PMIは高い。逆に、出現確率が共起確率よりもかなり高い単語のペアは、PMIが低い。