自己相互情報量
離散確率変数 X , Y {\displaystyle X,Y} に属する結果 x , y {\displaystyle x,y} の組の自己相互情報量は、独立性の仮定の下で、それらの同時分布と個々の分布が与えられたときの同時確率の不一致を定量化したものである。数学的には下記の式として表される。
pmi  ( x ; y ) ≡ log  p ( x , y ) p ( x ) p ( y ) = log  p ( x ∣ y ) p ( x ) = log  p ( y ∣ x ) p ( y ) {\displaystyle \operatorname {pmi} (x;y)\equiv \log {\frac {p(x,y)}{p(x)\,p(y)}}=\log {\frac {p(x\mid y)}{p(x)}}=\log {\frac {p(y\mid x)}{p(y)}}}
確率変数 X , Y {\displaystyle X,Y} の相互情報量は、考えられる全ての結果に関する、自己相互情報量の期待値である。対称性がある。
pmi  ( x ; y ) = pmi  ( y ; x ) {\displaystyle \operatorname {pmi} (x;y)=\operatorname {pmi} (y;x)}