自己相互情報量
自己相互情報量は、相互情報量と同様の性質がある。
pmi  ( x ; y ) = h ( x ) + h ( y ) − h ( x , y ) = h ( x ) − h ( x ∣ y ) = h ( y ) − h ( y ∣ x ) {\displaystyle {\begin{aligned}\operatorname {pmi} (x;y)&=h(x)+h(y)-h(x,y)\\&=h(x)-h(x\mid y)\\&=h(y)-h(y\mid x)\end{aligned}}}
ここで、自己情報量 h ( x ) = − log 2  p ( X = x ) {\displaystyle h(x)=-\log _{2}p(X=x)} である。