結合エントロピー
ここで、考えられる結果の「対」 ( x , y ) {\displaystyle (x,y)} を全て考慮する。
それぞれの対の発生確率を p x , y {\displaystyle p_{x,y}\quad } としたとき、結合エントロピーは次のようになる。
H ( X , Y ) = − ∑ x , y p x , y log 2  ( p x , y ) {\displaystyle H(X,Y)=-\sum _{x,y}p_{x,y}\log _{2}(p_{x,y})\!}
上記の例では、1を素数と見なしていない。従って、結合確率分布は次のようになる。
P ( even , prime ) = P ( odd , not prime ) = 1 / 8 {\displaystyle P({\text{even}},{\text{prime}})=P({\text{odd}},{\text{not prime}})=1/8}
P ( even , not prime ) = P ( odd , prime ) = 3 / 8 {\displaystyle P({\text{even}},{\text{not prime}})=P({\text{odd}},{\text{prime}})=3/8}
以上から、結合エントロピーは次のようになる。
− 2 1 8 log 2  ( 1 / 8 ) − 2 3 8 log 2  ( 3 / 8 ) ≈ 1.8 bits {\displaystyle -2{\frac {1}{8}}\log _{2}(1/8)-2{\frac {3}{8}}\log _{2}(3/8)\approx 1.8~{\text{bits}}}