カルバック・ライブラー情報量
H ( X ) = E x { I ( x ) } = log  N − D K L ( P ( X ) ‖ P U ( X ) ) {\displaystyle {\begin{aligned}H(X)&=\mathbb {E} _{x}\{I(x)\}\\&=\log N-D_{\mathrm {KL} }(P(X)\|P_{U}(X))\end{aligned}}}
ここでN は確率変数X の値域の元の数で、P_U(X) はX の値域上の一様分布。
条件付きエントロピーの場合は以下のようになる:
H ( X | Y ) = log  N − D K L ( P ( X , Y ) ‖ P U ( X ) P ( Y ) ) = log  N − D K L ( P ( X , Y ) ‖ P ( X ) P ( Y ) ) − D K L ( P ( X ) ‖ P U ( X ) ) = H ( X ) − I ( X ; Y ) = log  N − E Y { D K L ( P ( X | Y ) ‖ P U ( X ) ) } {\displaystyle {\begin{aligned}H(X|Y)&=\log N-D_{\mathrm {KL} }(P(X,Y)\|P_{U}(X)P(Y))\\&=\log N-D_{\mathrm {KL} }(P(X,Y)\|P(X)P(Y))-D_{\mathrm {KL} }(P(X)\|P_{U}(X))\\&=H(X)-I(X;Y)\\&=\log N-\mathbb {E} _{Y}\{D_{\mathrm {KL} }(P(X|Y)\|P_{U}(X))\}\end{aligned}}}