カルバック・ライブラー情報量
D K L ( P ‖ Q ) = − ∑ x p ( x ) log  q ( x ) + ∑ x p ( x ) log  p ( x ) = H ( P , Q ) − H ( P ) {\displaystyle {\begin{aligned}D_{\mathrm {KL} }(P\|Q)&=-\sum _{x}p(x)\log q(x)+\sum _{x}p(x)\log p(x)\\&=H(P,Q)-H(P)\end{aligned}}}