カルバック・ライブラー情報量
ここで、p、q はそれぞれ P、Q の確率密度関数を表す。
より一般に、P、Qが可測集合X上の確率測度で、P、Q がなんらかの測度μに対して絶対連続な場合には、
D K L ( P ‖ Q ) = ∫ X d P d μ log  d P / d μ d Q / d μ d μ {\displaystyle D_{\mathrm {KL} }(P\|Q)=\int _{X}{\frac {dP}{d\mu }}\log {\frac {dP/d\mu }{dQ/d\mu }}\;d\mu }
と定義できる。ここで d P d μ {\displaystyle {\frac {dP}{d\mu }}} 、 d Q d μ {\displaystyle {\frac {dQ}{d\mu }}} はラドン・ニコディム導関数。
これらの式に出てくる対数の底は、情報の単位をビットとするときは 2 とし、ナットを単位とするときは e を底とする。カルバック・ライブラー情報量に関わる方程式の多くは対数の底が何であろうと無関係である。
I ( X ; Y ) = D K L ( P ( X , Y ) ‖ P ( X ) P ( Y ) ) = E X { D K L ( P ( Y | X ) ‖ P ( Y ) ) } = E Y { D K L ( P ( X | Y ) ‖ P ( X ) ) } {\displaystyle {\begin{aligned}I(X;Y)&=D_{\mathrm {KL} }(P(X,Y)\|P(X)P(Y))\\&=\mathbb {E} _{X}\{D_{\mathrm {KL} }(P(Y|X)\|P(Y))\}\\&=\mathbb {E} _{Y}\{D_{\mathrm {KL} }(P(X|Y)\|P(X))\}\end{aligned}}}