カルバック・ライブラー情報量
P、Q を離散確率分布とするとき、P の Q に対するカルバック・ライブラー情報量は以下のように定義される。
D K L ( P ‖ Q ) = ∑ i P ( i ) log  P ( i ) Q ( i ) = E P [ log  P ( i ) Q ( i ) ] {\displaystyle D_{\mathrm {KL} }(P\|Q)=\sum _{i}P(i)\log {\frac {P(i)}{Q(i)}}=\mathbb {E} _{P}\left[\log {\frac {P(i)}{Q(i)}}\right]}
ここでP(i)、Q(i) はそれぞれ確率分布P、Q に従って選ばれた値が i の時の確率である。
一方P、Q が連続確率分布の場合は以下のように定義される。
D K L ( P ‖ Q ) = ∫ − ∞ ∞ p ( x ) log  p ( x ) q ( x ) d x = E P [ log  p ( x ) q ( x ) ] {\displaystyle D_{\mathrm {KL} }(P\|Q)=\int _{-\infty }^{\infty }p(x)\log {\frac {p(x)}{q(x)}}\;dx=\mathbb {E} _{P}\left[\log {\frac {p(x)}{q(x)}}\right]}