相对熵

KL散度（Kullback-Leibler divergence，簡稱KLD），在訊息系统中称为相对熵（relative entropy），在连续时间序列中称为随机性（randomness），在统计模型推断中称为訊息增益（information gain）。也称訊息散度（information divergence）。 KL散度是两个機率分布P和Q差别的非对称性的度量。 KL散度是用来度量使用基于Q的分布来编码服从P的分布的样本所需的额外的平均比特数。典型情况下，P表示数据的真实分布，Q表示数据的理论分布、估计的模型分布、或P的近似分布。 對於离散隨機变量，其機率分布P 和 Q的KL散度可按下式定義為 D K L ( P ‖ Q ) = − ∑ i P ( i ) ln ⁡ Q ( i ) P ( i ) . {\displaystyle D_{\mathrm {KL} }(P\|Q)=-\sum _{i}P(i)\ln {\frac {Q(i)}{P(i)}}.\!} 等价于 D K L ( P ‖ Q ) = ∑ i P ( i ) ln ⁡ P ( i ) Q ( i ) . {\displaystyle D_{\mathrm {KL} }(P\|Q)=\sum _{i}P(i)\ln {\frac {P(i)}{Q(i)}}.\!} 即按機率P求得的P和Q的對數商的平均值。KL散度僅當機率P和Q各自總和均為1，且對於任何i皆滿足 Q ( i ) > 0 {\displaystyle Q(i)>0} 及 P ( i ) > 0 {\displaystyle P(i)>0} 時，才有定義。式中出現 0 ln ⁡ 0 {\displaystyle 0\ln 0} 的情況，其值按0處理。 對於連續隨機變量，其機率分佈P和Q的KL散度可按積分方式定義為 D K L ( P ‖ Q ) = ∫ − ∞ ∞ p ( x ) ln ⁡ p ( x ) q ( x ) d x , {\displaystyle D_{\mathrm {KL} }(P\|Q)=\int _{-\infty }^{\infty }p(x)\ln {\frac {p(x)}{q(x)}}\,{\rm {d}}x,\!} 其中p和q分別表示分佈P和Q的密度。 更一般的，若P和Q為集合X的機率測度，且P關於Q絕對連續，則從P到Q的KL散度定義為 D K L ( P ‖ Q ) = ∫ X ln ⁡ d P d Q d P , {\displaystyle D_{\mathrm {KL} }(P\|Q)=\int _{X}\ln {\frac {{\rm {d}}P}{{\rm {d}}Q}}\,{\rm {d}}P,\!} 其中，假定右側的表達形式存在，則 d Q d P {\displaystyle {\frac {{\rm {d}}Q}{{\rm {d}}P}}} 為Q關於P的R–N導數。 相應的，若P關於Q絕對連續，則 D K L ( P ‖ Q ) = ∫ X ln ⁡ d P d Q d P = ∫ X d P d Q ln ⁡ d P d Q d Q , {\displaystyle D_{\mathrm {KL} }(P\|Q)=\int _{X}\ln {\frac {{\rm {d}}P}{{\rm {d}}Q}}\,{\rm {d}}P=\int _{X}{\frac {{\rm {d}}P}{{\rm {d}}Q}}\ln {\frac {{\rm {d}}P}{{\rm {d}}Q}}\,{\rm {d}}Q,} 即為P關於Q的相對熵。 相對熵的值為非負數： D K L ( P ‖ Q ) ≥ 0 , {\displaystyle D_{\mathrm {KL} }(P\|Q)\geq 0,\,} 由吉布斯不等式可知，當且僅當 P = Q {\displaystyle P=Q} 時 D K L ( P ‖ Q ) {\displaystyle D_{KL}(P\|Q)} 為零。 尽管从直觉上KL散度是个度量或距离函数, 但是它实际上并不是一个真正的度量或距離。因為KL散度不具有对称性：从分布P到Q的距离通常并不等于从Q到P的距离。 D K L ( P ‖ Q ) ≠ D K L ( Q ‖ P ) {\displaystyle D_{\mathrm {KL} }(P\|Q)\neq D_{\mathrm {KL} }(Q\|P)} 自信息和KL散度 I ( m ) = D K L ( δ i m ‖ { p i } ) , {\displaystyle I(m)=D_{\mathrm {KL} }(\delta _{im}\|\{p_{i}\}),} 互信息和KL散度 I ( X ; Y ) = D K L ( P ( X , Y ) ‖ P ( X ) P ( Y ) ) = E X { D K L ( P ( Y | X ) ‖ P ( Y ) ) } = E Y { D K L ( P ( X | Y ) ‖ P ( X ) ) } {\displaystyle {\begin{aligned}I(X;Y)&=D_{\mathrm {KL} }(P(X,Y)\|P(X)P(Y))\\&=\mathbb {E} _{X}\{D_{\mathrm {KL} }(P(Y|X)\|P(Y))\}\\&=\mathbb {E} _{Y}\{D_{\mathrm {KL} }(P(X|Y)\|P(X))\}\end{aligned}}} 信息熵和KL散度 H ( X ) = ( i ) E x { I ( x ) } = ( i i ) log ⁡ N − D K L ( P ( X ) ‖ P U ( X ) ) {\displaystyle {\begin{aligned}H(X)&=\mathrm {(i)} \,\mathbb {E} _{x}\{I(x)\}\\&=\mathrm {(ii)} \log N-D_{\mathrm {KL} }(P(X)\|P_{U}(X))\end{aligned}}} 条件熵和KL散度 H ( X | Y ) = log ⁡ N − D K L ( P ( X , Y ) ‖ P U ( X ) P ( Y ) ) = ( i ) log ⁡ N − D K L ( P ( X , Y ) ‖ P ( X ) P ( Y ) ) − D K L ( P ( X ) ‖ P U ( X ) ) = H ( X ) − I ( X ; Y ) = ( i i ) log ⁡ N − E Y { D K L ( P ( X | Y ) ‖ P U ( X ) ) } {\displaystyle {\begin{aligned}H(X|Y)&=\log N-D_{\mathrm {KL} }(P(X,Y)\|P_{U}(X)P(Y))\\&=\mathrm {(i)} \,\,\log N-D_{\mathrm {KL} }(P(X,Y)\|P(X)P(Y))-D_{\mathrm {KL} }(P(X)\|P_{U}(X))\\&=H(X)-I(X;Y)\\&=\mathrm {(ii)} \,\log N-\mathbb {E} _{Y}\{D_{\mathrm {KL} }(P(X|Y)\|P_{U}(X))\}\end{aligned}}} 交叉熵和KL散度 H ( p , q ) = E p [ − log ⁡ q ] = H ( p ) + D K L ( p ‖ q ) . {\displaystyle \mathrm {H} (p,q)=\mathrm {E} _{p}[-\log q]=\mathrm {H} (p)+D_{\mathrm {KL} }(p\|q).\!} 熵 (信息论) 交叉熵 斯坦因引理（英语：Stein's lemma） Kullback, S.; Leibler, R. A. On Information and Sufficiency. The Annals of Mathematical Statistics. 1951-03, 22 (1) [2022-08-15]. ISSN 0003-4851. doi:10.1214/aoms/1177729694. （原始内容存档于2022-08-18）.  C. Bishop (2006). Pattern Recognition and Machine Learning. p. 55.