交差エントロピー
同じ確率空間における2つの分布 p {\displaystyle p} と q {\displaystyle q} において、 q {\displaystyle q} の p {\displaystyle p} に対する交差エントロピーは、次のように定義される。
H ( p , q ) = E p [ − log  q ] = H ( p ) + D K L ( p ‖ q ) {\displaystyle \mathrm {H} (p,q)=\mathrm {E} _{p}[-\log q]=\mathrm {H} (p)+D_{\mathrm {KL} }(p\|q)\!}
ここで、 H ( p ) {\displaystyle H(p)} は p {\displaystyle p} のエントロピー、 D K L ( p | | q ) {\displaystyle D_{\mathrm {KL} }(p||q)} は p {\displaystyle p} から q {\displaystyle q} のカルバック・ライブラー情報量(相対エントロピー)である。