交差エントロピー
p {\displaystyle p} と q {\displaystyle q} が離散確率変数なら、これは次のようになる。
H ( p , q ) = − ∑ x p ( x ) log  q ( x ) {\displaystyle \mathrm {H} (p,q)=-\sum _{x}p(x)\,\log q(x)\!}
連続確率変数なら、同様に次のようになる。
− ∫ X p ( x ) log  q ( x ) d x {\displaystyle -\int _{X}p(x)\,\log q(x)\,dx\!}
なお、 H ( p , q ) {\displaystyle \mathrm {H} (p,q)} という記法は交差エントロピーだけでなく、結合エントロピーにも使われるので、注意が必要である。