交差エントロピー
分類問題において、異なる事象の確率を推定したいとする。N サンプルからなる訓練集合内における事象 i {\displaystyle i} の頻度(経験的確率)が p i {\displaystyle p_{i}} である一方、事象 i {\displaystyle i} の確率が q i {\displaystyle q_{i}} と推定されたとすると、訓練集合の尤度は次のようになる。
∏ i q i N p i {\displaystyle {\displaystyle \prod _{i}q_{i}^{Np_{i}}}}
この対数尤度をNで割ると、
1 N log  ∏ i q i N p i = ∑ i p i log  q i = − H ( p , q ) {\displaystyle {\displaystyle {\frac {1}{N}}\log \prod _{i}q_{i}^{Np_{i}}=\sum _{i}p_{i}\log q_{i}=-H(p,q)}}
となり、この尤度を最大化することは、交差エントロピーを最小化することと同義となる。