交差エントロピー
交差エントロピー最小化は、最適化問題と希少事象の予測によく使われる技法である(交差エントロピー法)。
確率分布 q {\displaystyle q} を参照用固定確率分布 p {\displaystyle p} と比較したとき、交差エントロピーとカルバック・ライブラー情報量は( p {\displaystyle p} が固定なので)付加的な定数を除いて同一である。どちらも p = q {\displaystyle p=q} であるとき最小値となり、カルバック・ライブラーの値は 0 {\displaystyle 0} 、交差エントロピーの値は H ( p ) {\displaystyle \mathrm {H} (p)} となる。
ただし、カルバック・ライブラー情報量参照のとおり、q を固定の参照用確率分布とし、p を最適化して q に近づけるようにすることもある。この場合の最小化は交差エントロピーの最小化とはならない。文献ではどちらの手法で説明しているか、注意する必要がある。