Kullback–Leibler divergence
確率分布 formula_2 を参照用固定確率分布 formula_1 と比較したとき、交差エントロピーとカルバック・ライブラー情報量は（formula_1 が固定なので）付加的な定数を除いて同一である。どちらも formula_27 であるとき最小値となり、カルバック・ライブラーの値は formula_28、交差エントロピーの値は formula_29 となる。