Kullback–Leibler divergence
ここでKLはカルバック・ライブラー情報量である。カルバック・ライブラー情報量は常に非負である（ギブスの不等式）ので、formula_12は自己情報量formula_13の下界になっており、formula_7がformula_6を（カルバック・ライブラー情報量の意味で）よく近似しているほどformula_13に近づく。