Kullback–Leibler divergence
と書ける事が分かる。カルバック・ライブラー情報量が常に非負である事（ギブスの不等式）から、