Kullback–Leibler divergence
"P"、"Q" を離散確率分布とするとき、"P" の "Q" に対するカルバック・ライブラー情報量は以下のように定義される。