Kullback–Leibler divergence
相互情報量は、2つの確率変数 formula_3 と formula_4 の周辺分布の積 formula_68 と同時分布 formula_69 のカルバック・ライブラー情報量で表すこともできる。