Kullback–Leibler divergence
すなわち、カルバック・ライブラー情報量は、"X" に関してデータ "I" から得られる情報量の平均値を表している事になる。