カルバック・ライブラー情報量
したがって I は X に関して
( − log  Q ( x ) ) − ( − log  P ( x ) ) = log  P ( x ) Q ( x ) {\displaystyle (-\log Q(x))-(-\log P(x))=\log {\frac {P(x)}{Q(x)}}}
だけの自己情報量を得た事になる。 x は X に従って変わるので、この値の(事後確率分布による)平均値をとると、
∑ x P ( x ) log  P ( x ) Q ( x ) {\displaystyle \sum _{x}P(x)\log {\frac {P(x)}{Q(x)}}}
となる。これはカルバック・ライブラー情報量と一致する。
すなわち、カルバック・ライブラー情報量は、X に関してデータ I から得られる情報量の平均値を表している事になる。 以上の理由により、カルバック・ライブラー情報量は情報利得(Information gain)とも呼ばれる。