カルバック・ライブラー情報量
X を確率変数とし、各 x に対し X が x である確率 Pr [ X = x ] {\displaystyle \Pr[X=x]} が Q(x) であったとする(ベイズ確率でいう事前分布。) 今 X に関する新たなデータ I を知ったとし、 その結果 X の従う(条件付き)確率 Pr [ X = x | I ] {\displaystyle \Pr[X=x|I]} が P(x) になったとする(ベイズ確率でいう事後分布。)
このとき、I は X に関しどのくらいの情報を提供したといえるであろうか。 情報量が事象の不確かさを図る尺度であった事を思い出されたい。 I を知る前の X の不確かさ(=自己情報量)は − log  Q ( x ) {\displaystyle -\log Q(x)} であるが、 I を知る事でそれは − log  P ( x ) {\displaystyle -\log P(x)} に減る。