カルバック・ライブラー情報量
情報量が H である確率変数X は平均ビット数が(ほぼ)H であるビット列に符号化できる(ハフマン符号)が、 平均ビット数が H 未満であるようには符号化できない(情報源符号化定理)事が知られている。 つまり、確率変数 X を符号化しようと考えた場合、H がビット数の最小値である。
今確率変数 X が本当は分布 P に従っているのに、誤って分布 Q に従っていると判断してしまった場合、 本来の最小値よりも多くのビット数を必要としてしまう。 カルバック・ライブラー情報量は、このような誤りを犯してしまった場合に 余分にかかってしまうビット数の平均値を表す。