より一般に、、が可測集合上の確率測度で、、がなんらかの測度に対して絶対連続な場合には、と定義できる。ここで、はラドン・ニコディム導関数である。これらの式に出てくる対数の底は、情報の単位をビットとするときはとし、ナットを単位とするときはネイピア数を底とする。カルバック・ライブラー情報量に関わる方程式の多くは対数の底と無関係である。直観的意味.最尤推定量による説明.有限次元のパラメータによって特徴づけられる確率密度関数を用いてを推定するという文脈では、カルバック・ライブラー情報量の経験量の最小化は、(対数変換した)最尤法と同値な問題になる。すなわち、最尤推定量は、カルバック・ライブラー情報量を経験的に最小化する推定方法だと考えられる。ベイズ確率による説明.を確率変数とし、各に対しがである確率がであったとする(ベイズ確率でいう事前分布)。いまに関する新たなデータを知ったとし、その結果の従う(条件付き)確率がになったとする(ベイズ確率でいう事後分布)。このとき、はに関しどのくらいの情報を提供したといえるであろうか。情報量が事象の不確かさを図る尺度であったことを思い出されたい。を知る前のの不確かさ(すなわち自己情報量)はであるが、を知ることでそれはに減る。したがってによってに関してだけの自己情報量を得たことになる。はに従って変わるので、この値の(事後確率分布による)平均値をとると、となる。これはカルバック・ライブラー情報量と一致する。すなわち、カルバック・ライブラー情報量は、に関してデータから得られる情報量の平均値を表していることになる。符号化による説明.本来の最小値よりも多くのビット数を必要としてしまう。カルバック・ライブラー情報量は、このような誤りを犯してしまった場合に余分にかかってしまうビット数の平均値を表す。性質.カルバック・ライブラー情報量は常に負でない値となる。カルバック・ライブラー情報量を確率分布空間における距離と呼ぶ場合もあるが、カルバック・ライブラー情報量には対称性がないため、距離と呼ぶのは正しくない。一般に情報理論における他の量との関係.情報理論の他の様々な量は、カルバック・ライブラー情報量の特殊なケースの応用として解釈できる。