より一般に、、 が可測集合 上の確率測度で、、 がなんらかの測度 に対して絶対連続な場合には、
と定義できる。ここで 、 はラドン・ニコディム導関数である。
これらの式に出てくる対数の底は、情報の単位をビットとするときは とし、ナットを単位とするときはネイピア数 を底とする。カルバック・ライブラー情報量に関わる方程式の多くは対数の底と無関係である。
直観的意味.
最尤推定量による説明.
有限次元のパラメータ によって特徴づけられる確率密度関数 を用いて を推定するという文脈では、カルバック・ライブラー情報量の経験量の最小化
は、（対数変換した）最尤法
と同値な問題になる。すなわち、最尤推定量は、カルバック・ライブラー情報量を経験的に最小化する推定方法だと考えられる。
ベイズ確率による説明.
 を確率変数とし、各 に対し が である確率 が であったとする（ベイズ確率でいう事前分布）。いま に関する新たなデータ を知ったとし、その結果 の従う（条件付き）確率 が になったとする（ベイズ確率でいう事後分布）。
このとき、 は に関しどのくらいの情報を提供したといえるであろうか。情報量が事象の不確かさを図る尺度であったことを思い出されたい。 を知る前の の不確かさ（すなわち自己情報量）は であるが、 を知ることでそれは に減る。したがって によって に関して
だけの自己情報量を得たことになる。 は に従って変わるので、この値の（事後確率分布による）平均値をとると、
となる。これはカルバック・ライブラー情報量と一致する。
すなわち、カルバック・ライブラー情報量は、 に関してデータ から得られる情報量の平均値を表していることになる。
符号化による説明.
本来の最小値よりも多くのビット数を必要としてしまう。
カルバック・ライブラー情報量は、このような誤りを犯してしまった場合に
余分にかかってしまうビット数の平均値を表す。
性質.
カルバック・ライブラー情報量は常に負でない値となる。
カルバック・ライブラー情報量を確率分布空間における距離と呼ぶ場合もあるが、カルバック・ライブラー情報量には対称性がないため、距離と呼ぶのは正しくない。一般に
情報理論における他の量との関係.
情報理論の他の様々な量は、カルバック・ライブラー情報量の特殊なケースの応用として解釈できる。