カルバック・ライブラー情報量
カルバック・ライブラー情報量は常に負でない値となる。
D K L ( P ‖ Q ) ≥ 0 {\displaystyle D_{\mathrm {KL} }(P\|Q)\geq 0}
これはギブスの不等式として知られており、DKL(P||Q) がゼロとなるのは P = Q であるときだけである。従って、エントロピー H(P) はクロスエントロピー H(P,Q) の下限値となる。このクロスエントロピーは P ではなく Q に基づく符号を使ったときに予測されるビット数を表している。従って、KLダイバージェンスは、X から x という値を特定する情報を得るために、P という真の分布ではなく Q という確率分布に対応した符号を使ったときに余分にかかると予想されるビット数を表しているのである。
カルバック・ライブラー情報量を確率分布空間における距離と呼ぶ場合もあるが、カルバック・ライブラー情報量には対称性がないため、距離と呼ぶのは正しくない。一般に
D K L ( P ‖ Q ) ≠ D K L ( Q ‖ P ) . {\displaystyle D_{\mathrm {KL} }(P\|Q)\neq D_{\mathrm {KL} }(Q\|P).}
さらに言えば、DKL(P||Q) は三角不等式を満足しない。