Kullback–Leibler divergence
により定義される , , （ が確率分布であれば、相対エントロピーはカルバック・ライブラー情報量に一致）。