ラドン＝ニコディムの定理
μ および ν は X 上の測度で、μ ≪ ν が成り立つものとする。
μ から ν へのカルバック・ライブラー情報量は、次で定義される。
D K L ( μ ‖ ν ) = ∫ X log  ( d μ d ν ) d μ . {\displaystyle D_{\mathrm {KL} }(\mu \|\nu )=\int _{X}\log \left({\frac {d\mu }{d\nu }}\right)\;d\mu .}
α > 0, α ≠ 1 に対し、μ から ν への位数 α のレニーダイバージェンス(英語版)は、次で定義される。
D α ( μ ‖ ν ) = 1 α − 1 log  ( ∫ X ( d μ d ν ) α − 1 d μ ) . {\displaystyle D_{\alpha }(\mu \|\nu )={\frac {1}{\alpha -1}}\log \left(\int _{X}\left({\frac {d\mu }{d\nu }}\right)^{\alpha -1}\;d\mu \right).}