カルバック・ライブラー情報量
有限次元のパラメーター θ {\displaystyle \theta } によって特徴づけられる確率密度関数 p ( x | θ ) {\displaystyle p(x|\theta )} を用いて q ( x ) {\displaystyle q(x)} を推定するという文脈では、カルバック・ライブラー情報量の経験量の最小化
min θ 1 n ∑ i = 1 n log  q ( X i ) p ( X i | θ ) {\displaystyle \min _{\theta }{\frac {1}{n}}\sum _{i=1}^{n}\log {\frac {q(X_{i})}{p(X_{i}|\theta )}}}
は、(対数変換した)最尤法
max θ 1 n ∑ i = 1 n log  p ( X i | θ ) {\displaystyle \max _{\theta }{\frac {1}{n}}\sum _{i=1}^{n}\log p(X_{i}|\theta )}
と同値な問題になる。すなわち、最尤推定量は、カルバック・ライブラー情報量を経験的に最小化する推定方法だと考えられる。