Kullback–Leibler divergence
汎化誤差を議論するにあたって、その基礎にあるのは分布間の差異・距離である。カルバック・ライブラー情報量（KLダイバージェンス）やワッサースタイン計量はその一例である。KLダイバージェンスを用いれば、最尤推定はDKL最小化手法とみることができる。