マハラノビス距離
データをN-次元ユークリッド空間の点で表して、これがある集団(与えられた複数の標本点がこれに属すことがすでにわかっている)に属す確率を求めることを考えよう。
まずは標本点の平均あるいは重心を求める。直感的には、目的としている点がその重心に近いほど、その集団に属す確からしさが高い。しかし集団の大きさも知る必要がある。単純な方法としては、重心から各標本点への距離の標準偏差を求める方法がある。標本点と重心との距離が1標準偏差よりも小さければ、標本点がその集団に属す確からしさが高いといえる。距離が遠く離れているほど、点がその集団に分類されない可能性が高くなる。
この直感的な考え方は、点と集団との間の正規化距離を ( x − μ ) / σ {\displaystyle (x-\mu )/\sigma } と定義することで定量化できる。これを正規分布に当てはめると、点が集団に属す確率が求められる。この方法の欠点は、標本が重心のまわりに球状に分布していると仮定していることである。分布が球状でないとしたら、確率は重心からの距離だけでなく方向にも依存するだろう。
例えば分布が楕円状だった場合、短軸方向の距離は小さくなければならないが、長軸方向の距離はより大きい値を取りうるだろう。分布を最もよく表現する楕円は、共分散行列によって見積もることが出来る。そして重心から標本点までの距離を、その方向における楕円の幅で割ったものがマハラノビスの距離である。(集団の分布密度が多次元の一般化正規分布関数であることを仮定していることになる)