判別分析

判別分析（はんべつぶんせき、）は、事前に与えられているデータが異なるグループに分かれる場合、新しいデータが得られた際に、どちらのグループに入るのかを判別するための基準（判別関数）を得るための正規分布を前提とした分類の手法。英語では線形判別分析をLDA、二次判別分析をQDA、混合判別分析をMDAと略す。1936年にロナルド・フィッシャーが線形判別分析を発表し、1996年に Trevor Hastie, Robert Tibshirani が混合判別分析を発表した。
3つ以上のグループの判別は重判別分析や正準判別分析と呼ばれる。
判別関数の種類.
判別関数には以下の物などがある。
前提条件.
線形判別分析は、以下の前提条件が成立する必要がある。
その上で、マハラノビス汎距離が等距離の所に直線を引く。これらの前提条件が成立しないとおかしな結果になる。
各グループの平均が異なる以上、分散が異なることは多々ある。等分散性の仮定を外した物が二次判別分析である。それぞれのグループで異なる共分散行列を使用してマハラノビス距離を計算して、等距離になる場所を判別曲面とする方法である。この方法は二次関数となり、正規分布が成立している場合は正しい結果になる。
線形判別分析において、グループ間の確率のロジットは線形関数となるが、ここで線形関数という仮定を残したまま、正規分布や等分散性の仮定を外すとロジスティック回帰や単純パーセプトロンになる。
さらに別な方法としては、線形判別関数を使用したい場合は、線形サポートベクターマシンで線形判別関数を求めるという方法もある。
線形判別分析.
線形判別関数は以下の通り。これの正負で判断。formula_1 は入力、formula_2 は平均、formula_3 は共分散行列。この式は多変量正規分布の式より導出できる。
より細かく、線形判別関数 (formula_5) の求め方を以下に示す。
二次判別分析.
グループの平均を中心に回転・軸方向のスケーリングを行い共分散行列を揃え、線形判別分析を行えば良い。
混合判別分析.
単一の正規分布ではなく、混合正規分布で表現した物を混合判別分析という。その場合でも共分散行列は共通の物を使う。混合正規分布を使うことにより複雑な分布も扱えるようになる。混合正規分布はEMアルゴリズムなどで求める。