単純ベイズ分類器
抽象的には、分類器の確率モデルは次のような依存クラス変数 C {\displaystyle C} についての条件付きモデルである。クラスは、いくつかの特徴変数 F 1 {\displaystyle F_{1}} から F n {\displaystyle F_{n}} までに依存している。
p ( C | F 1 , ... , F n ) {\displaystyle p(C\vert F_{1},\dots ,F_{n})\,}
問題は、特徴数 n {\displaystyle n} が大きいとき、あるいは特徴がとりうる値の範囲が大きいとき、確率表に基づいたようなモデルは現実的でなくなることである。そこで、モデルをより扱いやすく変形する。
ベイズの定理を使えば、次のようになる。
p ( C | F 1 , ... , F n ) = p ( C ) p ( F 1 , ... , F n | C ) p ( F 1 , ... , F n ) {\displaystyle p(C\vert F_{1},\dots ,F_{n})={\frac {p(C)\ p(F_{1},\dots ,F_{n}\vert C)}{p(F_{1},\dots ,F_{n})}}\,}
この式を英語で表すと次のようになる(Posterior = 事後、Prior = 事前、Likelihood = 尤度、Evidence = 証拠)。
P o s t e r i o r = P r i o r × L i k e l i h o o d E v i d e n c e {\displaystyle Posterior={\frac {Prior\times Likelihood}{Evidence}}\,}