単純ベイズ分類器
= p ( C ) ∏ i = 1 n p ( F i | C ) {\displaystyle =p(C)\prod _{i=1}^{n}p(F_{i}\vert C)\,}
つまり、上述のような独立性の仮定のもとで、クラス変数 C {\displaystyle C} の条件付き分布は次のように表される。
p ( C | F 1 , ... , F n ) = 1 Z p ( C ) ∏ i = 1 n p ( F i | C ) {\displaystyle p(C\vert F_{1},\dots ,F_{n})={\frac {1}{Z}}p(C)\prod _{i=1}^{n}p(F_{i}\vert C)}
ここで、 Z {\displaystyle Z} は F 1 , ... , F n {\displaystyle F_{1},\dots ,F_{n}} にのみ依存する係数であり、特徴変数群の値が既知であれば定数となる。
このようなモデルの方が扱いやすい。いわゆる「クラス事前確率」 p ( C ) {\displaystyle p(C)} と独立確率分布 p ( F i | C ) {\displaystyle p(F_{i}\vert C)} に分かれているからである。 k {\displaystyle k} 個のクラスがあり、 p ( F i ) {\displaystyle p(F_{i})} のモデルを r {\displaystyle r} 個のパラメータで表現できるとき、対応する単純ベイズモデルは (k − 1) + n r k 個のパラメータを持つ。二項分類では k = 2 {\displaystyle k=2} であり、 n {\displaystyle n} は予測に使われる2値の特徴の個数である。
単純ベイズ分類機で、あるクラスに属さない補集合(英: Complement)を用いて学習させる拡張をComplement Naive Bayesという。
たとえば文章分類で純粋な単純ベイズ分類器では文章中のそのクラスに属する単語の出現率が大きくなってしまうが、属さない確率が最も低いクラスとして識別することで文章中のこのばらつきを最低限に抑えられる。これによってよい識別が可能になる。
p ( D | C ) = p ( D ∩ C ) p ( C ) {\displaystyle p(D\vert C)={p(D\cap C) \over p(C)}}
かつ
p ( C | D ) = p ( D ∩ C ) p ( D ) {\displaystyle p(C\vert D)={p(D\cap C) \over p(D)}}
となる。ベイズの定理によれば、尤度関数を使って確率が次のように表される。
p ( C | D ) = p ( C ) p ( D ) p ( D | C ) {\displaystyle p(C\vert D)={p(C) \over p(D)}\,p(D\vert C)}
ここで、クラスは S と ¬S の2つしかないと仮定する(例えば、スパムかそうでないか)。
p ( D | S ) = ∏ i p ( w i | S ) {\displaystyle p(D\vert S)=\prod _{i}p(w_{i}\vert S)\,}
かつ
p ( D | ¬ S ) = ∏ i p ( w i | ¬ S ) {\displaystyle p(D\vert \neg S)=\prod _{i}p(w_{i}\vert \neg S)\,}
となる。上記のベイズの結果を使うと、次のようになる。
p ( S | D ) = p ( S ) p ( D ) ∏ i p ( w i | S ) {\displaystyle p(S\vert D)={p(S) \over p(D)}\,\prod _{i}p(w_{i}\vert S)}