単純ベイズ分類器
単純ベイズ分類器を文書分類問題に適用した例を示す。文書群をその内容によって分類する問題であり、例えば、電子メールをスパム (C=0) とスパムでないもの (C=1) に分類する。文書は、単語群としてモデル化できるいくつかのクラスから取り出されるものとする。ここで、文書のi番目の単語 w i {\displaystyle w_{i}} が、クラス C から取り出された文書に出現する(独立な)確率は、次のように書き表せる。
p ( w i | C ) {\displaystyle p(w_{i}\vert C)\,}
ただしこの式では、問題をより簡単にするため、単語は文書中にランダムに分布すると仮定している。すなわち、単語の出現確率は、文書の長さ、文書中での他の単語との位置関係、その他の文脈には依存しないものとする。
すると、あるクラスCが与えられた時、文書D が取り出される確率は次のようになる。
p ( D | C ) = ∏ i p ( w i | C ) {\displaystyle p(D\vert C)=\prod _{i}p(w_{i}\vert C)\,}
解きたい問題は、「ある文書 D が、あるクラス C に属する確率」であり、言い換えれば p ( C | D ) {\displaystyle p(C\vert D)\,} の値である。
ここで、定義から(確率空間参照)