形態素解析
昨今の日本語や英語などの形態素解析では統計的な手法が利用される。主な手法に「ラティス上の経路予測」と「点予測」が存在する。
ラティス上の経路予測では、事前に生成可能な単語列 (ラティス) を辞書を使って網羅的に列挙し、各単語間の連結部において両単語が連結して出現する確率に相当するスコアを付与する。文全体でこのスコアの合計がもっとも高くなるような品詞列を答えとする。スコアの計算は隠れマルコフモデル (HMM, Hidden Markov Model) や条件付き確率場 (CRF, Conditional Random Field) などによりモデル化する。
次に点予測 (Pointwise prediction) による手法がある。点予測ではすべての文字の境界に対し、分割可能かどうかをサポートベクターマシン (SVM, Support Vector Machine) 等の分類器により判定する。分割可能な場合はその点が単語区切りとなる。分割判定には、分割点の周りの文字やその種類、部分文字列が単語辞書に含まれるかどうかといった情報が与えられる。
英語の文は日本語とは異なり、予め単語と単語の区切りがほとんどの箇所で明確に示される。このため、単語分割の処理は日本語の場合ほど複雑である必要はなく、簡単なルールに基づく場合が多い。
例えば「It's a gift for Mr. Smith.」という文を解析することを考える。単語分割をすると以下のようになる。
文全体を小文字化し、単語の位置(文頭かそれ以外か等)により単語が区別されてしまうことを防ぐ
it's や don't 等の省略形を分割する(it's → it / 's 、 don't → do / n't)
文末のピリオドを前の単語と切り離す(この際、Mr. などに使われる文末とは関係ないピリオドは切り離さない)
it's の分割として it / 's にするか it / is にするかはしばしば議論の対象となるが、所有格末尾の 's が誤って is になることを防ぐために、 's にすることが多い。
品詞付与はルールに基づくものから統計に基づくものまで利用される(下記の例は Stanford POS Tagger による)。