形態素解析
長尾真らの1970年代後半の研究では、次のようなアルゴリズムによる形態素解析処理を構築した。
事前に用意しておいた辞書や規則をテーブル形式で読み込む。
入力文を読み込む。
慣用句テーブルとのマッチングを行う。最長一致法を使う。マッチングした部分は固定され、以降の解析では変更されない。
句読点と字種の変わり目(基本的にひらがなから漢字に変わる箇所)で、文節を切り出す。これは文法上の文節ではない。
切り出された文節の中で、慣用句にマッチングしていない箇所について、ひらがな書き自立語テーブルなどとのマッチングを行う。このとき、接続条件を考慮せず、全ての可能性を洗い出す。
以上で出てきた慣用句や単語を接続条件に基づいて連鎖させていく。複数の連鎖がありうる場合、全てを出力する。
結果をファイルに書き出す。
未処理の文節があれば、5 に戻る。
前提として、漢字で書かれた部分は基本的に切り分けず、そこが自立語(あるいは自立語の語幹)になると想定している。