最長一致パターンに基づく高速・高精度な日本語形態素解析

膨大な量のテキストを解析したり，言語処理応用で大量にユーザのクエリを処理する場合，処理効率の悪いモデルは高精度でも利用し難い．本稿では高効率な手法の精度を改善すべく，最長一致パターンに基づく高精度な形態素解析手法を提案する．提案手法では，既存の辞書項目を元に，学習データから抽出したパターンを用いて形態素解析を行う．実験では，複数の品詞タグ付きコーパスと辞書を用いて提案手法の評価を行い，最小コスト法や点推定に基づく形態素解析手法の既存実装と同程度の精度，1/2から1/20程度の消費メモリで，1,000,000文/秒を超える速度の形態素解析が可能なことを確認した．本手法の実装（C++で約1000行）は以下で公開する．http://www.tkl.iis.u-tokyo.ac.jp/∼ynaga/jagger