最長一致パターンに基づく高速・高精度な日本語形態素解析

TwitterやZoom,Slackなどのコミュニケーションプラットフォームの普及に従い，電子化された言語データの量は爆発的に増加し続けており，深層学習によって高精度化された機械翻訳などの実サービスは数千万を超えるユーザを獲得するようになった．このように，実世界テキストの量や実時間処理するユーザクエリがこれまでになく増加する状況下では，現実的な計算資源で運用できる効率の良い言語処理技術の重要度が高まっている．しかしながら，深層学習の導入以降，精度に偏重して研究が行われた結果，「効率の良い」手法[1]は他分野のように処理速度や消費メモリの限界を更新するものではなく，低速で消費メモリの大きい深層学習モデルの効率を，深層学習の枠内で相対的かつ限定的に改善するものが大半である．結果，最高精度のモデルと古典的ではあるが効率の良いモデルとの間の速度差は埋め難く，深層学習を用いた高精度の言語処理サービスは，膨大なGPU資源を有する一部の企業のみが展開するに留まっている．本研究では，遅いモデルの効率を改善するのではなく，効率の良いモデルの精度を改善する，真に「効率の良い」言語処理を実現すべく，機械学習を経由しない単純で高精度な日本語形態素解析手法を提案する．日本語における形態素解析は，一般に，単語分割，品詞解析，見出し語化の混合タスクとしてモデル化されるが，我々の提案手法は，古典的な最長一致法に基づく単語分割手法を拡張したもので，次の分割位置と切り出した単語の品詞・見出し語を決定するパターンに基づき形態素解析を行う．解析に用いるパターンは形態素解析辞書の項目をシードとして，学習データから頻度に基づいて抽出する．抽出したパターンはダブル配列[2,3]に格納し，時空間効率の良い処理を実現する．実験では，多様なドメインの標準コーパス[4,5]と形態素解析辞書を組み合わせて提案手法の評価を行った．その結果，提案手法が，探索(最小コスト法)や分類(点推定)に基づく実装(MeCab,Vaporetto)と同程度の精度で，MeCabの約15倍，Vaporettoの約10倍(M2MacBookAirで1,000,000文/秒以上)の速度で形態素解析を行えることを確認した．