事前学習モデルに基づく日本語形態素解析器における辞書の利用

日本語の文においては単語の間に区切りが明示されない.計算機で日本語を解析する場合,まず単語の区切りを認識する必要がある.日本語の形態素解析においては,品詞や活用の付与と同時に単語への分かち書きを行う.従来の形態素解析器であるJUMAN1）,MeCab[1],Juman++[2]などは辞書に登録されている単語の情報に基づき,最も尤度の高い単語列を採用することによって分かち書きを行う.一方で,近年のKWJA[3]などの事前学習モデルベースの形態素解析においては,事前学習モデルが日本語解析に関する有用なパラメータを獲得していることから,辞書を分かち書きに用いていない.しかし,単語の区切りや品詞が定義されている辞書の情報は分かち書きや品詞付与において重要な知識源となる.本研究では,事前学習モデルを用いた形態素解析において辞書の情報を利用する手法を提案する.具体的には,モデルへ入力文に加えて辞書から得た単語の分割位置の情報を与える.提案手法の有効性を検証するため,3種類のコーパスと2種類の辞書において分かち書きと品詞・活用付与の実験を行う.1）https://nlp.ist.i.kyoto-u.ac.jp/?JUMAN