日本語長単位語における語彙素推定

国立国語研究所が定義する日本語の語の認定単位の一つである長単位語は，文節認定ののちに文節を自立語部分と付属語部分の最大二単位に分割して得られる語の認定単位である．長単位語は，例えば，長大な固有名詞なども一語として認定されるなど，統計によるコーパス言語学やデジタル人文学の分野での解析・研究において利用価値が高い語の単位である．日本語はまた，形態素リッチな言語であり，かな・漢字などの複数の文字体系が混在している世界的にも珍しい特徴を有しているため，長単位語の語彙素の推定(原形推定，Lemmatize)は語の統計に基づく言語学的な研究において，語の同定に必要な情報であり重要性が高い．長単位語はその認定時の特性上，辞書の作成・管理が非常に困難である．これは，国立国語研究所が定義する短単位語とは対照的であり，短単位語においてはUniDic[1]として形態素解析器MeCabなどで扱える形で辞書が提供されている1）．したがって，長単位の抽出や長単位の語彙素推定を高精度に実施1）https://clrd.ninjal.ac.jp/unidic/んませありはで父親な的強圧ずますあるはで父親だ的強圧短単位語彙素助動詞助動詞動詞助詞助詞名詞助動詞接尾辞名詞品詞助動詞名詞助動詞形状詞長単位品詞ではありません父親だ強圧的語彙素pos:PROPNsurface:ではありませんsuw_pos:助詞助詞動詞助動詞助動詞suw_lemma:ではあるますずText:強圧的な父親ではありませんinputT5generateではありませんに基づき，長単位の語彙素をT5モデルで推定する．するには，機械学習的手段を用いる必要性がある．これまで尾崎らは，長単位語のスパン推定・品詞推定を実現する，文節・長単位解析器Monakaの開発を行った[2]．MonakaはTransformerを用いた言語モデル(BERT)を用いることで，現代文から日本語の古文に至るまでの解析を可能とした．本研究では，長単位語のスパン推定・品詞推定に加えて語彙素推定を実現することで，前述の言語学的な意義を踏まえ，日本語の特に現代語に対する長単位解析をひと揃え提供することを目的とする．本研究においては，日本語の書き言葉として日本語書き言葉均衡コーパス(BCCWJ)と話し言葉として日本語日常会話コーパス(CEJC)を対象とした(1章)．図1に示すように，長単位語の語彙素の推定には長単位語の品詞・表層形と長単位を構成する短単位語の表層形・品詞・語彙素などを入力とし，エンコーダ・デコーダ型の生成モデル(T5)を用いて長単位語の語彙素を出力とするモデルの学習と評価を行った(5，6章)．評価の結果，前述の長単位・短単位の各情報のほか、本文を入力することで短単位語彙素をそのまま用いた長単位語彙素推定のベース.ラインを超える精度を得た(6章)．本報告の学習・評価コードは，語彙素推定機能を長単位・文節解析Monaka2）に組み込み，公開をした．また，Monakaの長単位語彙素推定を含めた文節・長単位解析機能を搭載したWebアプリをWeb茶まめ3）[3]上で公開する予定である．