日本語長単位語における語彙素推定

デジタル人文学やコーパス言語学研究に重要な日本語長単位語に対する語彙素を推定する試みを行った．語彙素の推定にはエンコーダ・デコーダ型の言語モデル(T5)を用い，長単位語の品詞や表層形の他，長単位語を構成する短単位語の品詞・語彙素，および本文を入力として，長単位語の語彙素を出力させた．短単位語彙素をベースラインとした推定に対し，本手法は高い性能が得られた．検討の結果，短単位語は長単位語彙素推定に有効であるが，事例検討から，特に口語的な表現や動詞の付属部などに関しては文脈情報(本文)が推定に有効であった．