文字系列情報による性能への影響からニューラルモデルが有する言語的な傾向を見出せるか

文字は，記述された自然言語を構成する最小の要素である．我々人間は文字を読み，意味を理解する．ニューラルモデルは基本的に，文字の特定の並びを一つのトークンとして扱う．一部のモデルは，文を構成する文字についてもトークンと同様埋め込みを計算するなどして，文字の情報を利用するものがある．ここではその文字の情報を文字系列情報と呼び，文を構成する文字の列として定義する．文字系列情報を利用したモデルは，それを利用しなかった場合よりも高い性能が，様々な言語とタスクで報告されている[1,2,3]．しかし，文字系列情報による性能上昇は，それを利用した場合と利用しなかった場合のスコアの差として計算されており，モデルがトークン（単語）から得られる情報に比べ，文字系列情報をどの程度利用したかが明らかになっていない．そのため本研究では[4]にならい，文字系列情報を付加的に利用するニューラルモデルにおける文字系列情報の影響の度合いを調査する．最近は大規模汎用言語モデルの発展が目覚ましく，そのようなモデルは様々な言語において高い性能を達成している．ただし，高性能を達成できるのは十分なデータが存在する言語のみに限られ，低リソース言語においてはモデルの構築が難しいことが知られている[5]．いくつかの先行研究では，言語類型論などに基づいた言語的な特徴を利用したり，ニューラルモデルから言語的な特徴や傾向を見出したりする試みがある[6,7]．後者の試みは，人間が観測し得ない傾向を観測できることができ，例えば言語転移を取り入れるモデルの学習に利用できることから，近年注目されているアプローチである[5]．しかし，後者では主に言語間で共通な特徴に着目されており，言語間で異なる特徴や傾向を見出す試みが多くない．そこで本研究では，文字系列情報を付加的に利用するニューラルモデルにおける文字系列情報が性能に与える影響の度合い（影響度）を複数のタスクで評価する．そして，その評価結果を観察し，言語間で異なる言語的な傾向を明らかにする．文字系列情報は文字の数が多いほど情報量も多いという点に着目し，仮説として平均単語長が長い言語ほど，文字系列情報による性能への影響度が大きいと立て，この仮説を実験で検証する．対象とするタスクは，基礎タスクに分類される品詞タグ付けと依存構造解析とする．これらは系列ラベリングタスクであり，文字系列情報の比重が単語より大きく，その影響が数値に反映されやすいことを利用するという狙いがある．