深層学習モデルにおける言語特徴分布に関する研究

転移の効果が見られることは特筆すべきである。こTransformerベースの言語モデルは、自然言語処理の能力について、入力する言語の特性の影響としての幅広いタスクで活用されるようになった。モデルは言語同士の近さと言語間の語彙の重複に焦点が当が行った判断の解釈のため、複数の分析方法が提案てられてきた。語彙の重複度が高いことが、モデルされてきた。以前の研究により、複数言語のコーパの言語間転移能力と相関するとした結果[4]が報告スで学習した言語モデルにおいて、言語の系統的なされている。しかしながら、表記体系が異なる言語分布がモデル内部で学習されることが知られている間での知識の転移[5]も報告されており、語彙の重が、事前学習の目的関数にそのような制約は含まれ複のみから議論することはできない。ていないため特筆すべきである。本研究では、その複数言語におけるマルチタスク学習は、語彙をはような分布が得られることが、言語特徴を学習できじめとした表面的な違いがあるにも拘らず、言語どているためであると結論づけられるかどうかを、モうしには学習に利用できる共通した性質があることデル表現の分布と比較することで分析する。を仮定している。そのような言語がもつ普遍的性質の探求は言語学で進められており、複数の言語で定