転移の効果が見られることは特筆すべきである。こTransformerベースの言語モデルは、自然言語処理の能力について、入力する言語の特性の影響としての幅広いタスクで活用されるようになった。モデルは言語同士の近さと言語間の語彙の重複に焦点が当が行った判断の解釈のため、複数の分析方法が提案てられてきた。語彙の重複度が高いことが、モデルされてきた。以前の研究により、複数言語のコーパの言語間転移能力と相関するとした結果[4]が報告スで学習した言語モデルにおいて、言語の系統的なされている。しかしながら、表記体系が異なる言語分布がモデル内部で学習されることが知られている間での知識の転移[5]も報告されており、語彙の重が、事前学習の目的関数にそのような制約は含まれ複のみから議論することはできない。ていないため特筆すべきである。本研究では、その複数言語におけるマルチタスク学習は、語彙をはような分布が得られることが、言語特徴を学習できじめとした表面的な違いがあるにも拘らず、言語どているためであると結論づけられるかどうかを、モうしには学習に利用できる共通した性質があることデル表現の分布と比較することで分析する。を仮定している。そのような言語がもつ普遍的性質の探求は言語学で進められており、複数の言語で定

義可能な言語特徴が、人手により経験的に整理されTransformer[1]は、機械翻訳を目的に開発されたてきた[6]。複数の言語を同時に学習した深層学習Encoder-Decoderモデルだが、その応用範囲は広がりモデルにおいて、データから学習された言語共通のつづけている。これは、学習時に入力系列を並列に知識は、前述の言語同士の近さや語彙の重複の他に学習でき、また以前の手法と比較して高いタスク解もこの言語特徴からも分析することが可能であると決能力をもつためである。入力系列を並列に学習で考えられる。きる特性は、より多くのデータをモデルに学習させ本研究は、複数の言語で学習された言語モデルがることを可能にした。どのような言語特徴を獲得しているかを調査する。機械翻訳ではTransformerの登場以前より、複数具体的にはまず、事前学習済みマスク言語モデルで言語の翻訳を単一のモデルで学習する方法が成功をあるmBERT[3]および、機械翻訳を学習した条件収めていた[2]が、Transformer登場以後は、さまざ付き言語モデルm2m100[7]から文表現を獲得する。まなタスクを複数の言語で解く試みがより活発に獲得した文表現から、それぞれの言語特徴に対応す行われるようになった。そのような複数言語で学習る言語特徴表現を導出し、分析手法SVCCA[8]を用されたモデルの利点のひとつは、リソースが比較的いて言語特徴間およびモデル間の分析を行った。ま取得しづらい言語のデータで、単一の言語でのみ学た、導出した言語特徴表現が空間上でどのように配習されたモデルよりもよい性能を発揮することで置されているかを低次元空間上に射影することで可ある。これは、複数言語で学習されたモデルは、リ視化し、言語特徴ごとにどのような違いがあるかをソースの多い言語の学習で得た知識をリソースの少確認した。実験結果は、mBERTとm2m100ともにない言語に対して用いることができるためと転移学語順を示す言語特徴については文表現の空間上で習の文脈から説明されてきた。mBERT[3]は、多言の配置と関連があり、先行研究の結果を支持した。語で学習された事前学習済み言語モデルだが、言語一方で、動詞範疇などそれ以外の性質についての言を明示するラベルは与えられておらず、機械翻訳を語特徴に対しても文表現との関連があることがわ解くときのような言語どうしの変換も学習しない。かった。―734―.