深層学習モデルにおける言語特徴分布に関する研究

義可能な言語特徴が、人手により経験的に整理されTransformer[1]は、機械翻訳を目的に開発されたてきた[6]。複数の言語を同時に学習した深層学習Encoder-Decoderモデルだが、その応用範囲は広がりモデルにおいて、データから学習された言語共通のつづけている。これは、学習時に入力系列を並列に知識は、前述の言語同士の近さや語彙の重複の他に学習でき、また以前の手法と比較して高いタスク解もこの言語特徴からも分析することが可能であると決能力をもつためである。入力系列を並列に学習で考えられる。きる特性は、より多くのデータをモデルに学習させ本研究は、複数の言語で学習された言語モデルがることを可能にした。どのような言語特徴を獲得しているかを調査する。機械翻訳ではTransformerの登場以前より、複数具体的にはまず、事前学習済みマスク言語モデルで言語の翻訳を単一のモデルで学習する方法が成功をあるmBERT[3]および、機械翻訳を学習した条件収めていた[2]が、Transformer登場以後は、さまざ付き言語モデルm2m100[7]から文表現を獲得する。まなタスクを複数の言語で解く試みがより活発に獲得した文表現から、それぞれの言語特徴に対応す行われるようになった。そのような複数言語で学習る言語特徴表現を導出し、分析手法SVCCA[8]を用されたモデルの利点のひとつは、リソースが比較的いて言語特徴間およびモデル間の分析を行った。ま取得しづらい言語のデータで、単一の言語でのみ学た、導出した言語特徴表現が空間上でどのように配習されたモデルよりもよい性能を発揮することで置されているかを低次元空間上に射影することで可ある。これは、複数言語で学習されたモデルは、リ視化し、言語特徴ごとにどのような違いがあるかをソースの多い言語の学習で得た知識をリソースの少確認した。実験結果は、mBERTとm2m100ともにない言語に対して用いることができるためと転移学語順を示す言語特徴については文表現の空間上で習の文脈から説明されてきた。mBERT[3]は、多言の配置と関連があり、先行研究の結果を支持した。語で学習された事前学習済み言語モデルだが、言語一方で、動詞範疇などそれ以外の性質についての言を明示するラベルは与えられておらず、機械翻訳を語特徴に対しても文表現との関連があることがわ解くときのような言語どうしの変換も学習しない。かった。―734―.