独立成分分析による事前学習済み多言語モデルの層を横断した単語埋め込み表現の分析

多言語で事前学習された言語モデル(以下、多言語モデル)は機械翻訳、感情分析、質問応答、文書分類などのさまざまなタスクにおいて、単一のモデルで複数の言語を効果的に処理することを可能にしている。多言語モデルがこのような成功を収める鍵の一つは、異なる言語間で同じ意味や文脈を共有して扱える能力にある。これを実現するためには、多言語モデルの埋め込み表現が異なる言語の情報や意味や文脈に基づいた情報を統合している必要がある[1]。そのため、多言語モデルが異なる言語の間で意味や文脈をどのように扱っているのか、具体的にどの部位でその処理が行われているのかを明らかにすることは、モデルの理解と応用の上で極めて重要である。しかし、このような内部構造の解析を行う際には、言語の違いによる影響を排除しなければ正確にその部位を特定することが難しい。このような課題を克服することは、多言語モデルのさらなる内部表現分析に向けて重要な一歩となる。本研究では、この問題に着目し、多言語モデル内部の言語処理メカニズムを明らかにするために、埋め込み表現を独立成分分析(ICA:IndependentComponentAnalysis)によって分析・可視化する。ICAはデータを統計的に独立した成分に分解する手法であり、埋め込み空間に内在する意味的特徴を個別に捉える能力を有し、いくつかの研究で用いられている。多言語モデルの文脈を考慮した埋め込み表現をICAによって分析・可視化することによって、モデルが学習していると考えられる言語的特徴を層ごとに単語単位で示す。分析の結果、入力に近い層は主に表層形によって軸が分離し、出力に近い層は言語に関係なく意味によって分類している可能性があることが明らかとなり、モデルが層を経るごとに言語の意味情報や文脈を獲得していることが示唆された。