mBERTのような多言語の事前学習済みモデルでは，あるタスクに対して言語Aで学習したモデルが別の言語Xの同じタスクに対してそのまま利用できる，いわゆるzero-shotcross-lingualtransferが可能である．本論文では上記の言語Aに当たる部分を複数の言語を組み合わせた場合の効果について調査する．タスクはAmazonレビューの評判分析とし，モデルを学習する言語を英語，ドイツ語，フランス語の各組み合わせとした．そしてテストデータは日本語のAmazonレビューの2000文書とし，zero-shotcross-lingualtransferを行った．実験の結果，訓練データに言語の多様性を含める効果があることが判明した．

近年，mBERT[1]，XLM[2]，XLM-RoBERTa-XL[3]など多言語間の汎用的な特徴表現を学習する多言語の事前学習済みモデルが提案されている．このようなモデルの応用の一つとしてzero-shotcross-lingualtransferがある．zero-shotcross-lingualtransferは，あるタスクに対して言語Aでﬁne-tuniningしたモデルを別の言語Xの同じタスクに対してそのまま利用する手法である[4]．通常，言語Aを英語などのメジャーな言語，言語Xをリソースが少ない，あるいはないようなマイナーな言語に設定することで，低資源言語の学習の問題解決に利用される．一方，zero-shotcross-lingualtransferを行う場合，もとのモデルは単言語のモデルであっても可能であることが示されており[5]，多言語の言語モデルにおける言語の多様性がzero-shotcross-lingualtransferに影響を与えているのかどうかがはっきりしていない．本研究では評判分析をタスクに設定して，この点に対する調査を行う．調査の方法としては言語Aから言語Xへのzero-shotcross-lingualtransferを行う際に，言語Aの訓練データの他に，言語Bや言語Cの訓練データも利用することで言語に多様性のある訓練データから学習する場合と，それと同サイズの言語A(あるいはBやC)の言語に多様性のない訓練データから学習する場合とどちらがzero-shotcross-lingualtransferにおいて効果があるのかを調べる．実験ではタスクをAmazonレビューの評判分析とし，上記言語A，B，Cを英語，ドイツ語，フランス語，言語Xを日本語とした．つまりテストデータは日本語のAmazonレビュー文書である．実験の結果，訓練データに言語の多様性を含める効果があることが判明した．