言語ベクトルの類似度に基づく低資源言語への転移学習

Gerzらによる研究[1]をはじめ,多くの多言語言語モデリング（multilinguallanguagemodelling,以下MLM）に関する研究において,言語の類型的特徴が言語モデルの性能に影響を与えることが示されている.Choenniら[2]は類型的に似ている言語は共同して埋め込み表現が作られるとしているし,Bankulaら[3]は,類型的言語間距離が低資源言語への転移学習の成否と相関するという結果を示している.これらの経験則を活用して,実際に低資源言語のみでモデリングを試みた例としては,FanらによるXLM-Rの語族ベースのファインチューニング[4],アフリカ言語特化型BERTモデルとしてOguejiらの「AfriBERTa」[5]とTonjaらの「InkubaLM」[6]があり,いずれも各種ベンチマークにおいて汎用型LLMより高い性能を報告している.しかしながら,言語間転移学習（cross-lingualtransfer,以下CLT）性能は言語ペアごとに大きく異なり,その差異を生み出す要因については未だ十分に解明されていない.従来の研究では,語族や地理的近接性といった言語系統に基づく説明が多く見られるが,これらの尺度はしばしば曖昧に用いられてきた.例えば,同一語族に属する言語であっても,統語構造や形態論的複雑性,語彙借用の程度は大きく異なる場合があり,系統関係のみをもってCLT性能を一義的に説明することは困難である.また,これらの類型的特徴がCLT性能とどのように関係しているのかについては,体系的な実証研究が不足している.既存研究では,「類型的に似ている」といった定性的な表現にとどまる場合が多く,系統・地理・類型といった異なる尺度が十分に区別されていないことも少なくない.本研究では,言語間自然言語推論タスクXNLIを評価に用いて,複数の言語ペアを二種類の言語距離尺度で分類した上で,CLT性能を比較・分析する.言語ペアは,同一クラスタ内距離,人間によるラベル付け距離,モデルが学習した埋め込み空間に基づく距離という三つの観点から設計される.本研究の目的は,CLT性能に影響を与える要因として,人間が定義する尺度を改めて精緻化し,また,モデルが獲得した尺度と比較した相対的な重要性を検証し,MLMにおける言語間距離尺度の課題を明確化することである.これにより,低資源言語処理におけるモデル設計および評価枠組みに対して,さらに実証的な指針を与えることを目指す.