言語ベクトルの類似度に基づく低資源言語への転移学習

近年,多言語モデルは複数言語にまたがる多くのタスクにおいて高い性能を示している.しかし,その中でも自然言語推論タスクに関しては,複数言語における転移学習性能の差異が,言語系統あるいは言語類型によるものなのか必ずしも明確に整理されていない.本研究では,言語ベクトルの類似度に基づく定量的な言語間距離により,自然言語推論タスクを用いた低資源言語への転移学習実験を行うことで,系統的距離および類型的距離が転移学習性能に与える影響を比較・分析する.実験の結果,従来の直感的分類では系統的・類型的類似性が認められてこなかった言語間での転移学習性能が,類似度が高いとされてきた言語間を上回るケースが見られた.この結果は,言語間の類似度に関する情報の言語モデルの埋め込みが,人間による区分とは異なる軸で組織化されていることを示唆する.