言語モデルの第二言語獲得

近年，言語モデルの言語転移能力に高い関心が寄せられている．例えば超大規模な英語の言語モデルは，学習データに少量しか存在しない英語以外の言語においても，ある程度知的な振る舞いを示しており，英語から他言語へ効率的に言語転移していることを示唆している[1,2]．このような言語モデルの言語転移能力について，既存研究では，パープレキシティなどの抽象度の高い指標や応用タスクでの性能に基づいた調査，特定の学習済み超多言語モデルを対象とした分析などが行われてきた[3,4,5]．一方で，文法知識の獲得・転移や，言語ごとの転移傾向の違いといった言語学的な観点からの統制された分析は限られている．本研究では，言語モデルの言語転移について，第一言語での学習が第二言語の文法獲得にどのように影響するかを言語横断的に調査する．具体的には，類型や学習難易度の異なる4つの言語（第一言語;L1）を用いて各言語モデルを事前学習した後に，第二言語（英語;L2）を用いて追加の学習を行う．最後に，モデルのL2の文法能力に関して文法性判断ベンチマークを用いて分析する．自然言語処理的な視点からは，言語モデルの言語獲得・転移能力について洞察を深める試みと見るこL1がL2の文法獲得に影響を与えるか？仏語LM独語LM露語LM日本語LM異なるL1の言語モデルあアДиÇàÜß&のコーパス&&&L2(英語)への接触AaÇàÜßДиあアAaAaAa��������英語を習得AaAaAaAaÇàДиあアÜßL2の文法テスト文法性判断ベンチマークBLiMP__Aaの穴埋め言語モデリングを学習する（L1獲得）．次にL1とL2を両方用いて既存研究に従った穴埋め言語モデリングを学習する（L2獲得）[6]．最後に，文法性判断ベンチマークBLiMPを用いてモデルの文法能力を評価し，L1がL2獲得にどのように影響するか調査する．とができ，計算心理言語学的な視点からは，母語干渉についてシミュレーション的な検証をしているとみなせる．後者について，人間を直接観察する方法とは相補的な長所がある．例えばあらゆる言語対について，それらをL1・L2とする人間を集め，彼らの言語能力について統制的に分析をすることには限界があるが，言語モデルでは言語対を増やす・学習の規模を揃えるといった統制・分析が容易に行える．まず事前実験にて，追学習におけるL2の提示方法を比較し，L2の文法獲得に適した学習設定を調査する．その後，本実験では，L1を用いた事前学習がL2の文法獲得に及ぼす影響について，言語の異なりや文法項目の観点から分析する．実験結果から，人間の言語学習における英語との乖離が小さい言語での事前学習の方が，英語のモデルの文法獲得に良い影響をもたらす傾向や，特定の言語や文法項目については負の転移を引き起こす場合があることを確認した．例えば，L2に特有の文.カテゴリを示し，値が大きいほど言語学習において英語との乖離が大きいと想定している．IEはインド・ヨーロッパ語族を，N-IEはそれ以外の語族を指す．言語語族語順文字FSI英語IESVOアルファベット-フランス語IESVOアルファベット1ドイツ語IESOVアルファベット