言語モデルの事前学習におけるバリエーションセットの効果

現在の言語モデル（LM）は，多くのタスクにおいて高い性能を示しているが，学習効率の面では改善の余地が大きい．例えば，現在広く使用されているLMの一つであるLlama2は，事前学習に約2兆語のデータを使用する一方で，人間は13歳までに1億語未満の言語入力で母語を習得するとされている[1]．また，現在のLMが学習するような大量かつ多様なインプットは与えられないのにも関わらず，子供は6歳頃までに基本的な文法を習得する[2,3]．このことから，子供の言語習得の過程は，LMの学習効率を向上させる上で重要な示唆を与える可能性がある．さらに，第一言語獲得の分野では，子供の効率的な学習に，子供の認知能力の制限や子供向けの発話（Child-DirectedSpeech;CDS）が寄与することが示されている[4,5,6,7,8]．特に，CDSは，LMの学習においても言語知識の獲得を促進する可能性が示唆されている．例えば，先行研究では，文法知識の学習効率の向上[9]，意味理解への貢献[10]，さらに階層構造の学習の促進[11]が示されている．これらの背景から，CDSが小規模な学習データを用いた学習を助けることは明らかになりつつある．しかし，CDSのどの特性がLMの学習に貢献するかは，未解明の部分が多い．第一言語および第二言語獲得に関する研究では，このようなCDSの特徴の一つとして，バリエーションセット（VariationSet;VS）が注目されている．VSは，連続した発話において，わずかに異なる語彙や構文を用いて類似の意図が表現される発話である[12]．このような発話はCDSに広く見られるが，他の発話にはほとんど存在しない．先行研究では，VSが子供の注意をあるトピックに集中させ，新しい情報を導入しながら理解を促進することで，統語構造の学習を支援することが示されている[13,14,15,16]．したがって，これらの知見は，VSが言語学習全般に有効であり，LMにおける学習効率の向上にも寄与する可能性を示唆している．以上の背景から，本研究では，VSがLMの学習効率に与える影響を検証する．具体的には，K¨untayらの定義[12]に基づいて人工的にVSを生成し，異なる割合で非VSと混合した学習データを作成する．その後，作成した学習データを用いて，2つのベンチマークBLiMP[17]，GLUE[18]におけるモデルの性能を比較する．