近年，子供向けの発話（CDS）が言語モデル（LM）の学習効率を向上させる可能性が示唆されている．しかし，CDSのどの特性がLMの学習に有効であるかは明らかになっていない．本研究では，CDSの一つの特徴であるバリエーションセット（VS）に着目し，VSがLMの学習に与える影響を調査する．具体的には，人工的に作成したVSを含む学習データを用いてGPT-2の事前学習を行った．その結果，文法の学習と自然言語理解において，学習データ中のVSの存在がモデルの性能向上に貢献する可能性を示した．これらの結果から，VSがLMの学習効率向上に有益であることが示唆される一方，効果の詳細を解明するためのさらなる調査が必要である．

現在の言語モデル（LM）は，多くのタスクにおいて高い性能を示しているが，学習効率の面では改善の余地が大きい．例えば，現在広く使用されているLMの一つであるLlama2は，事前学習に約2兆語のデータを使用する一方で，人間は13歳までに1億語未満の言語入力で母語を習得するとされている[1]．また，現在のLMが学習するような大量かつ多様なインプットは与えられないのにも関わらず，子供は6歳頃までに基本的な文法を習得する[2,3]．このことから，子供の言語習得の過程は，LMの学習効率を向上させる上で重要な示唆を与える可能性がある．さらに，第一言語獲得の分野では，子供の効率的な学習に，子供の認知能力の制限や子供向けの発話（Child-DirectedSpeech;CDS）が寄与することが示されている[4,5,6,7,8]．特に，CDSは，LMの学習においても言語知識の獲得を促進する可能性が示唆されている．例えば，先行研究では，文法知識の学習効率の向上[9]，意味理解への貢献[10]，さらに階層構造の学習の促進[11]が示されている．これらの背景から，CDSが小規模な学習データを用いた学習を助けることは明らかになりつつある．しかし，CDSのどの特性がLMの学習に貢献するかは，未解明の部分が多い．第一言語および第二言語獲得に関する研究では，このようなCDSの特徴の一つとして，バリエーションセット（VariationSet;VS）が注目されている．VSは，連続した発話において，わずかに異なる語彙や構文を用いて類似の意図が表現される発話である[12]．このような発話はCDSに広く見られるが，他の発話にはほとんど存在しない．先行研究では，VSが子供の注意をあるトピックに集中させ，新しい情報を導入しながら理解を促進することで，統語構造の学習を支援することが示されている[13,14,15,16]．したがって，これらの知見は，VSが言語学習全般に有効であり，LMにおける学習効率の向上にも寄与する可能性を示唆している．以上の背景から，本研究では，VSがLMの学習効率に与える影響を検証する．具体的には，K¨untayらの定義[12]に基づいて人工的にVSを生成し，異なる割合で非VSと混合した学習データを作成する．その後，作成した学習データを用いて，2つのベンチマークBLiMP[17]，GLUE[18]におけるモデルの性能を比較する．