言語モデルの事前学習におけるバリエーションセットの効果

近年，子供向けの発話（CDS）が言語モデル（LM）の学習効率を向上させる可能性が示唆されている．しかし，CDSのどの特性がLMの学習に有効であるかは明らかになっていない．本研究では，CDSの一つの特徴であるバリエーションセット（VS）に着目し，VSがLMの学習に与える影響を調査する．具体的には，人工的に作成したVSを含む学習データを用いてGPT-2の事前学習を行った．その結果，文法の学習と自然言語理解において，学習データ中のVSの存在がモデルの性能向上に貢献する可能性を示した．これらの結果から，VSがLMの学習効率向上に有益であることが示唆される一方，効果の詳細を解明するためのさらなる調査が必要である．