日本語タスクにおけるLLMを用いた疑似学習データ生成の検討

近年，大規模言語モデル(LargeLanguageModel;LLM)に関する研究が盛んに行われている．Brownら[1]はGPT-3を開発し，LLMにタスクの説明文と数件の教師データを入力することで，LLMのパラメータ更新を行うことなく高い精度を達成した．日本語においても，同様に高い性能を達成できる場合もあることが報告されている1）．このようにLLMは従来の機械学習モデルと比べて優れた特徴を持つ一方で，パラメータ数が多く，推論時にはGPUリソースの制約などの運用コストが高い．この課題に対する研究として，LLMに疑似学習データを生成させ，そのデータを用いて小規模モデルを学習させるもの(広義の知識蒸留と呼称)が存在する．Yeら[2]は英語の様々なタスクに対して，GPT-2XL[3]を利用したNucleussampling[4]による多様な疑似データを作成した．その疑似データでDistilBERT[5]を訓練することで，GPT-2XLより優れた性能となることを報告した．その後，より精巧な疑似データを生成するための研究[6,7,8,9]や，生成した疑似データによる小規模モデルの学習が有効なタスクを分析した研究[10]などが存在するが，1）https://github.com/Stability-AI/lm-evaluation-harness/tree/jp-stable日本語での検証は我々の知る限り存在しない．本研究では日本語の複数のタスクについて，GPT-3.5を利用した疑似データ生成による広義の知識蒸留(JapaGenと呼称)を検証した．具体的には，JGLUE中の分類タスクとJSTS，ニューストピック分類，SNSテキスト分類について検証を実施した．検証として，Yeら[2]のようなDecoding戦略による多様な疑似データ生成を試みたが，多様な疑似データの生成は困難であることがわかった．そこで，本研究ではタスク知識を利用した疑似データ生成手法Knowledge-AssistedDataGeneration(KADG)を提案する．この手法はYeら[2]のようにDecoding戦略に依存せず，LLMへの入力にタスク知識を導入することで多様なテキストを生成する．貢献．本研究では，(1)日本語タスクにおいて，LLMを用いた疑似データ生成による広義の知識蒸留JapaGenを検証した．(2)さらに，多様な疑似データ生成を行うためにタスク知識をPromptに含めるKADGを提案した．(3)実験の結果，JapaGenはフォーマルなテキストを入力とするタスクにおいてZero-ShotPromptingやFew-Shotの性能を上回った．(4)KADGによって疑似データの多様性が向上し，教師データ(Gold)の分布に近づいたが，必ずしも下流タスク性能が向上するとは限らないことが分かった．