模倣学習による大規模言語モデルの指示チューニング

事前学習された大規模言語モデル（LargeLanguageModel;LLM）を指示と応答の対で追加学習し，様々な指示に応答できるようにすることを指示チューニングと呼ぶ[1]．指示チューニングは汎用的な能力を示すLLMの構築に欠かせないが，どのような指示や応答で学習すると指示チューニングの効果が高まるのか自明でないうえ，応答作成に要するスキルが高いため，人手で応答を作成するには多大な時間と労力が必要になる．そこで，LLMを活用して指示と応答の対[2,3,4,5,6]，もしくは応答のみを自動生成し，学習データの構築コストを低減する手法が提案された[7,8]．このような合成データで指示チューニングをすることは，生成元のモデル（教師モデル）の挙動を別のモデル（生徒モデル）に模倣させているため，模倣学習と呼ばれる[9]．既存研究では，最高性能を示すOpenAI社のLLMを教師モデルとしているが，これには二つの懸念点がある．まず，このモデルはプロプラエタリであるため，ライセンスの制約が厳しく，構築した合成10MT-BenchGemma227BITGemma227BITLlama3.1405BInstructLlama3.1405BInstruct864