8指示チューニングを効率的に行う手段として，高性能な大規模言語モデル（LLM）の挙動を模倣する手法が注目を集めている．既存研究ではGPT-4を模倣した学習が主流であるが，ライセンスの制限が厳しいうえ，汎用的な知見が得られにくい．本稿では複数のオープンなLLMを模倣先とし，模倣学習の有効性を検証する．実験結果により，Llama-3.1-Swallow-8B-v0.1にGemma-2-27B-ITの模倣学習をさせることで，13B以下のモデルの中でトップクラスの性能を達成した．また，性能は高いものの模倣学習の効果が限定的なLLMや，模倣学習で習得しにくい能力の存在を明らかにした．6420

事前学習された大規模言語モデル（LargeLanguageModel;LLM）を指示と応答の対で追加学習し，様々な指示に応答できるようにすることを指示チューニングと呼ぶ[1]．指示チューニングは汎用的な能力を示すLLMの構築に欠かせないが，どのような指示や応答で学習すると指示チューニングの効果が高まるのか自明でないうえ，応答作成に要するスキルが高いため，人手で応答を作成するには多大な時間と労力が必要になる．そこで，LLMを活用して指示と応答の対[2,3,4,5,6]，もしくは応答のみを自動生成し，学習データの構築コストを低減する手法が提案された[7,8]．このような合成データで指示チューニングをすることは，生成元のモデル（教師モデル）の挙動を別のモデル（生徒モデル）に模倣させているため，模倣学習と呼ばれる[9]．既存研究では，最高性能を示すOpenAI社のLLMを教師モデルとしているが，これには二つの懸念点がある．まず，このモデルはプロプラエタリであるため，ライセンスの制約が厳しく，構築した合成10MT-BenchGemma227BITGemma227BITLlama3.1405BInstructLlama3.1405BInstruct864