模倣学習による大規模言語モデルの指示チューニング

8指示チューニングを効率的に行う手段として，高性能な大規模言語モデル（LLM）の挙動を模倣する手法が注目を集めている．既存研究ではGPT-4を模倣した学習が主流であるが，ライセンスの制限が厳しいうえ，汎用的な知見が得られにくい．本稿では複数のオープンなLLMを模倣先とし，模倣学習の有効性を検証する．実験結果により，Llama-3.1-Swallow-8B-v0.1にGemma-2-27B-ITの模倣学習をさせることで，13B以下のモデルの中でトップクラスの性能を達成した．また，性能は高いものの模倣学習の効果が限定的なLLMや，模倣学習で習得しにくい能力の存在を明らかにした．6420