高品質な日本語の指示・応答データセットをLargeLanguageModel（LLM）よる低コストな構築を目指し、英語での対話に最適化されたLlama-2-70B-chatで英語の指示・応答データセットを生成し、それをLlama-2-70Bで日本語訳した。本データセットと既存データセットのそれぞれでSwallow-7bをファインチューニングし、日本語VicunaQAベンチマークでGPT-4により比較評価した。その結果、前者のモデルが約75%の勝率を達成した。さらに、OpenAIのtext-davinci-003との比較でも60%以上の勝率に達した。以上から、LLMによる生成・翻訳による指示・応答データセット生成の有効性が示された。

LargeLanguageModel（LLM）は、O(1−1000B)のパラメータを持つ大規模なモデルを自己回帰による自己教師あり学習によって、O(100−1000B)トークン数におよぶ大量のテキストデータで学習することで、既存の1モデル1タスクを学習する方式とは異なり、事例をいくつか例示するだけでも多様な後続タスクに汎化できるため、自然言語処理に対してパラダイムシフトを起こした。大量のデータは、主にWebクロールや本などから集められているため、それらで学習したのみのLLMは、指示に対してしばしば人間の意図とは異なる回答をする。そのために、QAタスクなどを集めた指示・応答データセットにより、事前学習したLLMをファインチューニングすることで、人間の意図に沿って回答するようにLLMをアライメントさせる必要がある。しかし、大規模な指示・応答データセットの構築を人手で行うには、金銭・時間的コストが大きい。本研究では、主に英語のテキストデータで訓練されたLLMであるLlama2[1]を用いて、英語の指示・応答データを生成し、それを日本語訳することで、日本語の指示・応答データセット構築が可能か検証した。Figure1指示・応答データセット構築のフロー。