LLMの生成・翻訳による指示・応答データセット構築

LargeLanguageModel（LLM）は、O(1−1000B)のパラメータを持つ大規模なモデルを自己回帰による自己教師あり学習によって、O(100−1000B)トークン数におよぶ大量のテキストデータで学習することで、既存の1モデル1タスクを学習する方式とは異なり、事例をいくつか例示するだけでも多様な後続タスクに汎化できるため、自然言語処理に対してパラダイムシフトを起こした。大量のデータは、主にWebクロールや本などから集められているため、それらで学習したのみのLLMは、指示に対してしばしば人間の意図とは異なる回答をする。そのために、QAタスクなどを集めた指示・応答データセットにより、事前学習したLLMをファインチューニングすることで、人間の意図に沿って回答するようにLLMをアライメントさせる必要がある。しかし、大規模な指示・応答データセットの構築を人手で行うには、金銭・時間的コストが大きい。本研究では、主に英語のテキストデータで訓練されたLLMであるLlama2[1]を用いて、英語の指示・応答データを生成し、それを日本語訳することで、日本語の指示・応答データセット構築が可能か検証した。Figure1指示・応答データセット構築のフロー。