LLMの生成・翻訳による指示・応答データセット構築

高品質な日本語の指示・応答データセットをLargeLanguageModel（LLM）よる低コストな構築を目指し、英語での対話に最適化されたLlama-2-70B-chatで英語の指示・応答データセットを生成し、それをLlama-2-70Bで日本語訳した。本データセットと既存データセットのそれぞれでSwallow-7bをファインチューニングし、日本語VicunaQAベンチマークでGPT-4により比較評価した。その結果、前者のモデルが約75%の勝率を達成した。さらに、OpenAIのtext-davinci-003との比較でも60%以上の勝率に達した。以上から、LLMによる生成・翻訳による指示・応答データセット生成の有効性が示された。