地域毎の教育課程に基づく多言語指示学習データの自動生成

本稿では、LLMの問題解決の能力を向上させるために、多言語の高品質な訓練データを自動的に生成する方法について述べる。様々な分野を網羅するべく、LLMによって地域に特化した教育課程の内容を列挙させて、それに基づいた各単元の宿題や試験問題とその解答を生成させるという手順で、質問応答のペアを大量に獲得した。生成されたデータをLLMの指示学習に適用することにより、とりわけMGSMの正解率が大幅に向上することが確認できたほか、複数の言語に対するモデルの振る舞いを検証する土台を作ることができた。