本稿では、LLMの問題解決の能力を向上させるために、多言語の高品質な訓練データを自動的に生成する方法について述べる。様々な分野を網羅するべく、LLMによって地域に特化した教育課程の内容を列挙させて、それに基づいた各単元の宿題や試験問題とその解答を生成させるという手順で、質問応答のペアを大量に獲得した。生成されたデータをLLMの指示学習に適用することにより、とりわけMGSMの正解率が大幅に向上することが確認できたほか、複数の言語に対するモデルの振る舞いを検証する土台を作ることができた。

LLMの高度化により、推論を伴うタスク解決の能力が向上している。しかし、英語以外の言語の性能が相対的に劣っていること[1,2]や、英語圏の文化への偏重[3,4]が指摘されているため、多言語の学習データの拡充を図りたい。事前学習に用いるデータとして、数学に関する文書の効果が高いことが知られている[5,6]ため、特に教育に関連するデータを増強したいと考えた。学習資源の多言語化の手段として、既存の英語のデータを翻訳する方法[7,8,9,10]があるが、元となるデータの品質や自動翻訳の性能に依存することや、英語圏の知識や文化に偏るという欠点がある。人手でデータを収集または作成する方法[11,12,13,14]もあるが、多くの文化圏のデータを充分に確保するためには多大なコストを要する。近年着目されているのが、強いLLMにプロンプトを与えてデータを自動生成する方法であり、パラメータ数が小さいモデルの学習に利用できる場面が多い。既存の質問応答のペアを与えてより複雑なものに拡張する手法が試みられている[15,16,17]が、多様なデータを大量に生成することには限界がある。そこで我々は、教育課程に関するデータを階層的に自動生成して、指示学習（instructiontuning）に活用する方法を提案する。具体的には、指定した地域と言語に基づいた中等教育・高等教育の過程、すなわち学年・分野・科目・単元・学習内容を順に生成し、各科目の宿題と試験問題、そしてそれらの解答をLLMに生成させることによって、質問応答の対を獲得する。図1にその概念を示す。これにより、多言語の高品質なデータを大量に獲得することが可能となる。特に、幅広い分野を網羅したり、難易度を制御したりすることもできる。また、指定した国や地域で学ぶ内容を対象言語で直接生成するため、対象言語の流暢さを保ちつつ、英語圏の文化への偏りを防げるという利点がある。本稿ではまず、階層的なデータ生成の手順を述べる（2.1節)。それにより、言語が異なる7地域の教育課程に基づく、各々約70万件の質問応答対を獲得した（2.2節)。それをLLMの指示学習に適用したところ、webから収集したAyaの指示学習データと同等ないし大幅に上回る性能が得られた（3節)。Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).問題解答（以下略）地域言語宿題試験合計GermanyGerman482,243277,212759,455UnitedStatesEnglish681,546541,8441,223,390SpainSpanish465,757359,057824,814FranceFrench350,546212,828563,374JapanJapanese329,852362,325692,177RussiaRussian577,281298,380875,661ChinaChinese334,877358,217693,0947地域合計3,222,1022,409,8635,631,965（うち理工系(STEM)）2,362,703（うち数学(Math)）180,319プロンプトに与えた表記のまま。