大規模言語モデルのコーディング能力には事前学習データの差によりプログラミング言語間での差が依然として聳えている.本研究では大規模言語モデル自身により自己生成したカリキュラムデータにより学習データを補完し,ProximalPolicyOptimizationによる強化学習を行い,リソースの乏しい言語における生成精度および推論能力の向上可能性について検証した.結果,対象言語において高リソース言語を上回る精度向上が確認され,さらに報酬設計の改修によりさらなる精度向上が確認できた.

2025年初頭に提案されたGroupRelativePolicyOptimization(GRPO)[1]をはじめとする強化学習手法の発展により,大規模言語モデル(LargeLanguageModel,LLM)[2]の推論,コーディング面の能力は大きく向上した.一方でLLMの持つ知識情報は事前学習におけるコーパスデータに依存するため,学習可能なデータの乏しいプログラミング言語(Low-ResourceProgrammingLanguages,LRPLs)に関しては事前学習の段階でLLMは十分な知識を獲得できず,これはその後の推論能力にも影響する.これは使用人口が少ないことに起因する収集可能なオープンソースコードおよびレポジトリの不足がその要因となる.LRPLsにおいては同程度のロジックを要求するタスクにおいても使用人口の多いPython,JavaScriptなどと比べ精度にギャップが生じている[3,4].さらには評価指標となるコード生成タスク用ベンチマークに関してもPythonを中心とした高リソースなプログラミング言語(High-ResourceProgrammingLanguages,HRPLs)を対象とするものが多く[5,6],LRPLsにおける整備は不十分である.最近では多様な言語に対応したベンチマークが増加している[7,8]が,多くはPythonをベースとしたベンチマークの翻訳による拡張形であり,LRPLs固有の文法および型に沿ったベンチマークは以前として少ない.こうしたデータセットの整備に多大な労力と時間を要すること自体が本分野の研究への参入に対する障壁となっている.LRPLs分野における既存の研究はクロスリンガル転移または合成データを用いた学習を用いて精度改善を図るものが主である.合成データによる学習においてもLLMが潤沢に有しているHRPLsの文法知識,構造との対応付けを用いた学習手法が取られている[9,10].これらは自然言語の翻訳タスク同様に,同じ意味を持つHRPLとLRPLのテキストのペアを用いて教師ありファインチューニングを行う.こうした手法はHRPLを介してチューニングを行うため,前述のベンチマーク同様HRPLの文法の範疇しかカバーできない.一方LLMにおける強化学習は,与えられた推論タスクへのLLM自身のChain-of-Thought(CoT)[11]などを用いた出力データに対し,推論結果の正誤に応じて0/1の報酬を与える.この枠組みは合成データによる学習を行うLRPLsの研究手法と相性が良く,並列データを用いずともLRPLsによるコーディング,推論能力の向上が期待できる.本研究は上記の強化学習手法のうち,環境となる問題データを含む全てをLLMによる合成データで完結させる手法について,LRPLsにおいて精度向上に寄与できるか検証するものである.