強化学習を用いた低リソースプログラミング言語におけるコード生成精度改善

2025年初頭に提案されたGroupRelativePolicyOptimization(GRPO)[1]をはじめとする強化学習手法の発展により,大規模言語モデル(LargeLanguageModel,LLM)[2]の推論,コーディング面の能力は大きく向上した.一方でLLMの持つ知識情報は事前学習におけるコーパスデータに依存するため,学習可能なデータの乏しいプログラミング言語(Low-ResourceProgrammingLanguages,LRPLs)に関しては事前学習の段階でLLMは十分な知識を獲得できず,これはその後の推論能力にも影響する.これは使用人口が少ないことに起因する収集可能なオープンソースコードおよびレポジトリの不足がその要因となる.LRPLsにおいては同程度のロジックを要求するタスクにおいても使用人口の多いPython,JavaScriptなどと比べ精度にギャップが生じている[3,4].さらには評価指標となるコード生成タスク用ベンチマークに関してもPythonを中心とした高リソースなプログラミング言語(High-ResourceProgrammingLanguages,HRPLs)を対象とするものが多く[5,6],LRPLsにおける整備は不十分である.最近では多様な言語に対応したベンチマークが増加している[7,8]が,多くはPythonをベースとしたベンチマークの翻訳による拡張形であり,LRPLs固有の文法および型に沿ったベンチマークは以前として少ない.こうしたデータセットの整備に多大な労力と時間を要すること自体が本分野の研究への参入に対する障壁となっている.LRPLs分野における既存の研究はクロスリンガル転移または合成データを用いた学習を用いて精度改善を図るものが主である.合成データによる学習においてもLLMが潤沢に有しているHRPLsの文法知識,構造との対応付けを用いた学習手法が取られている[9,10].これらは自然言語の翻訳タスク同様に,同じ意味を持つHRPLとLRPLのテキストのペアを用いて教師ありファインチューニングを行う.こうした手法はHRPLを介してチューニングを行うため,前述のベンチマーク同様HRPLの文法の範疇しかカバーできない.一方LLMにおける強化学習は,与えられた推論タスクへのLLM自身のChain-of-Thought(CoT)[11]などを用いた出力データに対し,推論結果の正誤に応じて0/1の報酬を与える.この枠組みは合成データによる学習を行うLRPLsの研究手法と相性が良く,並列データを用いずともLRPLsによるコーディング,推論能力の向上が期待できる.本研究は上記の強化学習手法のうち,環境となる問題データを含む全てをLLMによる合成データで完結させる手法について,LRPLsにおいて精度向上に寄与できるか検証するものである.