日本語によるコード生成能力の正確な評価に向けて

近年，ソースコード生成などのタスクにも大規模言語モデルを活用する動きが活発化している．しかし，日本語を用いたコード生成ベンチマークは限定的であり，特にPython以外のプログラミング言語を用いた高品質なデータセットは存在しないことから，正確な評価はできていない．本稿では，既存のデータセットを拡張し，高品質な日本語タスク説明文を伴う，複数のプログラミング言語のコード生成評価ベンチマークJMultiPL-Eを構築した．実験により，日本語での継続事前学習が日本語を用いたコード生成において効果的であることの示唆を得た．