シングルGPUによる日本語コードLLMの構築

2023年は，LLMの普及と活用が急速に拡大した一年であった．LLMの驚異的な可能性に世界中の関心が集まり，国内外の研究機関においてLLMの開発も活発化した．この結果，LLMの開発がコーパスの整備から評価尺度の設定に至るまで，ビッグサイエンスの領域に入り込んでいるということが明らかとなった．今後，高品質なLLMの開発には，裾野の広い研究者や開発者の参画が不可欠である．しかし，LLMの開発には膨大な計算機リソースが必要であるため，大学研究室レベルの組織では気軽に挑戦できるテーマではない[1]．最近では，パラメータ数の少ない小規模なLLMの開発[2]にも関心が集まるが，それでもパラメータ数は1Bを超え，最低でも8台以上の最先端GPUを必要とする．本研究の目的は，小規模コードLLMへの開発経験を報告し，研究室レベルのリソースを用いたLLMの研究開発をスケールアップする道筋を示すことである．本研究では，シングルGPU(V100,A100)を研究室レベルのリソースと想定している．小規模LLMの開発における主要な課題は，限られたパラメータ数により，有意な評価を得ることが困難であることにある．著者らの経験でも，期待される能力が示現しない状況下で，いつまで学習を継続すべきかの判断がしばしば課題となる．このような状況は，研究基盤として新たなアイディアを比較し，分析することを難しくしている．本研究の貢献は，シングルGPU学習のみで開発可能な小規模LLMを対象として，HumanEvalデータセット[3]の正解率を評価できる小規模LLMの開発経験を示したことである．HumanEvalは，CopilotなどLLMの実運用サービスの開発につながる実体のある評価尺度である．我々は，スケールアップした高性能なLLM開発への見通しを立てやすくするため，複数スケールの小規模LLM(0.06B,0.13B,0.3B,0.6B,1.3B)の性能の比較評価に取り組んだ．また，小規模LLMの能力を解像度高く統計的に比較するため，HumanEvalベンチマークを小規模モデル用に改良したHumanEval-Easy37を開発した．これにより，前処理や学習手順などの違いをより明確に把握できるようになった．