英語中心の大規模言語モデル開発からの脱却に向けて

GPT-3[1]の優れた性能報告依頼，LlamaやQwen，Gemmaシリーズなど，様々な組織が大規模言語モデルを発表してきた[2,3,4]．新たな大規模言語モデルが次々と発表され，ベンチマークタスクでの性能向上が日々報告されている．しかしながら，既存の大規模言語モデルの大半は英語に主眼を置いており，主要なベンチマークデータも英語で構築されている．このため，英語以外の言語については議論が十分になされているとは言い難い．実際，いくつかのテクニカルレポートにおいて，大規模言語モデルの学習に使用したデータ中で英語が占める割合は有意に多いと報告されている[5,3]．例えば，Llama2の事前学習データはおおよそ90%が英語文書で構成されている．大規模にWebをクロールしたコーパスとして知られるCommonCrawlにおいては，英語文書の割合はおおよそ40%であるため1），Llama2の事前学習データはWebコーパスにおける言語分布と比較して英語に大きく偏ってい1）https://commoncrawl.github.io/cc-crawl-statistics/plots/lan-guagesると言える．本研究では，各大規模言語モデルについて，生成した系列を元に学習データの言語分布を推定し，多言語対応の大規模言語モデルと謳っているモデルであっても学習データは英語に大きく偏っている可能性を示す（図1）．特定の言語に対応した高品質な大規模言語モデルを効率的に構築する手法として継続事前学習が知られているが，本研究では継続事前学習されたモデルの分析を通じて，継続事前学習は特定の言語の大規模言語モデルを「極めて効率的に構築する手法」ではない可能性を示す．継続事前学習は確かに対象言語の性能を向上させるが，追加した学習コスト相応の性能向上であること，特に，文化に関連した知識を問う問題については，学習の総コストではなく，その問題の言語の学習に費やしたコストに性能が対数比例することを示す（図2）．すなわち，文化に関連した知識を問う問題については継続事前学習の効率はゼロから事前学習する場合と同等であることを示す．これらの結果を元に大規模言語モデル開発の方向性について議論する．