大規模言語モデルの生成した系列の分析を通じ，大規模言語モデルの事前学習データは大規模WebコーパスであるCommonCrawlにおける言語分布と比較して，はるかに英語に偏っている可能性を示す．また，学習済みの大規模言語モデルを特定の言語に適応させる手法として継続事前学習が知られているが，日本文化理解のタスクにおける性能は日本語の学習に費やした推定総コストに対数比例していることを示し，継続事前学習が学習効率の観点では事前学習と同等であることを示す．本稿で得られた知見を通じて，大規模言語モデル開発が英語中心の状況から脱却し，各言語に寄り添ったベンチマーク構築やモデル開発が促進されることを期待する．

GPT-3[1]の優れた性能報告依頼，LlamaやQwen，Gemmaシリーズなど，様々な組織が大規模言語モデルを発表してきた[2,3,4]．新たな大規模言語モデルが次々と発表され，ベンチマークタスクでの性能向上が日々報告されている．しかしながら，既存の大規模言語モデルの大半は英語に主眼を置いており，主要なベンチマークデータも英語で構築されている．このため，英語以外の言語については議論が十分になされているとは言い難い．実際，いくつかのテクニカルレポートにおいて，大規模言語モデルの学習に使用したデータ中で英語が占める割合は有意に多いと報告されている[5,3]．例えば，Llama2の事前学習データはおおよそ90%が英語文書で構成されている．大規模にWebをクロールしたコーパスとして知られるCommonCrawlにおいては，英語文書の割合はおおよそ40%であるため1），Llama2の事前学習データはWebコーパスにおける言語分布と比較して英語に大きく偏ってい1）https://commoncrawl.github.io/cc-crawl-statistics/plots/lan-guagesると言える．本研究では，各大規模言語モデルについて，生成した系列を元に学習データの言語分布を推定し，多言語対応の大規模言語モデルと謳っているモデルであっても学習データは英語に大きく偏っている可能性を示す（図1）．特定の言語に対応した高品質な大規模言語モデルを効率的に構築する手法として継続事前学習が知られているが，本研究では継続事前学習されたモデルの分析を通じて，継続事前学習は特定の言語の大規模言語モデルを「極めて効率的に構築する手法」ではない可能性を示す．継続事前学習は確かに対象言語の性能を向上させるが，追加した学習コスト相応の性能向上であること，特に，文化に関連した知識を問う問題については，学習の総コストではなく，その問題の言語の学習に費やしたコストに性能が対数比例することを示す（図2）．すなわち，文化に関連した知識を問う問題については継続事前学習の効率はゼロから事前学習する場合と同等であることを示す．これらの結果を元に大規模言語モデル開発の方向性について議論する．