英語中心の大規模言語モデル開発からの脱却に向けて

大規模言語モデルの生成した系列の分析を通じ，大規模言語モデルの事前学習データは大規模WebコーパスであるCommonCrawlにおける言語分布と比較して，はるかに英語に偏っている可能性を示す．また，学習済みの大規模言語モデルを特定の言語に適応させる手法として継続事前学習が知られているが，日本文化理解のタスクにおける性能は日本語の学習に費やした推定総コストに対数比例していることを示し，継続事前学習が学習効率の観点では事前学習と同等であることを示す．本稿で得られた知見を通じて，大規模言語モデル開発が英語中心の状況から脱却し，各言語に寄り添ったベンチマーク構築やモデル開発が促進されることを期待する．