日本語大規模言語モデルの事前訓練過程における下流タスク性能の網羅的な分析

大規模言語モデル(LLM)は，自然言語生成タスクにおいて目覚ましい成果を挙げている．しかし，LLMの高い性能が事前訓練の過程でいつ達成されるのか，また，モデルサイズや学習データ，タスクの種類による挙動の違いについての理解は，依然として不十分である．これまで，LLMの学習過程についての分析は，主に英語または中国語中心のLLMを対象として取り組まれてきた[1,2,3,4]．Pythiaプロジェクト[1]は，14Mから12Bまでの10個のモデルサイズそれぞれについて154個のチェックポイントを保存し，それらを通じてLLMの学習過程を詳細に分析する枠組みを提供した．本稿では，日本語を多く含む大規模コーパスを用いて学習されたLLM-jp-3モデル1）を対象に，様々なモデルサイズについて学習過程を分析する．また，従来の取り組みを日本語LLMで行うだけでなく，LLMの性能評価ツールであるllm-jp-eval[5]を活用して広範な下流タスクを分析の対象とし，タスクの1）https://llmc.nii.ac.jp/topics/post-707/,https://llmc.nii.ac.jp/topics/llm-jp-172b/150M440M980M1.8B3.7B7.2B13B172BGPT-4GPT-3.50.6AVGScore0.40.20.0100101102103Trainedtokens[109]の平均スコアの推移種類によって学習過程にどのような特徴が現れるかを観察する．さらに，様々なモデルサイズ・下流タスクにおける学習過程の軌跡の類型化を試み，推論能力の獲得についての洞察を深める．分析の結果，LLMの下流タスクにおける学習過程の性能変化は，学習初期から後期にかけて徐々にスコアが向上するもの，学習中期にスコアの向上が停滞するもの，学習後期からスコアが向上し始めるもの，の3つの典型的なパターンに分類できることが示唆された．また，LLMの指示追従能力に関する考察から，タスク固有の推論能力においては後者