日本語大規模言語モデルの事前訓練過程における下流タスク性能の網羅的な分析

大規模言語モデル(LLM)は目覚ましい発展を遂げているが，その高い性能がどのように獲得されていくのかについての理解は不十分である．本稿では，日本語を多く含む大規模テキストを用いて学習されたLLM-jp-3モデルを対象に，様々なモデルサイズ・下流タスクにおけるモデルの学習過程を分析し，日本語LLMの内部メカニズムの洞察を深める．分析の結果，LLMの学習過程の下流タスクのスコアの軌跡は，タスクの種類によっていくつかの典型的なパターンに分類できることが示唆された．