専門ドメインを対象とした事前学習データと精度の関係分析

大規模言語モデル(LLM)はlong-tailの知識に対して精度が低く，過去には事前学習データに含まれる知識に関する頻度が高いと精度も高くなる関係を示した例がある．一方，実用上はより複雑なタスクを解くことがあり，単純な頻度よりもいかに文脈を捉えるかが重要となる可能性もある．そのための基礎的な分析として，本研究では次の二つを実施した．1)事前学習データに含まれる単語やトークンの頻度を算出し，精度の関係を分析した．2)各層の埋め込み表現を用いて定性的な分析を行った．その結果，今回対象としたタスクでは頻度と精度の関係は確認できなかったものの，LLMは文章全体で文脈を捉えずに特定のトークンに着目している可能性を示した．