専門ドメインを対象とした事前学習データと精度の関係分析

大規模言語モデル（LLM）はlong-tailの知識に対して精度が低いことが知られており[1]，long-tailの知識への対応としてRAG（RetrievalAugmentedGeneration）やFine-tuningがある[2,3]．一方医療ドメインなどにおいては，既往のLLMやRAGは評価タスクの違いやドメイン知識が無いなどの要因により実用に値しないという報告もある[4]．また，LLMが外部知識を参照する際にKnowledgeConflicts（LLMが暗黙的にパラメータ内に保有する知識と外部知識の衝突）があった場合，LLMはpopularityの高い知識を優先するとされている[5]．土木分野など，データが充分に整備されていない分野においては，既往のLLMは実用に耐えうる性能ではなく，RAGやFinetuningを検討する必要がある．一方で，これらの手法を検討するにあたってどの程度のデータが必要か，またどの程度事前学習で学習されていればKnowledgeConflictsが生じにくいかなどは明らかになっていない．これらが明らかになれば，実運用においてもデータ整備やLLMの学習に対し，戦略的な投資が可能となる．本研究では，上記を明らかにすることを目指した基礎的分析の位置付けとする．専門ドメインとして土木分野を対象に，技術士一次試験(建設部門)の過去問題[6]を用いた．このタスクに対し，LLMは単純な事前学習の用語やトークン頻度に伴い適切な回答を生成できるようになるか，または単純な頻度よりも文脈を捉えることがより必要かを明らかにしたい．本稿では上の問いに対し，事前学習データに含まれる用語やトークンの頻度を算出し，精度（正答率）との関係を分析した（3章）．また文脈理解の観点から，各層の埋め込み表現を用いて定性的な分析を実施した（4章）．