大規模言語モデル(LLM)はlong-tailの知識に対して精度が低く，過去には事前学習データに含まれる知識に関する頻度が高いと精度も高くなる関係を示した例がある．一方，実用上はより複雑なタスクを解くことがあり，単純な頻度よりもいかに文脈を捉えるかが重要となる可能性もある．そのための基礎的な分析として，本研究では次の二つを実施した．1)事前学習データに含まれる単語やトークンの頻度を算出し，精度の関係を分析した．2)各層の埋め込み表現を用いて定性的な分析を行った．その結果，今回対象としたタスクでは頻度と精度の関係は確認できなかったものの，LLMは文章全体で文脈を捉えずに特定のトークンに着目している可能性を示した．

大規模言語モデル（LLM）はlong-tailの知識に対して精度が低いことが知られており[1]，long-tailの知識への対応としてRAG（RetrievalAugmentedGeneration）やFine-tuningがある[2,3]．一方医療ドメインなどにおいては，既往のLLMやRAGは評価タスクの違いやドメイン知識が無いなどの要因により実用に値しないという報告もある[4]．また，LLMが外部知識を参照する際にKnowledgeConflicts（LLMが暗黙的にパラメータ内に保有する知識と外部知識の衝突）があった場合，LLMはpopularityの高い知識を優先するとされている[5]．土木分野など，データが充分に整備されていない分野においては，既往のLLMは実用に耐えうる性能ではなく，RAGやFinetuningを検討する必要がある．一方で，これらの手法を検討するにあたってどの程度のデータが必要か，またどの程度事前学習で学習されていればKnowledgeConflictsが生じにくいかなどは明らかになっていない．これらが明らかになれば，実運用においてもデータ整備やLLMの学習に対し，戦略的な投資が可能となる．本研究では，上記を明らかにすることを目指した基礎的分析の位置付けとする．専門ドメインとして土木分野を対象に，技術士一次試験(建設部門)の過去問題[6]を用いた．このタスクに対し，LLMは単純な事前学習の用語やトークン頻度に伴い適切な回答を生成できるようになるか，または単純な頻度よりも文脈を捉えることがより必要かを明らかにしたい．本稿では上の問いに対し，事前学習データに含まれる用語やトークンの頻度を算出し，精度（正答率）との関係を分析した（3章）．また文脈理解の観点から，各層の埋め込み表現を用いて定性的な分析を実施した（4章）．