LLMは日本の民話を知っているか？妖怪知識評価データセットの構築へ向けて

いているというという指摘もされている[14,15]．大規模言語モデル(LLM)は自然科学，数学，歴これらの問題意識から，それぞれの文化圏・コミュ史，社会科学などの様々な分野で高い言語理解能ニティの言語資源を主たる学習対象としてLLMの力および言語生成能力を持つことが示されており，学習を行う試みが行われている[16,17,18,19]．日様々な自然言語処理タスクで利用されている．一本語においても，特に日本語テキストで学習を行っ方，多くのLLMは英語の事前学習データセットにたLLMの方が日本に関する知識や英日翻訳においよる学習を基礎とするため，英語圏以外の文化に関て高い性能が得られることが示されている[20]．まわる知識については不十分であることが指摘されてた，常識道徳理解タスクにおいても日本在住のアノいる．そのため，主に日本語データを用いた事前学テータによる学習データで学習した方がアメリカ・習モデルや日本語による継続事前学習モデルなど，カナダ・イギリス在住のアノテータによる学習デー日本語資源を利用して日本に特化させたモデルの開タを使うよりも高い正答率が得られたことが報告さ発が行われている．本研究は日本の文化・民俗の中れている[21]．でも特に妖怪を題材として，これらのLLMが日本これらの結果は，いくつかのタスクで日本の言語の文化に関する知識を持っているかを評価した．妖資源を使って学習することが有益であることを示し怪は現代でも娯楽として親しまれながらもその根拠ている．しかしながら，日本含めあらゆるコミュニは日本の古くからの民話や浮世絵にあるため，日本ティに固有の知識・価値観は幅広く存在する．ここ文化の理解度を評価するための題材として有用であから生まれる疑問は，LLMはコミュニティに固有ると考えられる．評価のため，995問の妖怪に関すの知識・価値観をどの程度持っているのか？どのよる知識を問う四択問題を生成し31個のLLMで比較うに学習することで与えることが出来るのか？、とした．総じて明に日本語で学習したモデルの方が英いう点である．語中心のモデルよりも正答率が高く，特にLlama-3本研究では日本の妖怪に関する知識を評価するをベースとした日本語による継続事前学習モデルがことでLLMの日本文化の理解度の一端を明らかに高い正答率であった．することを目的とする．妖怪は日本各地の古くからの民話を起源として，超常現象やその超常現象を起