いているというという指摘もされている[14,15]．大規模言語モデル(LLM)は自然科学，数学，歴これらの問題意識から，それぞれの文化圏・コミュ史，社会科学などの様々な分野で高い言語理解能ニティの言語資源を主たる学習対象としてLLMの力および言語生成能力を持つことが示されており，学習を行う試みが行われている[16,17,18,19]．日様々な自然言語処理タスクで利用されている．一本語においても，特に日本語テキストで学習を行っ方，多くのLLMは英語の事前学習データセットにたLLMの方が日本に関する知識や英日翻訳においよる学習を基礎とするため，英語圏以外の文化に関て高い性能が得られることが示されている[20]．まわる知識については不十分であることが指摘されてた，常識道徳理解タスクにおいても日本在住のアノいる．そのため，主に日本語データを用いた事前学テータによる学習データで学習した方がアメリカ・習モデルや日本語による継続事前学習モデルなど，カナダ・イギリス在住のアノテータによる学習デー日本語資源を利用して日本に特化させたモデルの開タを使うよりも高い正答率が得られたことが報告さ発が行われている．本研究は日本の文化・民俗の中れている[21]．でも特に妖怪を題材として，これらのLLMが日本これらの結果は，いくつかのタスクで日本の言語の文化に関する知識を持っているかを評価した．妖資源を使って学習することが有益であることを示し怪は現代でも娯楽として親しまれながらもその根拠ている．しかしながら，日本含めあらゆるコミュニは日本の古くからの民話や浮世絵にあるため，日本ティに固有の知識・価値観は幅広く存在する．ここ文化の理解度を評価するための題材として有用であから生まれる疑問は，LLMはコミュニティに固有ると考えられる．評価のため，995問の妖怪に関すの知識・価値観をどの程度持っているのか？どのよる知識を問う四択問題を生成し31個のLLMで比較うに学習することで与えることが出来るのか？、とした．総じて明に日本語で学習したモデルの方が英いう点である．語中心のモデルよりも正答率が高く，特にLlama-3本研究では日本の妖怪に関する知識を評価するをベースとした日本語による継続事前学習モデルがことでLLMの日本文化の理解度の一端を明らかに高い正答率であった．することを目的とする．妖怪は日本各地の古くからの民話を起源として，超常現象やその超常現象を起

こすとされるものである[22,23]．同時に妖怪は江大規模言語モデル(LLM)は様々なドメインで高戸時代以降から現代にいたるまで、浮世絵，狂言，い言語理解能力および言語生成能力を持つことが玩具，マンガやアニメなどの様々なメディアで題材示されており，様々な自然言語処理タスクで応用となるフィクションとしての娯楽の対象でもあるされている[1,2,3]．また，LLMはその学習に用い[24,25]．妖怪は過去から現代にいたるまでの一般のる言語資源のほとんどが英語であっても日本語を人々の中で取り上げられる「非科学的なもの」であ含む幅広い言語に汎化し，多言語で高い能力が得り，その典拠も曖昧なものも多い．そのため，日本られることが知られている[4,5,3]．一方，多文化独自の文化・民俗に関する高解像度な知識が必要なへの汎化性能は限られていることが知られているドメインであると考えられる．[6,7,8,9,10,11,12,13]．また，GPT-4などのモデル本研究ではWikipediaの記事を参考資料として，―869―.質問選択肢回答1月1日,5月5日,12月20日,8月8日12月20日一本だたらが出現する日として特に重要視されている日はいつとされていることが多いでしょうか？日本の妖怪煙羅煙羅は、その存在を視認するためには何が必要とされていることが多いでしょうか？日本の妖怪である「置行堀」において、帰ろうとすると聞こえる声はどのような内容とされていることが多いでしょうか？GPT-4を用いて設問を自動生成することで妖怪知識の評価用データセットYokaiEvalを構築した．YokaiEvalを用いて日本語および多言語LLMの性能を評価したところ，日本語を主として扱っている言語モデルおよび継続事前学習によって日本語データを学習している言語モデルがそれ以外のモデルよりも相対的に高い正答率であった．実験結果は日本語資源で学習することの意義として，日本固有の民話や娯楽に関する知識も得られることを示唆している．