LLMは日本の民話を知っているか？妖怪知識評価データセットの構築へ向けて

こすとされるものである[22,23]．同時に妖怪は江大規模言語モデル(LLM)は様々なドメインで高戸時代以降から現代にいたるまで、浮世絵，狂言，い言語理解能力および言語生成能力を持つことが玩具，マンガやアニメなどの様々なメディアで題材示されており，様々な自然言語処理タスクで応用となるフィクションとしての娯楽の対象でもあるされている[1,2,3]．また，LLMはその学習に用い[24,25]．妖怪は過去から現代にいたるまでの一般のる言語資源のほとんどが英語であっても日本語を人々の中で取り上げられる「非科学的なもの」であ含む幅広い言語に汎化し，多言語で高い能力が得り，その典拠も曖昧なものも多い．そのため，日本られることが知られている[4,5,3]．一方，多文化独自の文化・民俗に関する高解像度な知識が必要なへの汎化性能は限られていることが知られているドメインであると考えられる．[6,7,8,9,10,11,12,13]．また，GPT-4などのモデル本研究ではWikipediaの記事を参考資料として，―869―.質問選択肢回答1月1日,5月5日,12月20日,8月8日12月20日一本だたらが出現する日として特に重要視されている日はいつとされていることが多いでしょうか？日本の妖怪煙羅煙羅は、その存在を視認するためには何が必要とされていることが多いでしょうか？日本の妖怪である「置行堀」において、帰ろうとすると聞こえる声はどのような内容とされていることが多いでしょうか？GPT-4を用いて設問を自動生成することで妖怪知識の評価用データセットYokaiEvalを構築した．YokaiEvalを用いて日本語および多言語LLMの性能を評価したところ，日本語を主として扱っている言語モデルおよび継続事前学習によって日本語データを学習している言語モデルがそれ以外のモデルよりも相対的に高い正答率であった．実験結果は日本語資源で学習することの意義として，日本固有の民話や娯楽に関する知識も得られることを示唆している．