Wikipediaリダイレクト情報を活用したエンティティベース質問応答データセットの構築

大規模言語モデル(LLM)はその内部に多種多様な知識を蓄えており[1,2]，自然言語生成に関する広範な応用が期待されている．しかし，LLMはその記憶に存在しない知識について問われるとハルシネーションや性能低下を引き起こすことがある[3]．そのため，LLMがどのような知識を記憶しているかを測ることは，LLMの適正な利用や性能の改善にとって重要である．これまでに，訓練データ中における出現頻度の低い知識はLLMに記憶されにくいこと[4,5]や有名ではない知識は記憶されにくいこと[5]などが明らかとなっている．これらの研究では，主にエンティティに関する事実知識を対象として，その記憶を測るためにエンティティベースの（質問と回答にそれぞれエンティティを含む）質問応答データセット[6,7,5]が用いられてきており，質問に対する正答率に基づいて記憶が測られてきた．しかし，既存(1)事実知識の3つ組を収集SubjectRelationObject(Pelé,occupation,footballer)(2)リダイレクト情報を付与代表的な表層Peléリダイレクト表層（カテゴリ:出⽣名）EdsonArantesdoNascimento(3)質問応答ペアを作成RedirectQAQ:WhatisPelé’soccupation?A:footballerQ:WhatisEdsonArantesdoNascimento’soccupation?A:footballer⁝のエンティティベースのデータセットは，エンティティの単一の表層のみに依存している．エンティティはしばしば複数の表層を有するため，このようなデータセットによる評価ではLLMがエンティティを記憶しているのか，特定の表層を記憶しているのかを弁別できない．実際に，3.2節で詳述する質問応答タスクを対象とした事前実験では，表1に示すように，同一のエンティティについての質問であっても，代表的な表層に基づく質問とそうでない質問でLLMの生成結果の正答/誤答が異なるケースが2割程度存在した．このことは，LLMの記憶がエンティティではなく表層に紐づいていることを示唆するものであり，LLMの知識の記憶を深く理解するためには複数の表層を考慮した評価が必要である．上記を踏まえ，本稿では，Wikipediaのリダイレクト情報を活用し，1つのエンティティに対して複数の表層を考慮できるエンティティベースの質問応答データセットRedirectQA1）を構築する（図1）．RedirectQAには，あるエンティティに対して複数の表層に基づく質問が含まれ，それぞれの表層の性質1）https://huggingface.co/datasets/naist-nlp/RedirectQA.代表的な表層正答誤答リダイレクト正答2,691341表層誤答1,2693,628に関するカテゴリが付与されている．本データセットを活用することで，LLMが多様な表層を汎化してエンティティの記憶を獲得しているか，あるいはどのような表層を記憶しやすいかについての調査が可能となる．実際に，RedirectQAを活用してLLMの表層の記憶について調査し，LLMは表記揺れのような表層の差異が小さいケースについては記憶を紐付けやすいことが示唆された．