Wikipediaリダイレクト情報を活用したエンティティベース質問応答データセットの構築

大規模言語モデル(LLM)がどのような知識を記憶しているかを調べるために，しばしばエンティティに基づく質問応答データセットが利用される．しかし，そのような既存のデータセットはエンティティの単一の表層のみに依存しており，LLMがエンティティを記憶しているのか，特定の表層を記憶しているのかを弁別できない．そのため，本研究ではWikipediaのリダイレクト情報を活用し，複数の表層を考慮可能なエンティティベースの質問応答データセットRedirectQAを構築する．本データセットはエンティティの複数の表層と，それらに対応するカテゴリが付与されており，LLMがどのような表層を記憶しているかの調査に適している．