時事情報に関する日本語QAベンチマーク『ニュースQ』

近年，大規模言語モデル（LLM）の性能は飛躍的に向上しており，情報検索や意思決定支援などを通じて人々の生活に貢献している．しかしながら，ハルシネーション[1]と呼ばれる，誤情報を生成してしまう問題が知られており，そのリスクを見積もるためにはLLMが保持している情報の事実性の程度を測定することが重要である．誤情報の中でも時事に関するものには，事件・事故，災害，経済，選挙等に関する情報が含まれるため，ユーザーの実生活において，商品購入や旅行に関する経済的な意思決定のみならず，避難行動等の生命に関わる重大な意思決定に対しても，直接的な影響を与えるリスクが大きい．またLLMが保有す1）『ニュースQ』の利用については朝日新聞メディア研究開発センターのWebサイト(https://cl.asahi.com/apidata/newsq.html)を参照．る知識の中に誤った時事的知識が定着している場合，その知識に関連した誤情報の生成を助長するリスクがあるため，LLMが現実世界で起きた出来事について，いつ，どこで，どのように起きたのかを正確に把握できているか測定することは重要である．言語モデルが持つ情報の事実性を測る先行研究には，英語QAとしてはSimpleQA[2]，CommonsenseQA[3]，TriviaQA[4]，RealtimeQA[5]などがある．一方，日本語QAとしてはJAQKET[6]，JtruthfulQA[7]，JcommonsenseQA[8]などがあるが，一般常識や歴史・教養などに関するQAが主であり，時事情報に特化した日本語QAは十分に整備されていない．そこで本研究では，様々なジャンルのニュースをもとに作成された，時事的知識を日本語で問うベンチマーク『ニュースQ』を提案する．このベンチマークは朝日新聞デジタル公式アプリで提供されている時事クイズ『ニュースQ』をベースとしており2），朝日新聞社の編集者が作問し，事実関係の確認を含む校正・校閲を経ているため，情報の正確性が高い．問題数は2022年度（穴埋め形式・4択）が434問，2023年度（QA形式・3択）が335問で，計769問である．LLMの内部知識をより多角的に分析できるようにするため，表1のように，各問題に対して，それがどこで起きた出来事についてなのか(場所)，時間的に変化する対象(例：首相，人口，流行語)を考慮して解く必要があるか(時間依存)，どのジャンルに属する知識を問うているか(ジャンル)を表すラベルをアノテーションした．主要なオープンモデルと商用モデルのベンチマーク正答率を算出したところ，様々なタスクで高性能な最先端の商用モデルであっても，海外の事象と比べて日本国内の事象の理解に乏しい傾向が確認され2）https://digital.asahi.com/info/information/articles/SDI202304200001.html.場所国内,国内外,海外時間依存あり,なしジャンル政治,経済,社会,文化・芸能・スポーツ（文芸ス）,医療・健康・教育（医健教）た．また，日本国内の時事的知識に関する理解度の改善に日本語コーパスの継続事前学習が効果的であることが示唆された．全体としては，よりパラメータサイズの大きいモデルの方が時事的知識をより正確に把握している傾向が確認された．