人間が書いた文章を対象としたHallucination検出ベンチマークの構築と評価

文章の執筆過程において，文章の質を担保するために欠かせない工程として校正・校閲がある．校正は文章の文法的な誤りを正すことに対し，校閲は文章の内容的な誤り（事実誤認）を正すことである（図1）．校正・校閲は言語および実世界に関する広範な知識を要し，その知識を用いて文章中の誤りを認識する必要があるため，専門性の高い複雑な作業である．これらの工程をより正確かつ効率的にするために，校正・校閲支援システムが期待されている．校正支援に関しては古くから数多くの取り組みがあり[1,2,3]，日本語においても一定の性能で文法誤りを検出・訂正することが可能となった[4,5,6]．一方で，校閲支援に関してはFactualErrorCorrectionとして近年タスクが提案されている[7,8]が，この取り組みは依然として少ない[9]．この理由として，校閲は校正と比べてより膨大な知識が必要であり，教師あり学習に向けて網羅的なデータセットを用意するのが難しいことが考えられる[10,11]．しかし，膨大な知識が必要という点は近年の大∗株式会社日本経済新聞社でのインターンシップ的，校閲は内容的誤りを訂正する．規模言語モデル(LLM)の登場で解決可能性が出てきた．LLMは大規模な生コーパスでの事前学習を通して実世界に関する知識を広く獲得している[12,13]ため，事実関係の誤りに対する校閲支援が期待でき，これを調査する意義がある．文章中の内容的な誤りを検出・訂正するという点では，LLMの応答における事実に基づかない箇所を検出するHallucination検出タスク[14,15]も校閲の類似タスクとして挙げられる．しかし，これらはLLMが生成した文章を対象としており，人間が書いた文章に生じるHallucination1）とは性質が異なる可能性がある[10]．従来のHallucination検出ベンチマークでは校閲能力を正しく測れない懸念があるが，文章上でLLM・人間が起こしやすいHallucinationの特徴を比較した研究は我々の知る限り存在しない．本研究では，人間が書いた文章に対するLLMの校閲能力の評価に取り組む．校閲の工程は誤り箇所の検出と訂正に分けられる[16]が，本稿では前半の工程に注目し，人間が起こしやすいHallucinationをLLMがどの程度検出できるかを調査する．具体的にはまず，新聞記事の内容に対する訂正が記載された記事（訂正記事）を分析し，人間が書いた文章に生じるHallucinationの訂正パターンを分類定義する．次に，この訂正パターンを新聞記事に対して逆に適用することで人間が起こしやすいHallucinationを含む文章を自動生成し，ベンチマークを構築する2）．最後に，構築したベンチマークを1）本研究では，文章の作成元が人間かLLMかに依らず，文章中に含まれる内容的な誤りをHallucinationと呼ぶ．2）構築したベンチマークの再現コードは公開予定である．.語の誤り」と「数の誤り」に焦点を当てる.†は人間の文章に特徴的なHallucinationの小分類であることを表す．大分類小分類訂正内容の例数固有表現「オーストラリア」とあるのは「オーストリア」の誤りでした。55漢字誤変換†「本田英明部長」とあるのは「本多英明部長」の誤りでした。23類義語「売上高」は「営業利益」の誤りでした。18対義語投票権年齢が「18歳以下」とあるのは「18歳以上」の誤りでした。11単語の誤り数の誤り文単位の誤り用いてLLMの校閲能力を定量的に評価する．分析の結果，人間が書いた文章には漢字誤変換や数字の桁のずれといった特徴的なHallucinationがあり，LLMのHallucinationとの違いを確認した．また，実験の結果，GPT-4oによる検出性能がRecallで約60%と，LLMを活用した校閲支援の可能性を示唆する一方，最高F1値が51%という結果からLLMを活用した場合でもタスクが困難であると確認した．