人間が書いた文章を対象としたHallucination検出ベンチマークの構築と評価

文章の内容的な誤りを正す校閲は，文章の質を担保するために重要な工程である．本研究では，大規模言語モデル(LLM)を活用した校閲支援の実現に向け，人間が書いた文章に生じるHallucinationの特徴を分析し，LLMの校閲能力を評価するベンチマークを構築する．新聞の訂正記事を用いた分析では，漢字誤変換や数字の桁のずれといった，人間が書いた文章ならではの特徴があるとわかった．分析結果をもとに人間が起こしやすいHallucinationを含む文章を自動生成しLLMを評価した結果，LLMにとって校閲は困難なタスクであることを確認した．