科学文書における「間接的」引用についてのハルシネーション検出の評価

引用文は一般的な文章とは大きく異なり，その正確科学論文の数は年々増加している．この増加に伴性を評価する際に特有の課題を伴う．ハルシネーい，研究者が自身の研究に関連する論文をすべて網ション検出のためのベンチマークは既にいくつか羅することは，ますます困難になりつつある．この存在している[2,3]．これらのベンチマークは主に困難さは，研究の遂行や論文の執筆において特に顕一般的な文章生成タスクを対象としており，ニュー著である．その結果，自然言語処理技術をはじめとス要約や対話生成における誤情報の検出に焦点をする情報処理技術を活用した支援ツールへの期待当てている．しかし，引用文特有の特性を考慮したが高まっている．研究遂行支援や論文執筆支援の分ベンチマークは，我々が調査した限りでは存在して野では，LLMの活用が注目されている．LLMを利いない．従来のベンチマークでは，引用文が持つ抽用することで，自動的に文章を生成することが可能象的な表現や異なる言い回しを適切に扱うことがとなり，利用者の負担を軽減できる．しかし，この難しく，引用文の正確性を正確に評価するには不十ような技術には課題も存在する．その一つが，事実分であることが考えられる．このような背景から，と異なる内容の文章を生成してしまう現象である．本研究では，引用方法の観点が異なる2種類のベンこの現象は「ハルシネーション」と呼ばれ，利用者チマークを構築し，ハルシネーション検出の評価をの信頼を損なう重大な問題となっており，生成され行った．た文章の適切性を正確に評価する方法が求められている．従来の文章生成の評価では，ROUGE[1]がよく用いられてきた．これらの指標は生成された文―2774―.