事実正誤判定が不要な生成応答の検出に向けたデータセットの収集と分析

昨今，大規模言語モデル(LLM)が顕著な発展を遂げ，それに伴って様々な自然言語処理のタスクを解く能力が向上している．しかしその一方で，LLMが事実と異なる内容を出力してしまう現象（Hallucination;幻覚）が観測され，出力の事実性の担保が課題となっている[1,2,3]．この課題を解決するために様々な研究が行われてきているが，これまで行われているLLMを用いた対話システムの幻覚問題に関する研究のほとんどは，幻覚を検出・抑制する手法や発生する原因を調査することに主眼を置いている[4,5,6]．Dinanらが作成した知識に基づく対話データセットであるWizardofWikipedia(WoW)[7]には話者の主観的な意見や感情が多く含まれている．DziriらはWoW中の主観的な意見や感情を含む発話に幻覚であることを示すラベルをつけ，このようなデータセットで追加学習したモデルは幻覚を多く生成する傾向があると概要．知識に基づく既存の対話応答を文単位に分割する．その各文に対し，文のタイプに応じてラベル付けを行った．このラベルを用いて分類タスクに取り組んだ．いうことを示した[8]．しかし雑談対話等のオープンドメインの対話システムに関しては，要約や機械翻訳といった他の分野のシステムとは異なり，応答中の全ての出力が与えられた入力や知識に基づいていれば良いわけではない．円滑に対話を進めてエンゲージメントを高めるには，個人的な感情や意見，相槌等を発することも重要であり[9]，これらの内容の応答に関する事実正誤性の許容度は高いと考えられる[10]．以上のことから，我々は対話システムの応答生成における事実正誤の判定（幻覚の検出）の前に判定が不要である文を検出し，取り除くべきであるという立場を提案する．我々は事実正誤の判定が不要となる箇所を先に検出し，それ以外の箇所についてのみ事実正誤の判定を行うことで，対話としての魅力度を保持しつつ事実性も担保された応答の生成が実現できると考えている．そのための第一歩として，本研究では事実正誤の判定が不要となる文の検出をタスクとして設定し，学習・評価データセットを新たに作成した上で，複数の分類モデルを用いて実験を行った．作成した.データセットであるDialogueDatasetannotatedwithFact-Check-neededlabel（DDFC）の概要を図1に示した．DDFCの構築方法と内容は3章で述べる．