事実正誤判定が不要な生成応答の検出に向けたデータセットの収集と分析

大規模言語モデルが顕著な発展を遂げる中，出力の事実性の担保が課題となっている．しかし対話という分野では，システム応答中の全ての内容が与えられた知識に基づいていることが必ずしも良いことであるとは限らない．我々は対話としての魅力度と事実性担保の両立を目標とし，その第一歩として相槌や同意，個人的な意見/感情といった事実正誤の判定が不要である文を予測することをタスクとして設定した．本研究では，このタスクのための学習・評価データセットをクラウドソーシングを通じて収集し，複数の分類モデルを用意して実験を行った．実験の結果，最も分類精度が高いモデルで約88ポイントの正解率で分類できることを確認した．