フォローアップ発話を用いた日本語対話の自動評価

近年の事前学習済み言語モデルによる性能向上に伴い,年々優れた対話システム[1,2,3,4]が発表されているが,対話システムの優劣を評価するためには最終的に人手評価を行うことが一般的である[5].しかし,人手評価には時間とコストがかかるため,開発段階では自動評価を利用して評価できれば効率的である.本研究では,対話の人手評価と相関があり信頼性の高い自動評価指標を提案することを目指す.対話の自動評価指標には正解の応答が必要な指標と不要な指標がある.正解の応答が必要な指標としてはBLEU[6],FBD[7]等が挙げられ,正解の応答が不要な指標としてはPerplexityやUSR[8]等が挙げられる.正解の応答が必要な指標は,多様な応答が許容される対話の性質上適切に評価ができなかったり,正解の応答を作成するための時間とコストがかかるという問題がある.よって本稿では,正解の応答が不要な指標の1つであり,人手評価との相関が高いことが報告されている[5],FED[9]と,FEDを発展させたFULL[10]に着目する.FEDとFULLが日本語対話に利用できるか検証し,先行研究から考えられる問題点（3節参照）を改善することを試みる.実験の結果,我々の改善した手法は先行研究より人手評価との相関が高いことを確認した.さらに,対話データから対話システムの順位を予測したところ,オープンドメインの対話とシチュエーションに特化した対話それぞれで高い相関を示し,特に,オープンドメインの対話は正解の順位と完全に一致した.