対話の人手評価には時間とコストがかかるため,人手評価と自動評価の相関を向上し自動評価の信頼性を高めていくことは重要である.本稿では,フォローアップ発話が生成される尤度を利用して対話を評価するFEDとFULLという自動評価指標に着目し検証と改善を行う.日本語対話データを利用した実験の結果,FEDとFULLは人手評価との相関があまり見られなかったが,我々の改善した手法の相関係数は0.58で最も高い値となった.また,我々の改善した手法を用い,対話データから対話システムの順位を予測した結果,高い相関を示し,特にオープンドメインの対話は正解の順位と完全に一致した.

近年の事前学習済み言語モデルによる性能向上に伴い,年々優れた対話システム[1,2,3,4]が発表されているが,対話システムの優劣を評価するためには最終的に人手評価を行うことが一般的である[5].しかし,人手評価には時間とコストがかかるため,開発段階では自動評価を利用して評価できれば効率的である.本研究では,対話の人手評価と相関があり信頼性の高い自動評価指標を提案することを目指す.対話の自動評価指標には正解の応答が必要な指標と不要な指標がある.正解の応答が必要な指標としてはBLEU[6],FBD[7]等が挙げられ,正解の応答が不要な指標としてはPerplexityやUSR[8]等が挙げられる.正解の応答が必要な指標は,多様な応答が許容される対話の性質上適切に評価ができなかったり,正解の応答を作成するための時間とコストがかかるという問題がある.よって本稿では,正解の応答が不要な指標の1つであり,人手評価との相関が高いことが報告されている[5],FED[9]と,FEDを発展させたFULL[10]に着目する.FEDとFULLが日本語対話に利用できるか検証し,先行研究から考えられる問題点（3節参照）を改善することを試みる.実験の結果,我々の改善した手法は先行研究より人手評価との相関が高いことを確認した.さらに,対話データから対話システムの順位を予測したところ,オープンドメインの対話とシチュエーションに特化した対話それぞれで高い相関を示し,特に,オープンドメインの対話は正解の順位と完全に一致した.