ChatGPTを用いた日本語対話応答の多面的自動評価

人間と雑談を行う非タスク指向型対話システムの性能を簡便に測ることのできる自動評価指標が望まれている．対話の応答は多様であり，評価は様々な観点から多面的に行われることが望ましい．そこで本研究では，現在最も性能が優れた大規模言語モデル(LLM)と呼ばれるChatGPTを用いた，日本語対話応答の多面的な評価を行う．対話の品質を左右すると考える6つの評価項目における日本語対話応答の主観評価データを収集し，ChatGPTによる自動評価との比較を行う．その結果，ChatGPTと人間の主観評価の相関は，人間同士の相関に近いことを確認した．また，評価対象の文を英語に翻訳することにより，主観評価との相関が強まることを確認した．