ChatGPTを用いた日本語対話応答の多面的自動評価

非タスク指向型対話システムの性能評価においては，人手による主観評価が一般的である[1]．しかし人手による評価は時間とコストがかかるため，特に開発段階においては，簡便にシステムの性能を測ることが出来る自動評価指標が望まれている．対話の自動評価指標には，参照型の指標と非参照型の指標がある．参照型の指標としてはBLEU[2]やFBD[3]等があるが，対話の応答は多様であり，単一の正解文との比較では適切に評価することが難しい．非参照型の指標としてはFED[4]やGPTScore[5]などLLMを用いた手法が近年主流であり，これらは人手による主観評価との相関が比較的高いことが示されている．その中でも，人間のフィードバックにより学習した報酬モデルを用いた強化学習を行ったLLMであるChatGPTによって対話の評価を行う研究が特に活発に行われており，従来手法より人手との相関が高いことが報告されている[6,7,8]．しかし，これらは英語のデータセットにより検証されている．日本語対話データではFEDの検証が行われている[9,10]が，ChatGPTを用いた日本語対話応答の評価は著者の知る限り現在行われていない．そこで本研究では，ChatGPTにより日本語対話応答の評価を行い，日本語対話応答の自動評価におけるChatGPTの活用の有効性を検証する．対話の応答は多様であり，評価の際には全体的な品質だけでなく，複数の側面を多面的に評価することが望ましいとされる[11]．一方で，評価項目が統一化されていないという問題点がある[12]．対話には様々な評価項目が存在するが，統一された定義や名称がなく，似た意味の評価項目でも研究によって定義や名称が微妙に異なる．また，人手による主観評価データを収集する際，コストや評価者の負担を考慮して特定の評価項目に絞ることが多い．これらの要因から，対話の評価項目は研究により様々で統一されていない．この問題点に留意して，本研究では先行研究をベースに対話の品質を測るうえで重要な6つの評価項目を選定し，主観評価データの収集を行う．主観評価データを収集した対話応答についてChatGPTにより同じ評価項目の自動評価を行った結果，自動評価と主観評価の相関は，人間同士の相関に近いことを確認した．また，ChatGPTでは学習データの性質上，要約などのタスクにおいて，英語での精度が他言語に比べて高いことが報告されている[15]．本研究では対話の自動評価に関して日本語と英語間の性能差を比較するために，評価対象の文を英語に翻訳して検証した．その結果，ほとんどの評価項目で主観評価との相関が向上した．