評価の階層性に着目した雑談対話システム評価の分析

文生成タスクでは，評価の解釈性向上のために多様な側面からの評価が期待される．複数の評価軸により評価を行う際，文評価に普遍的に見られる評価の階層性に注意する必要がある．評価軸間に階層的な依存性がある場合，依存先の評価値は依存元の評価値の影響を受けるため，誤った結論を導く可能性がある．本研究では雑談対話応答生成タスクの評価観点について，対話システム間の有意差を手掛かりに，評価軸間の階層的依存性を明らかにする試みを行った．さらには階層的な依存性を解消した場合のシステム間性能比較を再分析した．多様な観点で評価された雑談対話のデータセットを利用した実験から，階層的依存性の解消により対話システム間の性能有意差の有無が変化しうることを確認した．