評価の階層性に着目した雑談対話システム評価の分析

機械翻訳や自動要約，雑談対話などの文生成タスクでは，正解となりうる表現が様々に考えられるため，出力文を人手で評価したり，人手評価に相関する自動評価手法が提案されている．また効率的なシステム開発のために総合評価だけでなく，評価の解釈性向上のための多様な側面からの評価が期待される．特に雑談対話生成応答タスクでは，応答の関連性[1]や，会話の一貫性[2]，エンゲージメント[3]などの様々な側面で人手評価が行われる．自動評価手法でもこれに追随して個別の評価軸に特化した手法が提案されている[4]．評価軸が複数存在する場合，個々の評価軸は異なる評価観点のため，それらは互いに独立した評価であることが望ましい．しかし実際には，個々の評価軸が独立せず相関が高いことが指摘されている[5]．この原因としては，評価の階層性[6]が考えられる(図1)．評価の階層性とは，例えば文の流暢性と応答関連性を例に挙げると，流暢性の低い文は理解連性では，応答が流暢ではないことにより応答関連性を適切に評価できないという非対称な関係性がある．できないため応答関連性を評価することすら困難であるが，一方で応答関連性が流暢性評価に影響することはない．このような評価の階層性は文レベルの評価において普遍的な特徴であり，一部の自動評価手法ではこの階層的依存関係を利用する[6,7]．この評価軸の階層的依存性が意識されないと，個々の評価軸で誤った結論を下す可能性が考えられる．例として，対話システムA・Ｂの性能比較を，文の流暢性と応答関連性により評価する状況を考える．そしてシステムAはシステムBと同程度に関連性の高い応答を生成する能力があるが，システムBより流暢ではないとする．流暢でない文の評価は困難であるため，応答関連性評価についてもシステムAがシステムBより劣るという誤った結論が下される可能性がある．このような状況では応答関連性評価の解釈として不適切な結論が導かれている．そこで本研究では，評価の階層性や階層的依存性に起因する問題について分析を行う．この分析において，検定に基づく対話システム間の性能有意差を手掛かりに，対話システムペアをグループ化した対話システムペア集合を活用する．この集合を利用した評価軸間の網羅的な分析により，階層的依存関係にある評価軸ペアを明らかにする．さらに，明らかにした評価軸ペア間の階層的依存性を解消した場合の対話システム間性能有意差の再分析を行う．実験では，DSTC9[8]とUSRデータセット[7]上での複数の対話システムへの複数の評価軸による人手評価を使って分析を行った．実験結果から，評価.軸間の階層的依存性によるバイアスは一部の対話システム間の有性能意差の有無に影響を及ぼすことが確認された．