対話行為の分布を利用した雑談対話システムの評価指標

現在の雑談対話システムの評価方法は課題が残ったまま利用されている．評価は人手評価と自動評価に分けることができ，人手評価はクラウドソーシングによるもの，自動評価はBLEU[1]，Distinct[2]などの指標によるものが一般的である．さらに近年では，BERT[3]などの事前学習モデルを人手評価データでFine-tuningしたモデルが提案されている[4,5]．既存の評価指標の多くは，雑談対話システムの1ターンや1対話の応答を評価するものである．このような評価指標はシステムのふるまい全体を見ていないため，決まった数パターンの応答しか返すことができないシステムを高く評価することがある．また，Distinctはふるまい全体を評価する指標だが，表面的な語彙の多様性をはかるだけである．本論文では，既存手法の問題点に鑑み，雑談対話システムのふるまい全体を見て，Distinctよりも適切に，システムを評価することのできる評価指標を提案する．新たな評価指標は，対話における各発話の役割を表す対話行為[6]の分布に注目したものである．指標の考案のためまず，人間とシステムの発話に対話行為が付与された対話コーパスを構築し，分析を行う．コーパスの分析により，システムと比べて人間は対話行為を多様に使い分けていること，また，対話相手の発言を踏まえて，対話行為を決定していることがわかった．分析に基づき，対話行為の多様性を表すエントロピー(DAE)1）と，どれだけ相手の発言の対話行為を考慮しているかを表す相互情報量(DAMI)2）に注目することで，システムを評価することを提案する．DAEはDistinctとは異なり，おうむ返しばかりをするシステムに低いスコアを与える．DAMIは応答だけでなく，その直前の発話にも注目したもので，対話の評価としてDistinctよりも適切であると考えられる．DAE，DAMIの算出には発話に対話行為を付与することが必要だが，付与方法として，人手付与と対話行為分類モデルによる自動付与の両方を検討する．提案指標の妥当性検証のため，様々な雑談対話システムに対して，提案指標を算出する実験を行った．実験から，提案指標のDAE，DAMIが対話システムの性能を反映した指標であることがわかった．