対話行為の分布を利用した雑談対話システムの評価指標

本論文では，雑談対話システムのふるまい全体を考慮して評価を行うための新たな指標として，発話が持つ役割である対話行為の分布を利用することを提案する．人間とシステムの各発話に対話行為が付与された対話コーパスの分析から，人間は多様な対話行為を使い分けていること，また，対話相手の発話を踏まえて対話行為を決定していることがわかった．分析に基づき，対話行為のエントロピーと，発話の対話行為が，対応する応答の対話行為の決定に与える相互情報量で雑談対話システムを評価する．提案指標を様々な雑談対話システムに適用した評価実験によって，指標の妥当性が確認された．