応答内容・順序に着目した音声対話ベンチマークの構築

本研究では，音声対話モデルが生成する応答内容の適切性を評価するため，対話行為に基づく音声対話ベンチマークを構築する．既存の音声対話ベンチマークは音声認識精度や音響的ロバスト性といった部分的能力に焦点を当てており，応答内容・順序を評価する枠組みは十分に整備されていなかった．本研究では，音声対話モデルの生成応答をテキストとして抽出し，対話文脈に基づく最適応答を対話行為系列として定義し評価する．その結果，音声対話モデルの性能を定量化し，最適な返答パターンとの乖離度や乖離の原因（冗長性，内容の不足など）を捉えることができた．