応答内容・順序に着目した音声対話ベンチマークの構築

近年，音声対話エージェントの高度化に伴い，その性能を適切に測定するための多様な音声対話ベンチマークが提案されてきた[1,2,3]．これらのベンチマークは，音声認識精度，環境音理解，話者変動へのロバスト性，あるいは応答タイミングといった観点から，音声対話モデルの能力を定量的に比較する上で重要な役割を果たしている．一方で，音声対話は単なる音声認識や音響的ロバスト性の問題ではなく，ユーザー意図の推定，状況依存的な判断など，複数の要素が統合されて成立する複合的なタスクである．そのため，実世界で有用な音声対話エージェントを評価するには，生成された応答が文脈に照らして適切な順序で適切な内容の返答をできているかという内容的妥当性を評価することが必要不可欠である．しかし，既存の音声対話ベンチマークでは，このような内容的妥当性を体系的に評価する枠組みは十分に整備されていない．本研究では，音声対話モデルの評価で一般に扱われる音響的品質（発話の明瞭性，プロソディ，雑音耐性など）には着目せず，対話として生成される応答内容の適切性を評価するための新たなベンチマークを構築する．具体的には，音声対話モデルが生成した応答をテキストとして抽出し，その内容がユーザーの要求や対話文脈に対して意味的に適切であるかを対話行為（DialogueAct）系列の順序・要素の一致度から評価する．