本研究では，音声対話モデルが生成する応答内容の適切性を評価するため，対話行為に基づく音声対話ベンチマークを構築する．既存の音声対話ベンチマークは音声認識精度や音響的ロバスト性といった部分的能力に焦点を当てており，応答内容・順序を評価する枠組みは十分に整備されていなかった．本研究では，音声対話モデルの生成応答をテキストとして抽出し，対話文脈に基づく最適応答を対話行為系列として定義し評価する．その結果，音声対話モデルの性能を定量化し，最適な返答パターンとの乖離度や乖離の原因（冗長性，内容の不足など）を捉えることができた．

近年，音声対話エージェントの高度化に伴い，その性能を適切に測定するための多様な音声対話ベンチマークが提案されてきた[1,2,3]．これらのベンチマークは，音声認識精度，環境音理解，話者変動へのロバスト性，あるいは応答タイミングといった観点から，音声対話モデルの能力を定量的に比較する上で重要な役割を果たしている．一方で，音声対話は単なる音声認識や音響的ロバスト性の問題ではなく，ユーザー意図の推定，状況依存的な判断など，複数の要素が統合されて成立する複合的なタスクである．そのため，実世界で有用な音声対話エージェントを評価するには，生成された応答が文脈に照らして適切な順序で適切な内容の返答をできているかという内容的妥当性を評価することが必要不可欠である．しかし，既存の音声対話ベンチマークでは，このような内容的妥当性を体系的に評価する枠組みは十分に整備されていない．本研究では，音声対話モデルの評価で一般に扱われる音響的品質（発話の明瞭性，プロソディ，雑音耐性など）には着目せず，対話として生成される応答内容の適切性を評価するための新たなベンチマークを構築する．具体的には，音声対話モデルが生成した応答をテキストとして抽出し，その内容がユーザーの要求や対話文脈に対して意味的に適切であるかを対話行為（DialogueAct）系列の順序・要素の一致度から評価する．