パラ言語情報に着目したSpeech-to-Text対話ベンチマークデータセットの提案

人の発話が持つ細かな意図やニュアンスを汲み取ることは，今後の音声対話システムが持つべき重要な機能である．人の発話には言語的情報以外に韻律，発話速度，声量などのパラ言語情報が含まれ[1]，人は会話においてこれらの要素を巧みに操作しながら対話の細かいニュアンスを相手に伝達している．言い換えれば，発話文が同じでも，付与されているパラ言語情報が異なれば発話意図が変化する場合がある．既存の音声対話システムは音声認識システムを大規模言語モデル（LargeLanguageModel;LLM）などの対話モデルと接続することによって実現される．この際，ユーザー発話を音声から対話モデルの入力に適するテキストへと変換する段階で，これらパラ言語情報は失われてしまう．こうしたパラ言語情報を補完する目的で，音声をテキスト化せず離散的な整数列や埋め込み表現に変換するアプローチ（Speech-to-Text対話システム）が存在する[2,3,4]．ただし，これらの枠組みで実際にどのようなパラ言語情報に含まれる意図がシステム応答に反映されたのかは明確ではない．パラ言語情報に含まれる考慮するべき情報の代表として感情ラベルがある．既存の音声対話データセットにも感情ラベルが付与されたものは存在する[5,6,7]．ただし，Speech-to-Text対話システムが持つパラ言語情報の処理能力を調査したい場合，言語的情報を固定した上で，パラ言語情報を変化させた場合にどうなるか確認できることが望ましい．これらの問題を解決するために，本研究では全く新しい，パラ言語情報に着目したSpeech-to-Text対話ベンチマークである「paraling-data」を提案する．具体的には，全く同じ発話文（言語的情報）に対して異なる五つの感情を載せた音声を収録し，それらに対して感情情報も考慮したような応答を出力するタスクを設定する．本研究の貢献は以下の通りである．•同じ発話文に異なるパラ言語情報を付与した発話とそれに対する応答を収集したデータセット「paraling-data」の構築•テキスト対話システムとSpeech-to-Text対話システムで生成された応答を比較し，パラ言語情報が応答に与える影響を調査