感情情報で制御するFiLMベース対話破綻検出モデル

ChatGPTに代表される大規模言語モデルの発展により，人間と自然に対話できる対話システムが実現されつつある[1]．これらのシステムはテキスト応答生成では高性能である一方，発話音声に含まれるトーンやニュアンスなどのパラ言語情報を十分に考慮できていない[2,3]．そのためのモデルとして，音声を直接入力とするSpeechLanguageModel(SLM)[4]や，音声特徴を抽出するEncoder[5]が提案されている．しかし，これらのモデルが実際にパラ言語情報をどの程度活用できているかを評価するためのベンチマークは十分に整備されていない．対話の一貫性を評価する指標として，対話破綻検出は重要なベンチマークタスクである[6]．従来研究では，主にテキスト内容に基づく対話破綻が対象とされてきた．これに対し本研究では，パラ言語情報から表出する感情の不一致に起因する対話破綻を感情的対話破綻と定義し，パラ言語レベルでの対話破綻検出タスクを新たに定義する．これは，応答テキストが論理的に適切であっても，感情の乖離により対話品質が低下する現象を指す．本研究では，パラ言語情報に由来する対話のニュアンスを捉えるためのデータセットparaling-dialを構築した．同一の発話内容に対して異なる感情を付与した音声データを用い，さらに感情ラベルと応答文をランダムにシャッフルすることで，感情的対話破綻を含むベンチマークデータを作成した．このデータを用いて既存のSLM[4]による対話破綻検出実験を行ったが，性能はチャンスレベルにとどまった．この結果は，既存のSLMでは感情的対話破綻を検出する能力が十分に獲得されておらず，パラ言語情報とテキスト情報の統合方法にも課題があることを示唆している．そこで本研究では，感情ラベルがテキスト解釈を変調させる制御信号として機能するという仮定を置き，Feature-wiseLinearModulation(FiLM)[7]を用いた感情的対話破綻検出器を構築した．実験の結果，提案手法が感情的対話破綻検出タスクに有効であることを確認し，今後のSLM設計および学習に対する示唆を得た．