音声対話では，同一の発話でも含まれるパラ言語情報によりニュアンスが変化し，不適切な応答は対話破綻を招く．本研究は，パラ言語情報から表出する感情に起因する感情的対話破綻の検出を目的とする．五つの感情を付与した発話と対応応答からなるparaling-dialを用い，発話感情と応答内容の不整合を判定するタスクを設定した．感情をテキスト意味を変調する制御信号とみなし，Feature-wiseLinearModulation(FiLM)を導入した結果，精度89.5%を達成した．さらに，制御信号としては抽象度の高い感情ラベルが最も有効であることが示された．本研究は，感情的対話破綻検出におけるFiLMの有用性と，制御信号設計における抽象度の重要性を示す．

ChatGPTに代表される大規模言語モデルの発展により，人間と自然に対話できる対話システムが実現されつつある[1]．これらのシステムはテキスト応答生成では高性能である一方，発話音声に含まれるトーンやニュアンスなどのパラ言語情報を十分に考慮できていない[2,3]．そのためのモデルとして，音声を直接入力とするSpeechLanguageModel(SLM)[4]や，音声特徴を抽出するEncoder[5]が提案されている．しかし，これらのモデルが実際にパラ言語情報をどの程度活用できているかを評価するためのベンチマークは十分に整備されていない．対話の一貫性を評価する指標として，対話破綻検出は重要なベンチマークタスクである[6]．従来研究では，主にテキスト内容に基づく対話破綻が対象とされてきた．これに対し本研究では，パラ言語情報から表出する感情の不一致に起因する対話破綻を感情的対話破綻と定義し，パラ言語レベルでの対話破綻検出タスクを新たに定義する．これは，応答テキストが論理的に適切であっても，感情の乖離により対話品質が低下する現象を指す．本研究では，パラ言語情報に由来する対話のニュアンスを捉えるためのデータセットparaling-dialを構築した．同一の発話内容に対して異なる感情を付与した音声データを用い，さらに感情ラベルと応答文をランダムにシャッフルすることで，感情的対話破綻を含むベンチマークデータを作成した．このデータを用いて既存のSLM[4]による対話破綻検出実験を行ったが，性能はチャンスレベルにとどまった．この結果は，既存のSLMでは感情的対話破綻を検出する能力が十分に獲得されておらず，パラ言語情報とテキスト情報の統合方法にも課題があることを示唆している．そこで本研究では，感情ラベルがテキスト解釈を変調させる制御信号として機能するという仮定を置き，Feature-wiseLinearModulation(FiLM)[7]を用いた感情的対話破綻検出器を構築した．実験の結果，提案手法が感情的対話破綻検出タスクに有効であることを確認し，今後のSLM設計および学習に対する示唆を得た．