対話における心情記述:自然言語による機微かつ複雑な心情理解のためのベンチマーク

対話における感情認識(EmotionRecognitioninConversation;ERC)は，対話中の特定の発話における話者の感情を識別するタスクであり，人間と機械の自然で円滑なコミュニケーションを実現するために重要である．特に，共感的で人間らしい対話システムの構築には，システムがユーザの感情を正確に理解することが不可欠である．この分野の研究は過去10年間で大きく発展しており，深層学習や大規模言語モデル(LLM)の登場により，認識精度は実用レベルに近づいてきている[1]．また，現在までに数多くのベンチマークデータセットも構築されている[2,3,4]．これらは主に，離散的な感情カテゴリや感情次元にもとづくアノテーションを採用している．これらのアプローチは，データセットの定量的な分析や予測モデルの評価を容易にするという利点を有するものの，人間の1）本データセットはhttps://github.com/UEC-InabaLab/ETCDatasetで公開している発話⼼情⽂いきなり深い質問をし、相⼿は困るかなと思いつつも、⼈柄を知るために聞いてみたくなりました。信頼がないと、⼈間関係って構築できないものかなと思いますが、そうは⾔っても裏切られることもあるし、難しいですよね。恐怖⼈との関係って本当に難しいですよね。良かれと思ってした事が相⼿からすれば迷惑だっり、仲が良いと思っていたのに裏で悪⼝を⾔われていたり正解がなくて⼿探りで構築していくしかありませんよね。⾃分は⼈間関係の複雑さに⼤して深く共感し、難しい事も多いからこそ誠実に向き合って信頼関係を築くことが⼤切だと伝えたかったです悲しみ仰ることに本当に共感します。私も⾃分はそんな意図がなかったことを相⼿に悪く取られてしまい、⼀⽅的に非難された経験があります。相⼿が⾃分ごとのように捉えてコメントしてくれ、嬉しかったです喜びそれはとても⾟い経験ですね。⼀⽅的に非難されるとこちらから歩み寄ろうとしても中々話を聞いてくれなかったり信頼関係を築くのが難しくなってしまいますよね。⾃分は相⼿の⾟い経験に共感しながら、⼀⽅的に非難される状況の理不尽さに強い同情を感じました。悲しみありがとうございます。そうなんです、相⼿は職場の上司、50代の男性で。もう考え⽅のベースからして違うだろうし、仕⽅ないなと思いつつ、距離を置いてしまいました。⾟い経験だったので、温かい⾔葉を掛けていただき嬉しく思いました喜び…心情文の例．各心情文には，感情カテゴリもマルチラベルアノテーションされている．複雑で機微な感情を十分に捉えることは難しい．そこで，本研究では感情認識のための新たなタスクとして，「対話における心情記述(EmotionTranscriptioninConversation;ETC)」を提案する．従来のアプローチと異なり，本タスクは，話者の心情を自然言語で記述することに焦点を当てる．我々の提案するアプローチは，感情カテゴリや数値的な枠組みでは捉えきれない，より機微で複雑な心情を表現できることが期待される．本研究で提案するETCタスクを実現するための足掛かりとして，本研究では，発話に対応する心情文が付与された対話データセットの収集とベンチマークの確立に取り組む．まず，クラウドソーシングを通じて，日常的シナリオを想定した日本語の心情文付きテキスト対話データを収集する（図1）．次に，収集したデータセットを用いて，対話文脈からこれらの心情文を生成するモデルを開発および評価することで，ETCタスクの実Thisworkispublishedwithoutpeerreviewandislicensedbytheauthor(s)underCCBY4.0(https://creativecommons.org/licenses/by/4.0/).org/licenses/by/4.0/).対話数1,002発話数/心情文数10,020発話の平均長（文字数）42.72スピーカー44.64リスナー40.80平均心情文長（文字数）28.89スピーカー28.92リスナー28.863.3感情ラベルのアノテーション収集した心情文は，話者の複雑な心情を表現するものの，それらを定量的に分析することが困難である．そこで本研究では，収集した各心情文に感情ラベルを追加でアノテーションした．これにより，発話の背後にある感情の定量的分析だけでなく，従来のERCタスクへの適用が可能となる．我々は，従来研究[6,4,3]で広く用いられているEkmanの6基本感情[5]（喜び，悲しみ，恐怖，怒り，驚き，嫌悪）に，「該当なし」を加えた7カテゴリを採用した．また，複数の感情を含む心情文に対応するため，マルチラベル方式を採用し，いずれにも該当しない場合は「該当なし」のみを付与した．各心情文は，クラウドワークス上の異なる3人のアノテータによりアノテーションされ，先行研究[2,6]に従い多数決により最終ラベルを決定した．アノテーションされた感情ラベルの分布，およびアノテータ間の一致度は付録Aに記載する．4実験本研究で構築したデータセットがETCタスクに有用であるかを評価するため，我々はベースラインモデルを構築し，その性能を評価した．実験にあたり，データセットを訓練，検証，テストセットへ8:1:1の割合で分割した．4.1タスク定義ETCタスクでは，話者自身が記述した心情文を予測することが求められる．本タスクにおいて，モデルMには，𝑛番目の発話までの対話文脈𝐶𝑛={(𝑢1,𝑠1),(𝑢2,𝑠2),...,(𝑢𝑛,𝑠𝑛)}が与えられる．𝑢𝑖は𝑖番目の発話，𝑠𝑖はその話者を表す．本タスクの目的は，𝐶𝑛にもとづいて話者𝑠𝑛による発話𝑢𝑛の心情文𝑒𝑛を予測することである．すなわち，𝑒𝑛=M(𝐶𝑛)である．4.2モデル本研究では，実験時点での最新の対話モデルであるGPT-4.13）と，日本語に特化したオープンソースのLLMであるLlama-3.1-Swallow4）[13,14]の予測性能を調査する．両モデルとも，zero-shot学習と4-shot学習による性能を評価した．加えて，本研究で構築したデータセットでﬁne-tuningしたLlama-3.1の性能も評価した．このモデルでは，結果の頑健性を考慮し，5つの異なる乱数シードで学習したモデルの平均性能を報告する．詳細な学習設定は付録Bに記載する．4.3評価指標4.3.1従来型自動評価指標生成された心情文の品質を評価するため，語彙の重なりを測る指標であるBLEU[15]とROUGE[16]，および意味的類似度を測る指標であるBERTScore[17]の3つの従来型自動評価指標を採用した．4.3.2細粒度で解釈可能な忠実性評価指標近年，LLMを評価器として用い，人間による判断に近い結果を示す自動評価手法が提案されている[18]．しかし，「自分の感情が理解されないことへの怒りと同時に，悲しみも感じている」のような複数の要素を含む心情文に対し，単一の評価値で整合性を測ることは困難である．この課題に対処するため，我々はFActScore[19]に着想を得た，内容の忠実性をきめ細かく評価する手法を用いる．この手法は以下の2段階の処理から構成される．心情文の分割．まず，予測心情文と正解心情文のどちらか一方の心情文を，それぞれが単一の情報を含む情報単位に分割する．例えば，「自分の感情が理解されないことへの怒りと同時に，悲しみも感じている」は，「私は私の気持ちが理解されないことに怒っている」「私は私の気持ちが理解されないことが悲しい」という2つの情報単位に分割される．情報単位の支持判定．次に，分割後の各情報単位が，もう一方の心情文によって支持されるかを，支持/不支持/中立の3クラスに分類する．例えば，情報単位「私は私の気持ちが理解されないことに怒っている」は，心情文「自分の感情が理解されないことへの怒りと同時に，悲しみも感じている」に含ま3）gpt-4.1-2025-04-144）Llama-3.1-Swallow-8B-Instruct-v0.3org/licenses/by/4.0/).ModelsSettingB-1B-2B-3B-4R-1R-2R-LBSPrec.Rec.F1#Units(SD)GPT-4.1zero-shot16.897.993.93