ユーザ発話を用いたシステム応答に対する不満検出

大規模言語モデル（LLM）は，ChatGPT1）をはじめとしたチャット形式のコミュニケーションを通じて様々な用途に活用されており[1]，モデルが生成する応答を適切に評価することに加え，ユーザの嗜好を考慮した評価の重要性が高まっている．先行研究では，システム応答の内容自体に着目した評価手法が広く用いられている[2,3,4]．一方で，高度な文脈理解による一貫した応答生成が可能となったことを背景に[5]，ユーザの意図や目的，嗜好などを考慮し，応答内容だけでなくユーザ発話に着目する試みが活発化している．実際に，ユーザ発話から推定した感情を用いることでシステム応答を評価する手法が提案されている[6]．不満などのユーザの負の感情は，応答が期待に沿っていないことの兆候となり得ると考えられるため，その時点で検知できれば，応答方針の修正による利用体験の向上やユーザに合わせた応答生成に寄与する可能性がある[7]．ユーザの感情を発話から推定する既存研究では，ユーザ本人ではないアノテータが付与した正解ラベルを用いて性能評価を行うことが多い[8,9,10]．しかしながら，第三者がテキスト情報から知覚する感情は，実際のユーザ心理と必ずしも一致しない可能性が考えられる[11]．したがって，まずはユーザの1）https://openai.com/chatgptIapologizefortheconfusion.Imisunderstoodyourquestion.Here’sashorterwaytowritearray.map...[以下略]𝑠!"#𝑢!It’slongerthantheoriginal.𝑢!Ok,thankyou.不満ユーザ感情非不満=二値分類結果ユーザ感情≠二値分類結果不満不満表出が見られない例表出が見られる例ユーザ発話（該当発話に対する反応）から検出できるか？感情がテキスト上にどの程度観測可能な形で表れているかを明らかにする必要がある．そこで本研究では，感情表出を「ユーザの感情が発話テキストを通して顕在化したもの」と定義し，ユーザの不満に関する感情表出が検出できるかを検証する．具体的には，図1に示すように，ユーザ発話に対して本人が付与した不満ラベルを正解とした二値分類を行う．実験の結果，一定の割合で不満が正しく検出され，ユーザの抱く不満感情が発話テキストに一部表出している可能性が確認された．一方で，発話テキストのみからは不満感情を捉えにくい事例も見られた．