人工知能学会研究会資料
SIG-SLUD-B502-23

快適度推定に基づく用例ベース対話システム
Example based Dialogue System based on Satisfaction Prediction
水上雅博 1∗

1

Lasguido Nio1 Graham Neubig1 吉野幸一郎 1
Sakriani Sakti1 戸田智基 1† 中村哲 1

奈良先端科学技術大学院大学， 情報科学研究科

Abstract: In dialogue system, dialogue modeling is one of the most important factors contributing to user satisfaction. Especially in the Example-Based Dialogue Modeling (EBDM), eﬀective
method for selecting response utterances from examples improve dialogue quality. We describe an
EBDM framework that predicts user satisfaction to select the best system response for the userfrom multiple response candidates. This framework select satisfactory response for user preference
while prediction using user feedback can be predicts user satisfaction for system responses.

1

はじめに䝴䞊䝄Ⓨヰ͗Ƌ

用例ベース対話システムは，用例データベースを用いてシステムを構築するデータ駆動型の対話システムである．用例データベースは対話コーパスに含まれる発話と応答を組にして集めることで得られ，多種多様な対話コーパスを利用した用例ベース対話システムが構築されている [1]．これらの用例ベース対話システム
においては，用例データベースからの応答選択の精度が用例ベース対話システムの品質の決定に大きな影響を与える．一方で，これまでの用例ベース対話システ
ムの応答選択においては，システムの応答はユーザ発話と用例間の類似度を測るヒューリスティクスに基づいて選択されるのみで，応答が対話中のユーザの快適度にどのような影響を与えるかは考慮していなかった．
本研究では，用例データベースの複数応答への拡張と，応答がユーザの快適度に与える影響を考慮した応答選択を持つ用例ベース対話システムを実現する．具
体的には，用例ベース対話システムのためのユーザの快適度推定手法と，それを利用した応答選択手法を対話システムに組み込む．システムは応答に対するユーザのフィードバック発話からユーザの選好を快適度系列として推定し，協調フィルタリングの技術を用いてユーザにとって快適である応答を選択する．

2

快適度推定に基づく枠組み

まず，システムの全体像を図 1 に示す．このシステム
では，対話中のユーザの反応からユーザの選好を推定∗ 連絡先：奈良先端科学技術大学院大学， 情報科学研究科〒 630-0192 奈良県生駒市高山町 8916-5
E-mail: masahiro-mi@is.naist.jp† 現在，名古屋大学，情報基盤センター勤務．

ᛂ⟅ೃ⿵㑅ᢥ  argmax sim  ,, ∈⏝౛Ğ䝁䞊䝟䝇䝅䝇䝔䝮ᛂ⟅ೃ⿵͗ƌ䝅䝇䝔䝮ᛂ⟅͗ ̂༠ㄪ䝣䜱䝹䝍䝸䞁䜾䛻ᇶ䛵䛟ᛂ⟅㑅ᢥ̂  argmax  , ∈䝴䞊䝄䝣䜱䞊䝗䝞䝑䜽Ⓨヰ͗ŵ䝣䜱䞊䝗䝞䝑䜽䛻ᑐ䛩䜛ᛌ㐺ᗘ᥎ᐃ䜰䝜䝔䞊䝍䛾ᛌ㐺ᗘ⣔ิ  ∈ 䝴䞊䝄䛾ᛌ㐺ᗘ⣔ิᛌ㐺ᗘ⣔ิ䛾᭦᪂

図 1: 快適度推定に基づく用例ベース対話システム
し，選好に合わせて快適な対話を行うことができる応答を選択する．このシステムを実現するために，システムは協調フィルタリングに基づく応答選択と，フィードバックに対する快適度推定の二つの機能を持つ．
応答選択では協調フィルタリングの技術に基づいて，対話中のユーザに対して高い快適度が期待される応答を出力する．対話において協調フィルタリングを用いたユーザ評価の推定の研究では，協調フィルタリングを用いたユーザ満足度のモデル化 [2] があげられる．これらの研究が既に終了した対話の総合的な満足度を推定するのに対して，本システムはユーザが次のシステム応答に対して感じると予測される快適度の期待値を推定する．この応答に対する快適度の期待値の推定では，対話中のユーザとアイテムの評価傾向が類似している別のユーザを学習データから探し，類似するユー
ザの評価を参考として，対話中のユーザにとっての快適度を推定する．推定された快適度を基準として応答を選択することによって，ユーザの選好を考慮した応答を出力することが可能となる [3]．
具体的には，ユーザの快適度系列が選好を表現する− 90 −䝴䞊䝄Ⓨヰ͗䝣䜱䞊䝗䝞䝑䜽͗ᑐヰ୰䛾䝴䞊䝄

表 2: 応答候補と推定快適度の一例
User Utt.
ごちそうさまでした
Predict
お腹いっぱいになった？
0.61
Candidates おいしかった？
0.43
お粗末さまでした0.07ᑐヰ䝅䝇䝔䝮

䝅䝇䝔䝮ᛂ⟅͗ϯ͘ϱ䝣䜱䞊䝗䝞䝑䜽䛻ᇶ䛵䛟ᛌ㐺ᗘ᥎ᐃ
Z
ϯ͘ϱ

͙

ϲ

͙

͙

ϯ͘ϱ

͙

3

図 2: ユーザの快適度系列の更新

対話例

表 1 に，快適度推定に基づく用例ベース対話システ
ムとユーザとの実際の対話例を，表 2 にあるユーザ発話が入力された際の応答候補と，応答に対して推定された快適度の例を示す．これらの例では，複数の応答候補からユーザにとって最も快適度が高いと推定される応答を出力している．

表 1: 提案システムによる対話の一例
User
ただいまSystem
おかえりなさい！今日もお疲れ様。
Feedback 今日も疲れたよ
User
晩御飯何食べようかな
寒いし、おでんなんかどうですか？
SystemFeedback いいね
User
ごちそうさまでしたSystem
お腹いっぱいになった？
Feedback お腹いっぱいだよ

参考文献とみなして，対話中のユーザの快適度系列と学習デー
タ中の別のユーザの快適度系列のコサイン類似度を計算して重みとする．学習データ中の別のユーザが応答r に対して与えた快適度と先述の重みを利用して，重み付き平均を計算することで，応答に期待する快適度を得る．
ここで，協調フィルタリングに基づく応答選択を行うためには，ユーザの快適度系列を推定しなければならない．本研究では，それぞれの用例に対するユーザの快適度を並べたデータを快適度系列とする．このユー
ザの快適度系列を推定するために，ユーザフィードバッ
クに基づく快適度推定を用いる．このようなユーザの快適度や満足度の推定は，対話によって得られたログやフローを分析することによって，対話の満足度を事後評価的に推定する手法が研究されてきた [4, 5]．本研
究で利用するユーザフィードバックに基づく快適度推定では，これらの研究を参考に，ユーザフィードバックの発話中の単語や単語クラスの n-gram，単語極性などを素性として，サポートベクター回帰 (Support VectorRegression; SVR) モデルを利用してユーザのフィードバック発話から用例に対する快適度を推定する．そして，推定された快適度を用いて，図 2 のように，快適度系列の当該箇所を更新し，ユーザの快適度系列を対話の経過に沿って推定する．

[1] Hiroya Murao, Nobuo Kawaguchi, Shigeki Matsubara, Yukiko Yamaguchi, and Yasuyoshi Inagaki. Example-based spoken dialogue system using WOZ system log. In Proc. SIGDIAL, pp. 140–148, 2003.
[2] Zhaojun Yang, Baichuan Li, Yi Zhu, Irwin King,Gina-Anne Levow, and Helen M. Meng. Collaborative ﬁltering model for user satisfaction prediction in spoken dialog system evaluation. In Proc.
SLT, pp. 472–477, 2010.
[3] Masahiro Mizukami, Hideaki Kizuki, Toshio Nomura, Graham Neubig, Koichiro Yoshino, Sakriani Sakti, Tomoki Toda, and Satoshi Nakamura.
Adaptive selection from multiple reponse candidates in example-based dialogue. In Proc. ASRU,Scottsdale, Arizona, USA, December 2015.
[4] Ryuichiro Higashinaka, Yasuhiro Minami, Kohji
Dohsaka, and Toyomi Meguro. Modeling user satisfaction transitions in dialogues from overall ratings. In Proc. SIGDIAL, pp. 18–27, 2010.
[5] Stefan Ultes and Wolfgang Minker. Interaction
quality estimation in spoken dialogue systems using hybrid-hmms. In Proc. SIGDIAL, p. 208–217,
2014.

− 91 −