情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A12
2018/3/5

オススメ度により対話シナリオを調整可能な統計的対話システム
岩田 憲治1,a)

小林 優佳1

吉田 尚水1

藤村 浩司1

赤嶺 政巳1

概要：ショッピングセンターの案内などを行う対話システムをサービスとして提供する場合，セール情報の変化などサービス内容の変化に応じて対話システムの対話シナリオをカスタマイズすることが求められる．しかし従来の音声対話システムでは，カスタマイズのためには人手による複雑な対話フローの修正や対話データの追加収集・学習が必要となる．そのため，対話システムの中身を詳しく知らない人が対話シナリオをカスタマイズするのは困難であった．本研究では，そのような人でも対話シナリオを低コストにカスタマイズ可能とする技術の実現を目標とする．提案手法では，案内候補のオススメ度を変更することにより，対話システムの性能を維持しつつ対話シナリオをカスタマイズ可能とする．この実現方法として，オススメ度に基づく報酬とユーザの満足度に基づく報酬を用いて対話シナリオの強化学習を行う．これにより，ユーザが不満に感じない程度に積極的にオススメ度の高い候補をユーザに提示する対話シナリオを構築する．本手法をショッピングセンターの店舗案内システムを用いて評価し，その有効性を確認した．

Statistical Dialogue System with Capability of Controlling
Dialogue Scenario by Degree of Recommendation
Kenji Iwata1,a)Yuka Kobayashi1

Takami Yoshida1

Hiroshi Fujimura1

Masami Akamine1

Abstract: When a dialogue system such as a guidance system of a shopping mall is deployed as a service, adialogue scenario of the dialogue system needs to be customized as a change of contents of the service such asa change of sales. However, conventional dialogue systems require a modification of complex dialogue flows
by hand or more dialogue data for the customization. Therefore, it is diﬃcult for a person who doesn’t know
details of the dialogue system to customize the dialogue scenario. In this research, we aim to realize thatsuch a person customize the dialogue scenario with low costs. Our proposed method controls the dialogue
scenario without degrading a performance of the dialogue system by changing a degree of recommendation forcandidates to provide to users. To realize this method, we exploit a reinforcement learning for the dialogue
scenario referring rewards based on the degree of recommendation and user’s satisfaction. Thus we create thedialogue scenario that the system provides the candidate with high degree of recommendation aggressively
while not making users uncomfortable. Results of experiments using a dialogue system which guides storesof a shopping mall suggest that our method works eﬀectively.

1. はじめにる [1], [2]．これらのシステムではユーザの発話から希望する条件を理解し，条件に合う候補が多い場合は絞り込みを近年，バス案内システムや旅行案内システムなど，様々行い，最終的にいくつかの候補を提示する対話が行われる．

なタスク指向型の音声対話システムの開発が行われてい従来，このような対話を行うために必要な対話シナリオは人手で作成しており，開発コストが高いという問題があっ1a)(株) 東芝 研究開発本部 研究開発センター メディア AI ラボラト
リーMedia AI Laboratory, Corporate Research & Development
Center, Research & Development Division, Toshiba Corporation
kenji4.iwata@toshiba.co.jp© 2018 Information Processing Society of Japanた．この問題を解決するため，近年，強化学習を用いて対話シナリオを対話コーパスから自動的に学習する統計的対話制御技術の研究が進められている [3]．この技術を用い

229

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A12
2018/3/5たシステムとして，レストラン案内システムやショッピン$崡崰崊‫ق‬੬ਙ਱岻峘崸崫崘峼ඞ峍峐岮峵岴૲‫ك‬のオススメ度を৹ତ

グセンター案内システムなどが開発されている [4], [5]．

オススメ度が଩岮ৃ়

オススメ度がৈ岮ৃ়崸崫崘峼େ岮峉岮崸崫崘峼େ岮峉岮ၴ਱岻峘ૹષ峼
ご希望ですか︖

ၴ਱岻峘ૹષ峼
ご希望ですか︖

実際に対話システムをサービスとして提供する際には，サービス内容の変化に応じて対話シナリオをカスタマイズすることが求められる．例えばショッピングセンターで嵎嵤崞崟崡崮嵈嵎嵤崞崟崡崮嵈੬ਙ਱岻峑は，セールの開始・終了などの変化に伴いオススメしたい店舗を変更したいなどの要望が考えられる．従来のルール岴૲峘崠嵋嵛嵓峕峎岮峐
ご希望はありますか︖

ベースや統計ベースの対話シナリオ生成手法では，カスタ崡嵅嵤崬৷ષ岵峔

マイズのために人手で複雑な対話フローの追加開発を行っ੬ਙ਱岻峑઀ં崧崌嵇嵛崘岶
૗৲;崡崰崊峔峓੯
⾒つかりました$崡崰崊岶嵎嵤崞峘ਏ஦峕়岰౜ଓ岵峳ਗ島峵

たり，システム応答が切り替わる閾値を調整したり，追加$崡崰崊峔峓੯
⾒つかりました஋ா৓峕઀ં峃峵峲岰峕峔峵岶岝
ユーザが不満に感じないようある程度絞り込んでから提⽰する

図 1 実現する対話例

で対話の事例を集めて再学習したりする必要がある．そのため，サービス運営者のような対話システムの中身を詳しく知らない人が目的に合わせてカスタマイズを実施するのは困難である．また，対話システム開発者の数も限られているため，サービス内容の変化に対話システムが即座に対応できないという問題が発生する．これまで，対話シナリオを新しいドメインに低コストで転用する研究 [6] や，対話を重ねることでユーザ個人個人に適応していく研究 [7]はあったが，対話システムの中身をよく知らない人が対話シナリオをカスタマイズ可能とするための研究は行われてこなかった．
本論文では，そのような対話システムの中身を詳しく知

図 2

ショッピングセンター店舗案内システムの画面らない人でも対話シナリオを低コストにカスタマイズする技術の一つとして，オススメ度を変更することによって，手法によりオススメ度の高い候補が提示されやすくなり，対話シナリオを調整可能な対話制御技術を提案する．ここ

また適切な報酬の重みの場合ユーザは不満に感じないことでオススメ度とは対話システムで案内する候補に付与されが確認できた．

るもので，その候補をどれだけユーザに提示したいかの度

本論文では，2 章において対話シナリオの学習フレーム合いを表すものである．例えば，ショッピングセンターのワークの概要について述べ，3 章で強化学習に用いる複数店舗案内をするシステムであれば，セールを行っている店の報酬の設計について述べる．4 章で評価実験について述

舗のオススメ度が高く設定されると考えられる．

べ，5 章でまとめる．

対話システムはオススメ度の高い候補をユーザに提示できるよう対話シナリオを変える必要がある．具体的には，

2. 対話シナリオ学習フレームワーク

候補を絞り込む対話が多くなるとオススメ度の高い候補が対話システムは発話理解，対話制御，応答生成の 3 つの無くなってしまう可能性が高くなるため，オススメ度の高モジュールで構成される．発話理解は直前のシステム応答い候補が含まれている場合は候補数が多い段階でも提示とユーザ発話文から対話状態を推定する．ここで対話状態をするように対話シナリオを変化させるのが望ましい．一とはこれまでのやり取りから分かるユーザが希望している方，ユーザから見ると，候補数が非常に多い段階で提示さ条件である．対話制御では発話理解で推定した対話状態にれると，候補全てを確認するのが困難なため煩わしいと感基づいて，システムがどのような行動をすべきかを決定すじてしまうと考えられる．そこで，対話システムとしてのる．応答生成は対話制御で決定されたシステムの行動に基性能が低下しない程度に，オススメ度の変化を反映した対づき，ユーザに伝える応答文を生成する．

話シナリオを実現する必要がある．実現したい対話例を図1 に示す．

統計的対話制御における対話シナリオの学習フレームワークを図 3 に示す．対話状態に基づきシステムの行動を前記の要求を満たす対話シナリオを実現するため，本論決定する際に用いる対話シナリオを強化学習 [8] によって文では複数の報酬に基づき強化学習を行う手法を提案す生成する．強化学習は達成したい対話のゴールを報酬としる．オススメ度に基づく報酬とユーザの満足度に基づく報て定めておくとそこまでの最適な対話の流れを自動的に学酬を設定し，その重みづけ和を強化学習で用いる報酬とす習できるため，対話シナリオの学習に適した手法であるとる．今回は図 2 のようなショッピングセンターの店舗案内言える．

を行うシステムをモチーフにして評価を行ったところ，本© 2018 Information Processing Society of Japan

ユーザの発話文には同じ意味でも様々な言い回しがある

230

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A12
2018/3/5

表 1 伝えることのできる条件

৾ಆ検索条件ৌਵ崛嵤崹崡

発話理解৅ਵધৌਵ૾ଙ਍峫 ৈ峫 ൤ৢ崌崧嵒崊嵛 崽嵔嵛崩⾏動નੳ ੼તఝ ਍峫ৌਵ਑౪ৌਵ崟崲嵒崒ਾີ૲๘'%嵎嵤崞崟嵇嵍嵔嵤崧例

店舗ジャンル

4

スポーツ用品店、レストラン...

取扱商品

18

服、文房具...

価格帯

2

高め、安め商品の対象者

5

男性、女性...

ペット入店

2可、不可

料理

41

和食、イタリアン...

キッズメニュー

2あり、なし喫煙

2可、不可ਾີঢ়ਯ

৾ಆ

図 3৾ಆ

ুೄ峕崌崧嵒崊
料理が⾷べたい੼તఝ

料理

値数増えるにつれてユーザの不満も増大していくが，ある程度対話シナリオの学習フレームワーク以上大きくなると一定の不満度に収束するという想定に基
他，曖昧性が含まれており，そのまま強化学習の入力に用いづくものである．

るのは困難である．そこで部分観測マルコフ決定過程 (Par-tially observable Markov decision process:POMDP)[3] の枠組みを導入し，ユーザの発話文を発話理解し対話状態に変換してから強化学習の入力として用いる．

3.2 オススメ度に基づく報酬
対話システムはオススメ度の高い候補を出すことを求められている．そのため，オススメ度に基づく報酬として以学習時にユーザが実際にシステムと何度もやり取りをす下の報酬関数を定義する．

るのはコストがかかるため，ユーザの振る舞いを模擬する{

ユーザシミュレータを用いている．このユーザシミュレー
タや発話理解を対話コーパスから学習しておくことで，対話シナリオも対話コーパスから学習することが可能となる．

rr =maxi∈I di(候補提示時)

0(それ以外)(3)

ここで di は候補 i のオススメ度，I はユーザの希望する条件に合う候補の集合である．システムはユーザが希望する

3. 報酬設計条件に該当する複数の候補の中で，最もオススメ度が高い
本章ではユーザの満足度に基づく報酬，オススメ度に基づく報酬，その重み付け和の設計について述べる．

ものを提示するよう動作するため，候補の中で最大のオススメ度を報酬として用いる．

3.1 ユーザの満足度に基づく報酬
ユーザの満足度に基づく報酬として，従来はユーザの希望している条件に合う候補をできるだけ早く提示して対話

3.3 報酬の重み付け和
前記の報酬関数を以下のように重み付け和したものを最終的に強化学習に用いる報酬とする．

完了するよう以下の報酬関数のみを設定していた [9]．

{ru =α(対話完了時)−β(それ以外)

rm = ru + wu ru′ + wr rr(1)

wu と wr を変化させることで，ユーザの満足度，オススメ度それぞれにどれだけ重きを置いて強化学習するかを調

ここで α と β は非負の実数である．
本論文では，上記の報酬に加え，システムが提示した候整可能である．

補の数に応じた報酬をユーザ満足度に基づく報酬として4. 評価実験設定する．これはシステムから提示された候補数が多い場
合，ユーザは候補全てを確認するのが困難なため，不満に感じるという想定に基づいており，以下の報酬関数で表さ4.1 実験条件評価に用いる対話システムとして，図 2 で示したようなショッピングセンターの店舗案内をするシステム [5] を用れる．

ru ′ =(4) − 011 + e−µ(n−ν)

いた．210 のショッピングセンターの店舗を 9 つの種類の(候補提示時)(2)(それ以外)

ここで n は提示された候補数，µ と ν は報酬 ru′ を調整す

検索条件で絞り込みながら案内するシステムとなっている．検索条件の種類を表 1 に示す．オススメ度 di は 210の店舗のうち，2 つの店舗に 1.0，4 つに 0.5，8 つに 0.25，それ以外に 0 を付与した．

るパラメータである．本報酬関数はシグモイド関数がベー

強化学習の手法には GP-SARSA[4]，入力特徴量はドスとなっている．これはある程度の候補数の時は候補数がメイン非依存特徴量 [6] を用いた．3 章で述べた報酬設© 2018 Information Processing Society of Japan231

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A12
2018/3/5



5HT1XP

6HOO&RXQW :HLJKW3DUDPHWHU ‫ݓ‬௥

図 4:HLJKW3DUDPHWHU ‫ݓ‬௥

オススメ度 1 の候補を提示した対話数

図 5

提示までに絞り込みを行った回数計を反映した対話シナリオを学習するため，ドメイン変化は見られなかった．これはオススメ度を 0.5 や 0.25 に非依存特徴量には提示する店舗の候補数，その候補の中設定した候補とオススメ度を 1.0 にした候補で扱っているで最も高いオススメ度も含む．報酬関数のパラメータは商品や価格帯などが重複しているものが多く，優先度 0.5

α = 20, β = 1, µ = 25, ν = 5 に設定した．報酬の重みはや 0.25 の候補が提示した候補の中で最もオススメ度が高

wu を 20 に固定し，wr を 0，5，10，15 と変化させて評くなることが少なかったためと考えられる．

価を行った．wr = 0 がオススメ度を考慮しないシステ

ReqNum の結果を図 5 に示す．重み wr を大きくしていム，wr = 5, 10, 15 がオススメ度を考慮するシステムに相くと ReqNum が減少していくことが分かる．wr = 15 で当する．

は大抵はユーザの最初の発話に含まれる条件を受けてすぐ発話理解とユーザシミュレータの学習に用いる対話コーに候補提示をしていることが分かる．これらの結果から，パスはクラウドソーシングで収集した．クラウドソーシン

オススメ度に基づく報酬を入れて強化学習を行うことで，グの作業者がルールベースの対話システムと対話をするこオススメ度の高い候補を積極的に提示するようになり，そとで生成した．対話コーパス内の対話状態の正解ラベルなの積極さはオススメ度に基づく報酬の重みを強くしていく

どは別途クラウドソーシングにより付与した．

ことで上がっていくことが分かる．

発話理解のモデルには LSTM(Long Short-Term Mem-ory)[10] を用い，現在のユーザの発話を理解するとともに，4.3 主観評価実験

過去にユーザが伝えた条件も記憶するよう対話コーパスかオススメ度の高い候補を積極的に提示するようになったら学習した．ユーザシミュレータには Agenda ベースの手

対話システムがユーザに許容されるか検証するため，主法 [11] を用い，あらかじめ定めたユーザゴールと直前のシ観評価実験を行った．被験者 12 名にオススメ度を考慮しステム応答に合うユーザの発話文を学習した．

ないシステム (wr = 0) とオススメ度を考慮するシステム(wr = 5 または 10 または 15) それぞれの対話をペアで見せ4.2 客観評価実験て，どちらの対話が良いかを評価してもらった．対話のペ

客観評価実験ではオススメ度の高い候補が提示されやす

アは客観評価実験の評価に用いた 1,000 回の対話から作成

くなっているか検証するため，以下の 2 つの指標で評価をした．オススメ度を考慮しないシステムと考慮するシステ行った．

ムでユーザシミュレータのゴールは同じものの，対話の進( 1 ) SellCountd : 提示した候補の中で最も高いオススメ度み方が異なっている対話をペアとした．オススメ度を考慮が d であった対話数( 2 ) ReqNum: 候補を提示するまでに絞り込みを行った回数の平均するシステムでの重み wr ごとにペアを 10 ずつ抽出し，計30 対話ペアを評価した．評価時にはどちらの対話がオススメ度を考慮するシステムかは分からないようになっていオススメ度に基づく報酬の重み wr を変化させた各システム

る．また，初めて候補の提示を行うタイミングが好ましいにおいて，初期値の異なる 5 種類の対話シナリオを 10,000かどうかを評価してもらうため，対話は候補の提示を初め回のユーザシミュレータとの対話で学習し，それぞれの対て行うところまでに限定している．実際の対話ペアを図 6

話シナリオをユーザシミュレータとの 1,000 回の対話によに示す．

り評価した．5 種類の結果の平均を取ることで SellCountdと ReqNum を求めた．

結果を図 7 に示す．wr = 5, 10 ではオススメ度を考慮した方が好ましいという結果になった．原因分析を行ったと

図 4 に SellCount1.0 (オススメ度 1.0 の候補を提示した対ころ，オススメ度を考慮したシステムの対話の方が短い話数) の結果を示す．重み wr を大きくしていくことで，ターンで候補の提示を行うことが多いこと，長いターンをSellCount1.0 の値も大きくなっていくことが分かる．一方，かけて絞り込みを行っても結局同じくらいの候補数にしかSellCount0.5 や SellCount0.25 では重み wr によって大きなならないケースがあったこと，長いターンをかけることで© 2018 Information Processing Society of Japan232

情報処理学会 インタラクション 2018
IPSJ Interaction 2018

1A12
2018/3/5

オススメ度を考慮しないシステム崧嵤嵛 崟崡崮嵈ૢ௦ 岾৷੯峼峓岰峈 ジャンルの希望はありますか︖
 価格帯の希望はありますか︖
 対象者の希望はありますか︖
 商品の希望はありますか︖
 バッグでよろしいですか︖
 ⼥性か希望なしかどちらですか︖
 希望なしかおみやげかどちらですか︖
 岣;崡崰崊岤峔峓件⾒つかりました嵎嵤崞৅ਵ崸崫崘峔岮峔岮
⼥性向け崸崫崘
峙岮
⼥性向けൌ஦峔峁

オススメ度を考慮したシステム
崟崡崮嵈ૢ௦
岾৷੯峼峓岰峈
ジャンルの希望はありますか︖
価格帯の希望はありますか︖
バッグでよろしいですか︖
岣;崡崰崊岤峔峓件⾒つかりました嵎嵤崞৅ਵ
崸崫崘
峔岮峔岮
峙岮

:HLJKW3DUDPHWHU ‫ݓ‬௥

図 6 オススメ度を考慮しないシステムとするシステムの対話のペア[2]
オススメ度を考慮峃峵崟崡崮嵈



[3]

オススメ度を考慮峁峔岮崟崡崮嵈



[4]










3UHIHUHQFH5DWLR

図 7 オススメ度を考慮するシステムとしないシステムの[5]

比較評価結果

発話理解の方で誤りが含まれる可能性が上がり，結果とし[6]て対話が冗長になってしまったこと，などが原因として挙げられた．一方，wr = 15 ではオススメ度を考慮しない方が好ましいという結果が得られた．これは，オススメ度を[7]考慮したシステムの方が候補数が非常に多い状態でも候補提示を行ってしまったためと考えられる．この結果から適切に重みを設定することで，ユーザが不満を感じることなく積極的に高いオススメ度の候補を提示することが可能に[8][9]なったと言える．

5. まとめ[10]

対話システムの中身を詳しく知らない人でも対話シナリオをカスタマイズ可能とする技術の一つとして，オススメ度を変更することで対話システムの性能を維持しつつ対話シナリオを調整可能な対話制御技術を実現した．オススメ[11]

翠輝久, 水上悦雄, 柏岡秀紀, “音声対話による観光案内システム AssisTra,” 研究報告ヒューマンコンピュータイン
タラクション (HCI), vol. 2013, no. 8, pp. 1–2, 2013.
Jason D Williams and Steve Young, “Partially observable markov decision processes for spoken dialog systems,” Computer Speech & Language, vol. 21, no. 2,pp. 393–422, 2007.
Milica Gasic and Steve Young, “Gaussian processes
for pomdp-based dialogue manager optimization,”
IEEE/ACM Transactions on Audio, Speech, and Language Processing, vol. 22, no. 1, pp. 28–40, 2014.
岩田憲治, 吉田尚水, 小林優佳, 藤村浩司, “統計的対話技術を活用したショッピングセンター案内システム,”
SIG-SLUD, vol. 5, no. 02, pp. 33–34, 2017.
Zhuoran Wang, Tsung-Hsien Wen, Pei-Hao Su, and Yannis Stylianou, “Learning domain-independent dialogue
policies via ontology parameterisation,” in 16th Annual
Meeting of the Special Interest Group on Discourse andDialogue, 2015, p. 412.
Chaitanya K Joshi, Fei Mi, and Boi Faltings, “Personalization in Goal-Oriented Dialog,” in 31st Conference on
Neural Information Processing Systems, 2017.
Richard S Sutton and Andrew G Barto, Reinforcement
learning: An introduction, MIT press Cambridge, 1998.
Blaise Thomson and Steve Young, “Bayesian update ofdialogue state: A pomdp framework for spoken dialoguesystems,” Computer Speech & Language, vol. 24, no. 4,pp. 562–588, 2010.
Sepp Hochreiter and Jürgen Schmidhuber, “Long shortterm memory,” Neural computation, vol. 9, no. 8, pp.
1735–1780, 1997.
Jost Schatzmann, Blaise Thomson, and Steve Young,“Statistical user simulation with a hidden agenda,” Proc
SIGDial, Antwerp, vol. 273282, no. 9, 2007.

度に基づく報酬とユーザ満足度に基づく報酬を適切なバランスで重み付け和を取り，対話シナリオの強化学習をすることで，ユーザが不満に感じない程度に積極的にオススメ度の高い候補を提示する対話システムとなることが確認できた．今後は，実際のユーザで今回のシステムの性能評価を行っていく．また，対話シナリオをカスタマイズ可能とする技術として本手法以外の検討も進める．

参考文献
[1]

Antoine Raux, Brian Langner, Alan W Black, and Maxine Eskenazi, “Let’s go: Improving spoken dialog systems
for the elderly and non-natives,” in in Eurospeech03.
Citeseer, 2003.

© 2018 Information Processing Society of Japan

233