The 29th Annual Conference of the Japanese Society for Artificial Intelligence, 2015

2L4-OS-07a-3

言語理解・生成部を備えた協調的説得対話システムの構築と評価
Construction and Evaluation of a Cooperative Persuasive Dialog Systemwith Natural Language Understanding and Natural Language Generation
平岡拓也

ニュービッググラム

サクテイサクリアニ

戸田智基

中村哲

Takuya Hiraoka

Graham Neubig

Sakriani Sakti

Tomoki Toda

Satoshi Nakamura

奈良先端科学技術大学院大学

情報科学研究科

Graduate School of Information Science, Nara Institute of Science and Technology

In this paper, we construct and evaluate a fully automated text-based cooperative persuasive dialogue system,
which is able to persuade the user to take a specific action while maintaining user satisfaction. In our previousworks, we created a dialogue management module for cooperative persuasive dialogue, but only evaluated it ina wizard-of-Oz setting, as we did not have the capacity for natural language generation and understanding. In
this work, the main technical contribution is the design of the natural language understanding (NLU) and thenatural language generation (NLG) modules which allows us to remove this bottleneck and create the first fully
automatic cooperative persuasive dialogue system. Based on this system, we performed an evaluation with realusers. Experimental results indicate that the learned policy is able to eﬀectively persuade the users: the rewardof the proposed model is much higher than baselines, and almost the same as a dialogue manager controlled by ahuman. This tendency is almost the same as our previous evaluation using a wizard-of-Oz framework demonstratingthat the proposed NLU and NLG modules are eﬀective for cooperative persuasive dialogue.

1. はじめに

5. 節では，構築したテキストベース協調的説得対話システムの評価について説明する．

これまで，我々は協調的説得対話というパラダイムを提唱してきた [1, 2]．協調的説得対話では，システムはユーザの目標だけでなく, システム自身の目標も達成するように振舞う．実社会における協調的説得対話の例として，商品販売における販売員と客の対話が挙げられる．一般的には，客は好みに合う商品を購入することを，また販売員は高い利益を得る商品を販売することを目標とするであろう．この場合，販売員は，客の好みの商品の中で出来る限り利益を得る商品を販売するように対話を進めるであろう．この販売員のように双方の目標を両立して達成するように対話を進める対話システムを協調的説得対話システムと定義する．
先行研究では，我々は協調的説得対話に強化学習を適用し，学習された協調的説得対話システムの方策を Wizard-of-Oz の枠組みに基づいて評価してきた [1]．この研究では，我々は部
分観測マルコフ決定過程 (Partially Observable Markov DecisionProcesses; POMDP) に基づいて協調的説得対話をモデル化し，そのモデルを用いてシステムの方策を強化学習した．また，協調的説得対話をモデル化する際，システムのアクションにフレーミング [3] を導入した．フレーミングは，感情極性を持った語で意思決定候補を修飾する対話行為である．言語理解部と言語生成部を人間の Wizard が担当するシステムを用いて，学習されたシステムの方策の性能評価を行った．しかし，この評価の枠組みでは，自然言語理解部と自然語生成部の性能による影響が無視されてしまう．そして，評価結果が人間の Wizardの能力に大きな影響を受けてしまう．
本稿では，言語理解部と自然言語生成部を備えた協調的説得対話システムを構築し，その性能を評価する．2. 節では，協調説得対話システムを構築する際に利用する人同士の対話コーパスついて説明する．3. 節では，協調的説得対話システムが従う方策を学習する際に用いる対話モデルについて説明する．
4. 節では，テキストベース協調的説得対話システムの自然言語理解部と自然言語生成部の構築について説明する．そして，

2.

説得対話コーパスとフレーミング

本稿では，協調的説得対話システム構築に，人同士の説得対話コーパス [4] を利用する．本コーパスは，説得対話の一例として，家電販売店でのカメラ販売における販売員（説得者）と客（被説得者）の対話を想定する．販売員は客に対して，複数のカメラ（意思決定候補）の中から特定のカメラ (説得目標)を購入（意思決定）させることを目的とする．本研究では，収録された 35 対話（340 分）の模擬対話コーパスを利用する．
コーパスには，ネガティブ/ポジティブフレーミング [3] が付与されている．これらのフレーミングでは，感情極性を持った語で意思決定候補を修飾する．具体的には，ネガティブフ
レーミングはネガティブな感情極性を，ポジティブフレーミン
グはポジティブな感情極性を持つ語で意思決定候補を修飾する．本コーパスでは，フレーミングは 3 つ組 ⟨a, p, r⟩ で表される．a は論証の対象である意思決定候補を表す． p はフレーミ
ングがネガティブの場合 NEG，ポジティブの場合 POS の値をとる．r は論証中に被説得者の嗜好に合致した決定要因（例：カメラの性能や値段）への言及が存在するかを表す．r は言及が存在する場合 TRUE，存在しない場合 FALSE の値をとる．被説得者の嗜好に合致する決定要因はアンケート結果に基づいて決定する．例えば，コーパス中の「(カメラＡは) ポケットに入る大きさで一眼並みの性能で撮っていただけるっていうことが今回のポイントなんですけれども」という販売員の発話には，⟨a = A, p = POS, r = FALSE⟩ が付与されている. なお，この例
では，アンケート結果に基づいて，客の嗜好に合致する決定要因は「カメラの値段」であると想定されている．
また，一般的な対話行為（例：質問や情報提示）として，一般目的機能（GPF）タグ [5] も付与されている．

3.

協調的説得対話のモデル化

本節では POMDP に基づいた協調的説得対話のモデル化について説明する．モデルはユーザとシステムのモデルで構成

連絡先: 平岡拓也，takuya-h@is.naist.jp

1

The 29th Annual Conference of the Japanese Society for Artificial Intelligence, 2015
されており，ユーザ (2. 節の被説得者) のシミュレーションモ
デルを 3.1 節で，またシステム (2. 節の説得者) のモデルを 3.2節でそれぞれ説明する．

表 1: 報酬計算のための特徴量
SatuserPSsys

3.1 ユーザシミュレータ
強化学習時の報酬計算のため，ユーザ（2. 節の被説得者）の以下の振る舞いのシミュレータを構築する：

N

1. ユーザの一般的な対話行為．
2. ユーザへの嗜好の通知．

Text

ユーザの一般的対話行為は GPF を用いて表わされる．また，ユーザへの嗜好の通知とは，説得者が代替案のフレーミングに引用した決定要因が被説得者の嗜好に合致することである．例
えば，表??では，販売員のカメラＡのポジティブフレーミングに “性能”が引用されている．もし，“性能”が被説得者の好みに合致 (i.e. pref=YES) する場合は嗜好の通知がされたとする．
t+1
ターン Tt+1 における，ユーザの GPF Gt+1
user と嗜好の通知 Caltはそれぞれ以下の確率に基づいて計算される．

PolicyFsys, Gsys
Text

NLG

usysttt
P(Gt+1user |Guser , Fsys , Gsys , Salt )(1)

Exampledatabase

t+1 ttP(Calt|Calt , Fsys, Gtsys , Salt )(2)

Dialogue system

図 1: 我々の協調的説得対話システムの構成．円柱はシステムのモジュールを表しており，四角はそのモジュール間でやり取りされる情報を表している．NLU は言語理解部，NLG は言語生成部，Policy は方策部を表している．
システムの信念状態は，報酬計算に用いた特徴量 (表 1) と報酬で表わされる．ただし，本研究では，システムは Calt を観測できないと仮定し，式 (2) を用いて計算された推定値を利用する．また，システムはユーザの対話行為 (i.e. GPF) も観測できないと仮定し，以下の式に基づいた推定値を利用する．

本節では，システム（2. 節の説得者）に関するモデルについて述べる．特に，強化学習を行う上で必要な情報である報酬や，システムの行動と信念状態について説明する．
ユーザの満足度（被説得者の目標の達成度合い），システムの説得成功（説得者の目標の達成度合い）と自然性を用いて報酬を設計する．1. 節で述べたような協調的説得対話システム
は，ユーザとシステム両方の目的を達成するよう対話を進めなければならない．このような対話の達成度合いを表す各ターンにおける報酬を以下のとおり定義する．

=

HGuser

Evaluator(Human)3.2 協調的な説得対話方策の学習′

NLU

uuser

t はターン T に
GtSys はターン Tt におけるシステムの GPF，FSystおけるシステムのフレーミングを表す．これらはいずれもシステムのアクションであり，3.2 節で説明する．Gtuser はターンt はターン T における嗜好の通
Tt におけるユーザの GPF，Caltt
知状態を表す．Salt は代替案の初期選択である．本研究では，ユーザが最初に嗜好に合致するとして選んだカメラである．

rt

システムの commisive（GPF の一種）の頻度システムの question（GPF の一種）の頻度
経過時間
ユーザへの嗜好の通知 Calt
ユーザの代替案の初期選択 Salt
システムとユーザの現在のターンの GPF
システムとユーザの直前のターンの GPF
システムのフレーミング

P(Gt+1user |HGuser )

=

t+1tt
∑Gtuser P(HGt+1 |Gt+1user )P(Guser |Guser )P(Guser )
user

t+1tt
∑Gt+1 ∑Gtuser P(HGt+1 |Gt+1user )P(Guser |Guser )P(Guser )user,(4)

usert
Huser
は t におけるシステムの言語理解結果（4.1 節）を表している．他の変数は式 (1) と式 (2) 中のものと同じである．
P(HGt+1|Gt+1user ) は真のユーザの GPF と言語理解結果の混同行user列を表している．なお，混同行列は，5.1 節での言語理解部のt評価の際に得られたものを利用する．また，P(Gt+1user |Guser ) は2. 節で述べられた販売員と客の対話コーパスを利用して構築される．

tt
PStsys − PSsys
Satuser− Satuser
Nt − N++, (3)Stddev(Satuser ) Stddev(PSsys ) Stddev(N)tSatuserは，[0,1] に規格化された，ターン t における５段階のユーザの満足度の主観評価値の (1: Not satisfied，3: Neutral，5: Satisfied) を表す．PStsys はターン t における説得の成功 (1:Success，0: Failure) の期待値である．Nt はターン t におけるtシステムとユーザの対話の bi-gram 尤度である．なお，Satusertと PSsys は，先行研究 [4] で得られた予測モデルに基づき，対話状態（表 1）を利用して計算される．上線付きの変数は上線なしの変数の平均を表す．また，Stddev 関数は引数の標準偏差を表す．これらの統計量は，本節で提案する対話モデルに基づく約 6000 対話（計 60000 ターン）のシミュレーションを通して計算される．
システムのアクションはフィルタリングされたフレーミングと GPF の組 ⟨Fsys , Gsys ⟩ である．これらは 2. 節で述べた販売員（説得者）の対話行為を表す．フィルタリングのために，実対話コーパスから販売員のユニグラム P(Gsales , Fsales ) を構築する．本研究では，P(Gsales , Fsales ) が 0.005 以下の ⟨Gsys , Fsys ⟩ を削除し，残った 13 個組をアクションとして利用する．

4.

テキストベース協調的説得対話システム

3. 節の対話モデルを用いて学習したシステムの方策を評価するために，テキストベースの協調的説得対話システムを構築する．構築するシステムは言語理解部，方策部と言語生成部によって構成される（図 1）．方策部は 3. 節で構築した対話モデルを用いて強化学習された方策に従う．本節では，システムの語理解部 (4.1 節) と自然言語生成部 (4.2 節) について説明する．

4.1

言語理解部

言語理解部では，統計的分類器を用いて，ユーザの入力テキ
スト uuser 中の GPF を検出する．本稿では，統計的分類器として決定木を弱分類器とする Bagging[6] を利用する．
分類器への入力は uuser とシステムの出力（usys , ⟨Gsys , Fsys ⟩）の履歴から計算される特徴量である．特徴量は主に以下の 4 種類に分類される：Uni: uuser 中のユニグラム単語頻度．

2

The 29th Annual Conference of the Japanese Society for Artificial Intelligence, 20155.

表 2: 学習データにおける GPF ラベルの分布．
Other46

Question
4

SetQuestion
12

PropQ
156

Inform260

Answer117

Directive36

Commissive63

Bi: uuser 中のバイグラム単語頻度．
′′
DAcl: 直前のシステムのアクション（⟨Gsys , Fsys ⟩）．

5.1′

言語理解結果 HGuser は，8 種類の GPF の所属確率値である．
我々は説得対話コーパス (2. 節) 中の客の 694 発話を分類器の学習データとして利用する．この学習データでは表 2 に記載されている通りに GPF ラベルが分布している．
′

言語生成部は，uuser ，usys とシステムのアクション ⟨Gsys , Fsys ⟩を入力とし，システム発話 usys を出力する．本稿では，容易にシステム発話が修正・管理出来るように，用例ベース対話管理 [7] の枠組みに基づいた言語理解部を構築する．
我々は，2. 節の説得対話コーパスを修正することで，用例データベース D = {d1 , d2 , ..., dM } を構築する．この用例データ
ベースは，i 番目のデータ di = ⟨s, u, g, f , p⟩ は話者 s，発話 u，GPF g，フレーミング f と直前のデータ p によって構成される. なお，M はデータ総数を表す．用例データベースとして，以下の修正が施された 2. 節の説得対話コーパスを用いる：

5.2

我々の用例データベースは，2022 発話（695 のシステム発話と 1327 のユーザの発話例）から構成される．
′
言語生成部は，uuser ，usys と ⟨Gsys , Fsys ⟩ から，システムの応答 usys を決定する．より具体的には，言語生成部は以下の手順に基づいてシステムの応答を決定する．

Random: システムのアクションをランダムに選択するベースライン．
NoFraming: GPF のみをシステムのアクションに用いて学習されたベースライン．この方策では，システムのアクションは，3.2 節のシステムのアクション中の，フレーミングが None のアクションのみから選択される．
Framing: 3.2 節 の モ デ ル を 用 い て 学 習 さ れ た 提 案 手 法 ．
NoFraming とは異なり，この方策では，システムのアクションは，3.2 節で定義された全てのシステムのアクションから選択される．
Human: 人間により適切なアクションが選択されるオラクル．
この研究では，一番目の著者（１年程度のカメラ販売対話の分析経験あり）がアクションの選択を行う．

1. システムの応答候補 R がユーザ入力の有無 (uuser ̸= φ ，uuser = φ ) により決定される．もし uuser ̸= φ ならば，R は直前の発話がユーザ発話 (r.p.s = User∗1 ) である発話 r の集合と定義される．そして，もし uuser = φ ならば，R は直前の発話がシステム発話 (r.p.s = Sys) である発話 r の集合と定義される．
2. システムの応答候補 R は以下の類似度を用いて評価される．
words(r.p.u) · words(uinput )(5)| words(r.p.u) | · | words(uinput ) |={uinput =′usys(uuser = φ )uuser(uuser ̸= φ ).

方策 (i.e. NoFraming and Framing) を強化学習するため，我々は Neural fitted Q Iteration (NFQ) [8] を用いる．
各方策は実ユーザとの対話における報酬と応答の正答率に基づいて評価される．報酬は 3.2 節中の報酬を指す．また，応答の正答率は，全システムの応答の中でシステムが正しく応答できた割合である．この評価では，システムは販売員約を演じ，ユーザは客役を演じて対話を行う．そして，対話の最後には，システムに与える報酬を計算するためユーザは以下の質問に回答する．

システムの応答候補中の直前の発話 r.p.u(r ∈ R) と入力された発話 uinput 間のコサイン類似度が評価に利用され′る．uinput は，uuser に応じて，usys か uuser の値が設定される．words 関数は tf-idf により重み付けられた語の頻度を返す．
3. 最も高い評価をされた r∗ .u が言語生成部の出力 usys として選択される．

r∗=arg max cos(r.p.u, uinput )=∗満足度: システムとの対話に関する５段階の主観的な満足度 (1:満足しなかった，3: どちらともいえない，5: 満足した)．
カメラの最終選択: 最終的にユーザが購入したいカメラ．
また，システムの応答の正答率を計算するため，ユーザは各システムの応答にたして，正しく返答できているかを注釈する．
評価のために，13 人のユーザそれぞれが各方策に従うシステムと１回ずつ対話を行う．
報酬に関する実験結果は図 3 に記載される．この結果から，Framing の報酬は，NoFraming と Random の報酬よりも高く，

(6)

r∈R

usysr .u.

協調的説得対話システムの全体評価

本節では，4. 節で実装した対話システムを用いて，3. 節の対話モデルに基づいて学習されたシステムの方策の評価を行う．
評価のために，以下の 4 種類の方策を用意する．

• 冗長な語 (e.g. 言い淀みや言いなおし) の削除．
• 省略された語 (e.g. 主語や述語) と文の補完．

cos(r.p.u, uinput )言語理解部の評価

4.1 節で提案した特徴量を組み合わせて言語理解部の性能評価を行う．本稿では，4 通りの特徴量の組み合わせ (Uni, Uni+DAcl,Uni+CAcl+Unicl and Uni+CAcl+Bi) を用いる言語理解部がそれぞれ構築される．そして，構築された言語理解部は，客の発話中の GPF ラベルの正答率に基づいて，評価される．この評価は，4.1 節で述べた客の 694 発話を用いた 15 分割交差検定に基づいて行われる．
実験結果 (図 2) から，Uni+CAcl+Bi を用いた言語理解部が最も高い正答率を達成したことがわかる．そのため，次節の評価では，この Uni+CAcl+Bi を用いた言語理解部を利用する．
詳細な分類誤りに注目するため，表 3 に Uni+CAcl+Bi を用いた言語理解部の分類結果に対する混同行列を示す．この行列から，Answer が Inform に，SetQ と Question が PropositionalQにそれぞれ誤って分類されていることがわかる．この結果は，構築した言語理解部では，上位・下位関係にある対話行為を弁別することが困難であることを示唆する．

Unicl: システムの直前の発話 usys 中のユニグラム単語頻度．

4.2 自然言語生成部

実験結果

本節では 2 種類の実験的評価を行う．まず最初に，予備実験として，4.1 節で構築した言語理解部の評価を行う．次に，4.
節で構築したテキストベース協調的説得対話システムの評価を行う．

(7)∗1

本稿では，“.” を変数間の所属関係を表す記号として利用する．例えば，
Var1.Var2 は「Var2 は Var1 のメンバー変数である」ことを意味する．

3The 29th Annual Conference of the Japanese Society for Artificial Intelligence, 2015
100

Accuracy [%]

8060
40
200
ChanceUni

Uni+DAcl

Uni+CAcl+Unicl

Uni+Bi+CAcl

Uni+Bi+Cacl+Unicl

図 2: 言語理解部の正答率．縦軸は正答率を表し，横軸は言語理解部が用いた特徴量セットを表している．なお，チャンスレートととして，常に Inform を出力する言語理解部の正答率も合わせて記載している．
表 3: 混同行列．各行は真の GPF ラベルの分布を表している．また，各列は言語理解部の分類結果を表している．
Other

Commissive

PropQ

DirectiveAnswer

InformSetQ

Question

436020100031123120002112654103043130400000053
900320401356
230
210000000000000000

Average value

16.
PS

0.75

SatNat0.25
0NoFraming

FramingHuman

図 3: 実ユーザにおける評価結果．エラーバーは 95%信頼区間を表している．Rew は報酬，Sat はユーザの満足度，PS はシステムの説得成功，Nat は自然性をそれぞれ示している．

Correctly response rate

結論

本稿では，テキストベース協調的説得対話システムの構築と評価について説明した．特に，システムの方策が従う対話モデル，システムの言語生成部と言語理解部の構築に焦点を当てて説明した．そして，構築したシステムを用いて，システムの方策部の評価を行った．実験結果から，学習した方策部は本稿で構築したシステムでは，人間が方策部を操作した場合と，ほぼ同等の性能を達成した．また，異なる方策部に従うシステ
ムの報酬の傾向は，我々の先行研究での報酬の傾向と類似していた [1]．
今後は，協調的説得対話システムを，ロールプレイ対話ではなく，より現実的な状況で評価を行う予定である．また，非言語情報を考慮して，システムの説得成功やユーザ満足度の予測モデルの性能を改善する予定である．

Rew

0.5

RandomOther
Commssive
PropQ
Directive
AnswerInformSetQQuestion100

参考文献

80

[1] Takuya Hiraoka, Graham Neubig, Sakriani Sakti, Tomoki
Toda, and Satoshi Nakamura, “Reinforcement learning of cooperative persuasive dialogue policies using framing,” Proceedings COLING, 2014.
[2] Takuya Hiraoka, Yuki Yamauchi, Graham Neubig, Sakriani
Sakti, Tomoki Toda, and Satoshi Nakamura, “Dialogue management for leading the conversation in persuasive dialoguesystems,” Proceedings of ASRU, 2013.
[3] Levin Irwin, Sandra L. Schneider, and Gary J. Gaeth, “Allframes are not created equal: A typology and critical analysis of framing effects,” Organizational Behavior and HumanDecision Processes 76.2, 2013.
[4] Takuya Hiraoka, Graham Neubig, Sakriani Sakti, Tomoki
Toda, and Satoshi Nakamura, “Construction and analysis of apersuasive dialogue corpus,” Proceedings of IWSDS, 2014.
[5] ISO24617-2, Language resource management-Semantic annotation frame work (SemAF), Part2: Dialogue acts. ISO,2010.
[6] Leo Breiman, “Bagging predictors,” Machine Learning, 1996.
[7] Cheongjae Lee, Sangkeun Jung, Seokhwan Kim, andGary Geunbae Lee, “Example-based dialog modeling forpractical multi-domain dialog system.,” Speech Communication, 2009.
[8] Martin Riedmiller, “Neural fitted Q iteration - first experienceswith a data efficient neural reinforcement learning method,”
Machine Learning: ECML, 2005.

60
40200Random NoFraming Framing

Human

図 4: システムの発話の正答率．

Human の報酬とほぼ同じであることがわかる．これはフレーミングを用いて学習した方策は，構築したシステムにおいて，有効であることを示唆する．また，本実験結果における各方策の報酬の傾向は，Wizard-of-Oz に基づいた実験結果 [1] と類似している．
システムの応答の正答率 (図 4) は，我々の協調的説得対話システムはユーザの入力におおよそ正しく答えていることを示唆している．Framing に従うシステムは 77%の正答率を達成している．また，Random に従うシステムでさえ約 70%の正答率を達成している．このことから，システムが利用している言語生成部 (4.2 節) では，文脈に沿った返答を生成できていることを示唆している．

4