発話意図の再構築による制約を利用する条件付き応答生成モデル
A conditional response generation model with intention reconstruction as a constraint隆辻 秀和 ∗1∗2

Hidekazu Takatsuji∗1吉野 幸一郎 ∗1∗2
Koichiro Yoshino

奈良先端科学技術大学院大学

NARA Institute of Science and Technology∗2

須藤 克仁 ∗1∗2
Katsuhito Sudoh中村 哲 ∗1∗2

Satoshi Nakamura

理化学研究所 革新知能統合研究センター

RIKEN Center for Advanced Intelligence Project (AIP)

Language generation is a task to generate sentences corresponding to a given intention. Existing researches ofneural language generation models gave the intention to encoder; however, there was no strong constraint to containthe intention in generation results. In this research, we propose a learning method for the language generation
system to ensure the generated sentence contains the given intention. We evaluated the effect of the proposed
method in both automatic and human subjective evaluation.

1. はじめに変換を組み合わせる学習手法は機械翻訳や条件付き言語生成を中心に提案されている．機械翻訳では，原言語文から目標言語文への翻訳と目標言語文から原言語文への逆翻訳を組み合わせることで，目標言語文における流暢性を向上させる研究が行われている [Cheng 16]．条件付き言語生成では，意味表現からの自然文の生成と自然文からの意味理解を組み合わせることで，生成文の情報反映について改善を図る取り組みがなされている [Su 19, Qader 19]．

対話システムは自然言語をインターフェイスとして，人間と情報をやり取りするシステムである．対話システムと利用者の間で対話が成立するためには，対話システムは利用者の発話意図を理解し，自身の意図を決定した上で適切な応答文を生成しなければならない．観光情報案内などのタスクを実現する対話システムでは，システムが利用者に対して情報を提供するために，利用者の意図に応じて適切な情報を含んだ応答生成を実現する必要がある．
ニューラルネットワークを用いた応答生成において，条件に応じた応答文を生成する研究は多く行われている．これらの研究では，応答文が提供する情報についてアノテーション済みのコーパスを利用し，生成モデルは正解となる
応答文とモデルの生成文の出現単語を比較する目的関数を元に学習する．一方，生成文が適切に情報を含んでいるかという観点に基づいた目的関数は利用されておらず，モデルが与えられた情報を適切に反映することについて保証するような学習法ではない．
本研究では，生成文に対して言語理解を適用することによって，コーパスにアノテーションされている情報を再構築することができるかという観点に着目した目的関数を導入し，従来の目的関数と組み合わせて条件付き応答生成モデルを学習する手法を提案する．
提案手法について一般的な条件付き応答生成モデルとの比較実験を行い，その効果について検討する．

2.

3.

条件付き応答生成モデル

本研究で取り扱う条件付き応答生成はクエリ文 𝒒 =(𝑞1 , 𝑞2 , … , 𝑞𝑁 ) と応答文が提供する情報の Slot-Value 形式による表現 ℛ = {(𝑘1 , 𝑣1 ), (𝑘2 , 𝑣2 ), … , (𝑘|ℛ| , 𝑣|ℛ| )} からこの二つの情報双方に対して適切な応答文 𝒓 = (𝑟1 , 𝑟2 , … , 𝑟𝑀 ) を生成するタスクである．
本研究では Recurrent Neural Network(RNN) によるエンコーダ―デコーダモデル [Vinyals 15] によって条件付き応答生成を実現する．RNN のユニットは Long Short-Term Memory(LSTM) を用いる．クエリ文のエンコードには双方向 RNNを利用し，各ステップの計算は式 (1) 及び式 (2) となる．

関連研究ℎ⃗ 𝑒𝑛𝑐= LSTM(ℎ⃗ 𝑒𝑛𝑐
𝑡𝑡−1 , 𝑞𝑡 )(1)ℎ⃖ 𝑒𝑛𝑐= LSTM(ℎ⃖ 𝑒𝑛𝑐𝑡𝑡+1 , 𝑞𝑡 )(2)

条件のエンコードは単方向 RNN を利用し，初期状態としてク⃖ 𝑒𝑛𝑐
エリ文をエンコードしたベクトル [ℎ⃗ 𝑒𝑛𝑐
𝑁 ; ℎ0 ] を利用すること
でクエリ文と条件の両方を表現したベクトルを計算する．各ス
テップの計算は式 (3) となる．条件は Slot-Value 形式で与えられるが，Slot 名 𝑘𝑖 のみを応答生成の条件として利用する．

ニューラルネットワークを用いた条件付き応答生成に関する研究は幅広く行われている．Eric ら [Eric 17] は Seq2Seq モデ
ルのエンコーダに対して，それまでの対話履歴と共にこのターンで生成すべきスロットについての情報を与えることで，条件付き応答生成の品質を改善する手法を提案している．また，Madottoら [Madotto 18] では Memory Network [Sukhbaatar 15] を系列予測可能なモデルとすることで，条件付き応答生成の流暢性と情報反映の双方について改善した結果を報告している．
言語生成モデルを改善するアプローチとして，入力となる文や情報から出力となる文や情報を予測する変換問題と，その逆

𝑒𝑛𝑐
ℎ𝑒𝑛𝑐
𝑁+𝑡 = LSTM(ℎ𝑁+𝑡−1 , 𝑘𝑡 )(3)

エンコーダの各ステップに対応する隠れ状態は式 (4) によって表される．

ℎ𝑒𝑛𝑐
={𝑖

連絡先: 吉野幸一郎, 奈良先端科学技術大学院大学 先端科学技術研究科 情報科学領域, 奈良県生駒市高山町 8916-5,
koichiro@is.naist.jp⃖ 𝑒𝑛𝑐[ℎ⃗ 𝑒𝑛𝑐𝑖 ; ℎ𝑖 ] if 𝑖 ≤ 𝑁ℎ𝑒𝑛𝑐
𝑖otherwise(4)

デコーダでは Luong らによって提案された注意機構 [Luong 15]
によってクエリ文の隠れ状態と条件の隠れ状態にまたがって注1

query表 1: 実験で利用する各コーパスの概要

generator

condition

predict
response
predict
condition

targetresponse

predictor

図 1: 提案手法の概要図
意スコアを計算し，注意スコアによって計算されるコンテキス
ト 𝑐𝑡 も用いて生成単語を予測する．式中の 𝑊∗ は学習可能なパラメータである．

ℎ𝑑𝑒𝑐= LSTM(ℎ𝑑𝑒𝑐̃ )𝑡𝑡−1 , 𝑟𝑡−1

(5)
(6)

𝑖=1
𝑒𝑛𝑐
score(ℎ𝑑𝑒𝑐𝑡 , ℎ𝑖 )𝛼𝑖 =𝑑𝑒𝑐∑𝑗 score(ℎ𝑡 , ℎ𝑒𝑛𝑐𝑗 )
𝑒𝑛𝑐
𝑑𝑒𝑐
𝑒𝑛𝑐
score(ℎ𝑑𝑒𝑐𝑡 , ℎ𝑖 ) = 𝑊𝑠 [ℎ𝑡 ; ℎ𝑖 ]

(7)

4.2

(9)

̃ , 𝒒, ℛ) = softmax(𝑊𝑜 ℎ̃ 𝑑𝑒𝑐 )𝑃 (𝑟𝑡̃ ∣ 𝒓<𝑡(10)MultiWOZ# of Dialogues
Total Dialogue Turns# of Slots# of Values

3,235
25,5018
221

10,43871,52425
4,510

𝜋 = 𝑃 (𝑟𝑡̃ ∣ 𝒒, ℛ)(13)𝑟𝑡̃ = softmax ((log(𝜋) + 𝑔)/𝜏)(14)

𝑔𝑖 = − log (− log(𝑢𝑖 ))(15)

𝑢𝑖 ∼ Uniform(0, 1)

(16)

目的関数

提案手法における学習時の目的関数は条件付き応答生成モ
デルについて計算される損失 ℒ𝑔𝑒𝑛 と，再構築モデルについて(8)ℎ̃ 𝑑𝑒𝑐= tanh (𝑊𝑐 [𝑐𝑡 ; ℎ𝑑𝑒𝑐𝑡𝑡 ])DSTC2計算される分布の形状を変化させるパラメータである．

𝑁+|ℛ|

𝑐𝑡 = ∑ 𝛼𝑖 ℎ𝑒𝑛𝑐𝑖Metrics

計算される損失 ℒ𝑟𝑒𝑐 の重み付き線形和とする．訓練データの集合を 𝒟 とすると目的関数は式 (19) となる．
|𝒟|

4.

ℒ𝑔𝑒𝑛 = − ∑ log 𝑃 (𝒓(𝑖) ∣ 𝒒(𝑖) , ℛ(𝑖) )提案手法

本研究の提案手法の概要を図 1 に示す．提案手法では，条件付き応答生成モデルの生成結果から生成文が含む情報を予測するモデルを導入し，条件付き応答生成モデルの学習時に同時に最適化することで生成文に対する制約とする．

4.1

(17)

𝑖=1
|𝒟| |ℛ(𝑖) |ℒ𝑟𝑒𝑐 = − ∑ ∑ log 𝑃𝑟𝑒𝑐 (𝑘𝑗 ∣ ℛ<𝑗 , 𝑠)(18)

𝑖=1 𝑗=1ℒ = ℒ𝑔𝑒𝑛 + 𝛼ℒ𝑟𝑒𝑐

再構築モデル5.

再構築モデルは生成文のベクトル表現 𝑠 を初期状態として利用し，文の意味表現を系列であるとみなして LSTM を用いた RNN によって予測する．各ステップの計算は式 (11) となる．エンコード時と同様に生成文が含む情報の Slot 名を予測する．

(19)

評価実験

̃ℎ𝑟𝑒𝑐= LSTM(ℎ𝑟𝑒𝑐𝑡𝑡−1 , 𝑘𝑡−1 )(11)

提案手法による影響を確認するために，応答文の発話内容がSlot-Value 形式でアノテートされているコーパスを利用して文生成を行い，生成結果に対して自動評価尺度及び主観評価による評価を実施した．実験では条件付き応答生成モデルのみのモデルをベースラインとして，提案手法との間で評価尺度に基づく生成結果の比較を行った．

𝑃𝑟𝑒𝑐 (𝑘𝑡 ∣ ℛ̃<𝑡 , 𝑠) = softmax(𝑊𝑜ℛ ℎ𝑟𝑒𝑐𝑡 )(12)

5.1 実験コーパスと前処理実験では，応答文の発話内容が Slot-Value 形式でアノテートされているコーパスとして DSTC2 コーパス [Henderson 14]と MultiWOZ コーパス [Eric 19] を利用した．表 1 に各コーパスの情報を示す．
DSTC2 コーパスはレストランガイドシステムとの音声対話を書き起こした対話を収録したコーパスであり，システムとユーザーの発話文に対して Slot-Value 形式で発話内容がアノテートされている．MultiWOZ コーパスは Wizard-of-Oz フ
レームワークによって収集されたガイドシステムと利用者の対話を収録したコーパスである．このコーパスではクラウドワーカーがシステム側と利用者側それぞれに割り当てられ，決められたタスクを達成するように対話を行っている．DSTC2 コー
パスと異なり，このコーパスは複数のドメインにまたがった対話を収録しており，より複雑な文生成が求められる．
実験にあたっては各コーパスをそれぞれ配布時の設定に従って訓練/開発/テストセットへと分割して利用した．また，
nltk∗1を利用して各発話文を正規化した上でモデルの学習に利用した．

生成文のベクトル表現を計算する手法として本研究では二つの手法を利用した．一つはデコーダの最終状態におけるベクトル表現 ℎ𝑑𝑒𝑐
𝑀 を 𝑠 として利用する手法 (手法 1)，もう一つは生成文に対する新たなエンコーダを導入しそれによって 𝑠 を計算する手法 (手法 2) である．
手法 2 では，条件付き応答生成モデルと同様に双方向 RNNによるエンコーダで 𝑠 を計算する．エンコーダに対する入力は生成文の各単語となるが，条件付き応答生成モデルが argmaxを用いて単語生成を行う場合，𝑠 についての損失が言語生成部に伝播されない問題が生じる．この問題を回避するために，学習時にデコーダから各単語を生成するにあたって GumbelSoftmax[Jang 17] による微分可能なサンプリングを利用する．
Gumbel Softmax におけるサンプリングではデコーダが各ステップで生成する単語 𝑟𝑡̃ は式 (14) で計算される．式 (14) 内の 𝜏 は温度パラメータと呼ばれ，Gumbel Softmax によって

∗1 http://www.nltk.org2表 2: 自動評価尺度による結果

methodbaselinemethod1
method2

BLEU

DSTC2
Ent.F1 Accuracy

BLEU

55.42
50.85
53.72

69.15
69.85
68.83

15.98
16.40
16.83

99.78
97.46

MultiWOZ
Ent.F1 Accuracy
3.60
3.72
3.74

97.86
78.39

表 3: 条件付き生成として見た場合の主観評価結果

methodDSTC2Informativeness Naturalness

baselinemethod1
method2

5.2

3.902
3.962
3.960

3.122
3.272
3.136

4.386
4.370
4.378

訓練設定

4.318
4.318
4.274

表 4: 応答生成として見た場合の主観評価結果

それぞれの手法によるモデルの学習では 4.2 節に示した目的関数を利用した．ベースライン手法では目的関数を ℒ𝑔𝑒𝑛 のみとし，提案手法では重みパラメータ 𝛼 は 1.0 固定とした．手法
2 における Gumbel Softmax の温度パラメータ 𝜏 は 0.1 とした．学習法は Adam[Kingma 15] を利用し，モデルのパラメー
タは，語彙サイズを DSTC2 では 739，MultiWOZ では 3,976に，LSTM の隠れ層サイズを 256，エンコーダの双方向 RNNにおける層数を 2 とした．また，学習時の勾配爆発を抑制するために Gradient Clipping を 5 に設定して学習した．

5.3

MultiWOZ
Informativeness Naturalness

6.

methodDSTC2MultiWOZ

baselinemethod1
method2

3.360
3.410
3.442

3.824
3.926
3.790

実験結果

はじめに，表 2 に自動評価尺度における評価結果を示す．
DSTC2 における結果からは，BLEU がベースラインに比べて低下し，Entity.F1 に関しても手法によってはベースラインよりも低下するということが読み取れる．一方で，MultiWOZの結果からは BLEU と Entity.F1 ともにベースラインに比べて提案手法が若干上回る結果となり，コーパスによって傾向が異なる結果となった．この結果から，自動評価では提案手法が目的を満たすような手法であると結論付けることはできない．
次に主観評価における結果を表 3 及び表 4 に示す．まず，
表 3 に示す条件付き言語生成としての評価結果からは，DSTC2において二つの提案手法のスコアがベースラインをやや上回るという結果となった．また，提案手法間で比較を行うと，手法 1 が手法 2 に比べて条件付き言語生成としては高いスコアを得ていることがわかる．一方，MultiWOZ を用いた結果では提案手法はベースラインに比べてやや悪いか同等という結果となった．表 4 に示す応答生成としてみた場合の評価結果からは，どちらのコーパスを用いた場合でも手法 1 はベースラインに比べて高いスコアを得た一方で，手法 2 は DSTC2 ではベースラインをやや上回るが MultiWOZ ではベースラインをやや下回るという結果になった．
二つの結果からは，目的としていた生成文に対する情報反映の改善という点において，提案手法の優位性は確認できなかった．また，主観評価の結果からは，手法 1 において応答生成としての品質が改善されていることが示唆されているが，ベースラインからの差は非常に小さく，生成結果に対する制約として効果的かは不明確である．

評価尺度

提案手法による生成文への効果を確認するために，自動評価尺度を用いた評価と主観評価によって各手法による生成文の評価を実施した．自動評価尺度は，BLEU[Papineni 02] とEntity.F1[Eric 17] を利用した．
BLEU は 𝑛-gram 一致度に基づく機械翻訳の評価尺度であり，応答生成システムの研究においても広く利用されている．
これによって，モデルがコーパスにおける応答生成のパターンを正しく学習しているかどうかを評価することができる．本研
究では mteval∗2 を用いて BLEU の計算を行った．Entity.F1
はいくつかの先行研究 [Eric 17, Madotto 18] で用いられている条件付き応答生成の評価尺度であり，生成文中に条件として指定された情報の値が含まれているかについてテストセット全体で micro-average F1 を計算するという尺度である．これによって，生成文が情報を反映することが出来ているかを評価することができる．提案手法では，生成時に与えられた情報について予測を行うため，この予測精度についても計算した．
また，提案手法によって生成文の品質が改善されているかを確認するためにクラウドソーシングを用いて主観評価を実施した．評価基準として，条件付き言語生成として見た場合の情報反映について及び文の自然性，また応答生成として見た場合の文の自然性の三つの基準を設定し，それぞれについて評価を実施した．主観評価では，各事例に対して 3 名の評価者を割り当て，評価基準について 5 段階で評価を行うように教示し，各事例のスコアは 3 名の評価者によって与えられたスコアの中央値を採用した．

7.

考察

実験結果から，ベースラインと提案手法では主観評価のスコアにおいてやや差が見られた．この差異が生成品質が改善したことを示すものであるかを確認するために，それぞれのコーパ∗2 https://github.com/odashi/mteval3表 5: DSTC2 コーパスを用いた生成結果で主観評価においてベースラインが各提案手法を上回った例

query
condition

the river bar steakhouse and grill serves modern european food(slot,phone)baselinemethod1
method2phone
phone number
phone number

表 6: MultiWOZ コーパスを用いた生成結果で主観評価において各提案手法がベースラインを上回った例

query
condition

i would like to arrive by 20:45 and leave on a monday . it will also be for only myself .

baselinemethod1
method2i have a train on monday that arrives at 19:58 .

(train-Day,monday),(train-Arrive,19:58)
i have a train on monday that arrives at 19:58 and will arrive by <train-Arrive>. would you like me to book that for you ?
i have a train that arrives at 19:58 on monday .

[Eric 19] Eric, M., Goel, R., Paul, S., Sethi, A., Agarwal, S.,
Gao, S., and Hakkani-TÃ¼r, D.: MultiWOZ 2.1: Multi-domain
dialogue state corrections and state tracking baselines, CoRR, Vol.
abs/1907.01669, (2019)

スを用いた生成結果の中で提案手法のスコアがベースラインを上回ったものについて，その生成結果を検討した．表 5 にDSTC2 コーパスを用いた実験における生成結果を，表 6 にMultiWOZ コーパスを用いた実験における生成結果を示す．
表 5 の生成結果からは，ベースラインにおける生成結果に比べて提案手法による生成結果は欠けている情報が補完されており，やや情報反映という点でよくなっていると見ることができる．一方で，表 6 の生成結果からは，ベースラインと提案手法の間で生成結果が含む情報は大きく変わらず，手法 1 による生成結果は不要な情報を生成している点が見て取れる．

8.

[Henderson 14] Henderson, M., Thomson, B., and Williams, J. D.:
The Second Dialog State Tracking Challenge, in Proceedings ofthe 15th Annual Meeting of the Special Interest Group on Discourse and Dialogue (SIGDIAL), pp. 263–272, Association for
Computational Linguistics (2014)[Jang 17] Jang, E., Gu, S., and Poole, B.: Categorical reparameterization with gumbel-softmax, in Proceedings of the 5th International Conference on Learning Representation (ICLR) (2017)[Kingma 15] Kingma, D. P. and Ba, J.: Adam: A Method for
Stochastic Optimization, in Proceedings of the 3rd International
Conference on Learning Representations (ICLR) (2015)

まとめ[Luong 15] Luong, M.-T., Pham, H., and Manning, C. D.: Effective
Approaches to Attention-based Neural Machine Translation, inProceedings of the 2015 Conference on Empirical Methods in
Natural Language Processing, pp. 1412–1421 (2015)

本研究では条件付き応答生成モデルにおける情報反映についての品質改善を目的として，生成結果から与えられた情報を予測する再構築モデルとそれによって計算される損失の値を用いた学習手法について提案した．提案手法による効果を確認するために，特徴の異なる二つのコーパスを利用した生成を行い，生成結果について自動評価尺度と主観評価に基づく評価を実施した．
二つの評価結果から，提案手法による生成結果はベースラインによる生成結果と同等であり，目的であった情報反映の観点で見た際に改善が見られるということは明確に言えなかった．
自動評価尺度を用いた評価から，提案手法は期待通りに動作していることを示唆する結果が得られているが，これは生成結果に対する改善につながっていない．また，主観評価による結果からは，ベースラインをやや上回る評価を得ている事例もある
が，ほぼ同等であり，スコアの差が誤差に過ぎないことが示唆された．実際に，ベースラインと提案手法においてスコアの差が大きくなった生成例を確認しても，改善されたという結果は得られなかった．

[Madotto 18] Madotto, A., Wu, C.-S., and Fung, P.: Mem2Seq: Effectively Incorporating Knowledge Bases into End-to-End TaskOriented Dialog Systems, in Proceedings of the 56th Annual Meeting of the Association for Computational Linguistics, Vol. 1, pp.
1468–1478, Association for Computational Linguistics (2018)[Papineni 02] Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J.:
BLEU: A Method for Automatic Evaluation of Machine Translation, in Proceedings of the 40th Annual Meeting on Associationfor Computational Linguistics, pp. 311–318, Association for Computational Linguistics (2002)[Qader 19] Qader, R., Portet, F., and Labbé, C.: Semi-supervisedneural text generation by joint learning of natural language generation and natural language understanding models, in Proceedingsof the 12th international conference on natural language generation, pp. 552–562, Association for Computational Linguistics(2019)[Su 19] Su, S.-Y., Huang, C.-W., and Chen, Y.-N.: Dual Supervised
Learning for Natural Language Understanding and Generation,
in Proceedings of the 57th Annual Meeting of the Association
for Computational Linguistics, pp. 5472–5477, Association for
Computational Linguistics (2019)[Sukhbaatar 15] Sukhbaatar, S., Szlam, A., Weston, J., and Fergus, R.: End-To-End Memory Networks, in Proceedings of Annual
Conference on Neural Information Processing Systems 2015, pp.
2440–2448 (2015)

参考文献[Cheng 16] Cheng, Y., Xu, W., He, Z., He, W., Wu, H., Sun, M.,
and Liu, Y.: Semi-Supervised Learning for Neural Machine Translation, in Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, Vol. 1, pp. 1965–1974,
Association for Computational Linguistics (2016)[Vinyals 15] Vinyals, O. and Le, Q. V.: A neural conversationalmodel, CoRR, Vol. abs/1506.05869, (2015)[Eric 17] Eric, M. and Manning, C.: A Copy-Augmented Sequenceto-Sequence Architecture Gives Good Performance on TaskOriented Dialogue, in Proceedings of the 15th Conference of theEuropean Chapter of the Association for Computational Linguistics, Vol. 2, pp. 468–473, Association for Computational Linguistics (2017)4