与えた外部情報の再予測モデルを組み込んだニューラル文生成モデルの検討
奈良先端科学技術大学院大学◎隆辻秀和、吉野幸一郎、須藤克仁、中村哲

背景●

言語生成は自然言語処理における主要なタスクの一つ
入力 : 文や対話状態、外部知識– 出力 : 各ドメインで適切な文–●

ニューラル文生成モデルは大きな成功を収めている
流暢さの向上– 分散表現によってもたらされる汎化性–

2018/08/29

Hidekazu TAKATSUJI@AHC-LAB

2

条件付き言語生成●

ドメインごとにクエリ以外の外部情報が必要なケース
質問応答: 知識データベース– 対話: 対話状態–●

言語生成器はクエリの他に外部情報もまた受け取る
query

金沢行きの特急はいつ発車しますか？

generator

Information

response
9時2分に0番ホームから発車します{(departure, 09:02),(platform, 0)}
2018/08/29

Hidekazu TAKATSUJI@AHC-LAB

3

既存手法と問題点●

外部情報を考慮したニューラル言語生成

End-to-End Memory Networkによる文生成[Madotto, 2018]– 知識グラフに対する注意を用いた条件付き生成[Zhou, 2018]
–

●

問題点
–

モデル学習が単語予測誤りのみで行われる●–

与えた条件を生成に用いる保証がない

説明性の欠如●2018/08/29

与えた情報の選択はモデルに依存

Hidekazu TAKATSUJI@AHC-LAB

4

目的
●

解決したい問題–

与えた外部情報を生成時に考慮している保証がない
●

●

目的–

単語予測誤りでは外部情報が考慮されることを保証できない与えた外部情報が生成時に考慮されることを陽に保証する
言語生成モデルの構築

2018/08/29

Hidekazu TAKATSUJI@AHC-LAB

5

提案モデル●

生成文へ外部情報が反映されることを保証する–●

外部情報が反映されたことについてのロスを明示的に計算

Seq2Seqに二つのネットワークを追加

外部情報を与えるためのエンコーダ– 学習時に与えた外部情報の再予測を行うデコーダ
–

query

frame

response

frameencoder

encoder

decoder

decoder

2018/08/29

Hidekazu TAKATSUJI@AHC-LAB

6

モデルの入出力
●

入力

クエリ文
– 外部情報–

●

●

出力–

●

Slot-Valueの集合

例

応答文

query

金沢行きの特急はいつ発車しますか？

response

9時2分に0番ホームから発車します

frame(departure, 09:02) (platform, 0)

2018/08/29

Hidekazu TAKATSUJI@AHC-LAB

7

フレームエンコーダ●

外部情報を生成時に含めるためのエンコーダ–●

クエリ文エンコード後に外部情報をエンコード

外部情報を系列データとみなす

順序は任意で決定– 他の研究[Sanker, 2019]と同様の構造–

LSTM

2018/08/29

LSTM

LSTM

Hidekazu TAKATSUJI@AHC-LAB

LSTM

8

フレームデコーダ●

与えた外部情報を再予測するデコーダ

文生成時の内部状態に与えた外部情報が含まれることを保証する目的– 文生成後の隠れ状態から与えた外部情報の再予測– フレームエンコーダに与えられた順序で予測–

LSTM

2018/08/29

LSTM

LSTM

Hidekazu TAKATSUJI@AHC-LAB

LSTM

9

損失関数
●

単語予測誤りと外部情報予測誤りの二つから学習–●

どちらの損失もSoftmax Cross-Entropyを用いて計算

損失関数はこれらの線形和
単語予測誤り:– 外部情報予測誤り :–2018/08/29

Hidekazu TAKATSUJI@AHC-LAB

10

評価実験
●

二つの実験を実施

ベースラインモデルと提案モデルの変化– 外部情報予測誤りの重みを変更した際の生成例–●

評価尺度と生成例を用いた定性的評価–––BLEU
Perplexity
Entity. F1 [Eric 2017]●–

フレームの各値が生成文に反映されているかmicro-average F1で計算再予測精度●

2018/08/29

提案モデルのみ

Hidekazu TAKATSUJI@AHC-LAB11コーパス●

DSTC2で配布されたコーパスを利用

レストラン案内システムとユーザの対話を収録– 各発話にSlot-Value形式での対話状態がアノテート済
–

●
●

–
●

例

Slotは6種類
Valueは221種類

train/dev/test = 15723/414/414

query

What kind of food would you like?

response

im looking for a restaurant in the north part of town serving kosher foodframe(food, kosher) (area, north)

2018/08/29

Hidekazu TAKATSUJI@AHC-LAB

12

実験の前処理●

事前学習

Seq2Seqの重みをRedditコーパスから事前学習– 約50万対話対を利用–●

DSTC2コーパスに対する前処理–

単語分割にはSentence Pieceを利用●–

辞書はRedditコーパスを用いて学習

フレームは(Slot, Value)の組をトークンとみなしてIDを割当●

2018/08/29

例 : (food, kosher) → 51, (area, north) → 219

Hidekazu TAKATSUJI@AHC-LAB

13応答生成実験●

ベースラインモデルと提案モデル(α=1.0)で比較–●

devセットでのloss最小となる重みで比較

ベースラインモデル

提案モデルからフレームデコーダを除いたもの– 再予測の有無による比較が可能–

2018/08/29

query

frame

responseencoder

encoder

decoder

Hidekazu TAKATSUJI@AHC-LAB

14

評価尺度による評価結果●

ベースラインと比較してBLEUは大幅に低下– Entity. F1はやや上昇–●–与えた外部情報をより適切に考慮したことを示唆？

提案モデルの再予測精度は85.6%●

チャンスレートを上回っており、予測は適切に行われている
BLEU

Perplexity

Entity F1

Re-prediction
Accuracy

Baseline

55.42

2.189069.15-proposed

50.85

2.012769.82

0.8561

2018/08/29

Hidekazu TAKATSUJI@AHC-LAB

15生成例による比較●

情報反映に成功している例–

提案モデルでは与えたふたつの情報がどちらも反映されている

query

What kind of food would you like?

response

im looking for a restaurant in the north part of town serving kosher foodframe(food, kosher) (area, north)baseline

north part of town

proposed

i want a restaurant in the north part of town serving kosher food2018/08/29

Hidekazu TAKATSUJI@AHC-LAB

16生成例を用いた定性的評価(2)●

情報反映に失敗している例–

料理の内容について言及しているが、値が異なっているquery

Hello , welcome to the Cambridge restaurant system? You can ask forrestaurants by area , price range or food type . How may I help you?

response

i am looking for a restaurant in the south part of town and it should serve
cantonese food

frame

(food, cantonese) (area, south)

baseline

im looking for a restaurant in the south part of town that serves

proposed

im looking for a restaurant in the south part of town serving romanian food2018/08/29

Hidekazu TAKATSUJI@AHC-LAB

17外部情報予測誤りの重み変更●

外部情報誤りの係数を変更する–●評価尺度と生成結果による定性的評価を実施–

外部情報の予測誤りを重視することで、評価尺度や生成結果による比較で向上が見られることを期待

2018/08/29

Hidekazu TAKATSUJI@AHC-LAB

18

評価尺度による結果●

Entity F1はαを大きくすると上昇–●

外部情報再予測によって値が反映されやすくなっていることを示唆？

再予測精度、BLEUも上昇
BLEU

Perplexity

Entity F1

Re-prediction
Accuracy

proposed

50.85

2.012769.82

0.8561

α=2.0

51.73

2.066270.15

0.7289

α=5.0

51.53

2.061171.76

0.9308α=10.053.36

2.038172.32

0.90662018/08/29

Hidekazu TAKATSUJI@AHC-LAB

19

生成例を用いた定性的評価●

生成例からは評価尺度ほどの向上が見られない–

α=10.0ではrepetitionが発生し外部情報も適切に反映されていない

query

What kind of food would you like?

response

im looking for a restaurant in the north part of town serving kosher foodframe(food, kosher) (area, north)proposed

i want a restaurant in the north part of town serving kosher food

α=2.0

kosher food in the north part of town

α=5.0

kosher food in the north

α=10.0north part of town north part of town

2018/08/29

Hidekazu TAKATSUJI@AHC-LAB

20生成例を用いた定性的評価(2)●

スロットそのものの反映に失敗するケース–

α=5.0では料理でなく値段について生成してしまっている

query

Hello , welcome to the Cambridge restaurant system? You can ask forrestaurants by area , price range or food type . How may I help you?

response

i am looking for a restaurant in the south part of town and it should serve
cantonese food

frame

(food, cantonese) (area, south)

proposed

im looking for a restaurant in the south part of town serving romanian food

α=2.0

id like a restaurant in the south part of town that serves mediterranean
food

α=5.0

im looking for a cheap restaurant in the south part of town

α=10.0im looking for a restaurant in the south part of town that serves

2018/08/29

Hidekazu TAKATSUJI@AHC-LAB

21

まとめと今後の方針●

まとめ

フレーム情報についての損失を明示的に考慮するSeq2Seq
モデルの提案– 定量的評価では大きな差がなく生成例ではベースラインより優れた生成例が見られる– 再予測に関する損失の重みを大きくすると、尺度上は改善するが、生成例からは改善が見られない
–

●

今後の方針
–

主観評価実験の実施

2018/08/29

Hidekazu TAKATSUJI@AHC-LAB

22

Appendix: 先行研究との比較●

Ericらの先行研究と評価尺度比較

2018/08/29

BLEU(word base)

Entity F1Baseline

55.0

69.7

+Attn

56.6

67.1

+Copy

55.4

71.6

+EntType

56.0

72.9

Baseline

55.42

69.15

proposed

50.85

69.82

Hidekazu TAKATSUJI@AHC-LAB

23

Appendix: 予稿段階でのフレームデコーダ

LSTM

2018/08/29

linearlinearlinear

LSTM

LSTM

LSTM

Hidekazu TAKATSUJI@AHC-LAB

24