言語処理学会 第26回年次大会 発表論文集 (2020年3月)

忠実な Data-to-Text 生成のための自信度付きデコーダー
Ran Tian∗ Shashi Narayan

Thibault Sellam

Ankur P. Parikh

Google Research{tianran, shashinarayan, tsellam, aparikh}@google.com
1 はじめにWikipedia Infobox
Frank Lino

ニューラルな条件付き文生成モデルは，生成テンプレートを明示的に作らずに流暢な文を生成できるというCaption

FBI surveillance photo

大きな利点を持つが，制御が難しく入力データの意味に

Birth date

October 30, 1938

忠実でない文を生成してしまう場合がある [7,9,17,18]．

Birth place

Gravesend, Brooklyn,
United States

NewYork,

これは，生成文の精度が重要視される多くの応用場面
Reference: Frank “Curly” Lino (born October 30,1938 Brooklyn) is a Sicilian-American Caporegime in
the Bonanno crime family who later became an informant.

において課題となる．
例えば表1では，英語ウィキペディアの人物に関するインフォボックスからバイオグラフィーを生成する

Baseline: Frank Lino (born October 30, 1938 in
Brooklyn, New York, United States) is an American
criminal defense attorney.

WikiBio データセット [8] における一例を示した．まず，生成の目標となるリファレンス文には bonanno crimefamily や informant のような，インフォボックスにな

Our model: Frank Lino (born October 30, 1938 in
Brooklyn, New York, United States) is an American.

い情報を含んでいることに注目されたい．このような入力と出力の食い違いは，ニューラルな文生成モデル

表1 WikiBio データセットにおける生成例．

を訓練するために必要な大規模データセットによく現れる現象であり [5,18]，モデルに誤った生成を強いてしまう恐れがある．実際，ベースラインのコピー機能おいて既存研究を大きく上回ったこと示す．例えば
表1に，提案モデルは職業を省略し正しい文を生成した．

付き Seq2Seq モデル [13] は，この例に対して criminal

defense attorney という，インフォボックスにない誤った情報を生成した（インフォボックスにある FBI という単語に影響されたかもしれない）．このように誤った生成をする恐れのあるモデルを，新聞記事など情報の信憑性が非常に大事な分野に適用すると深刻な問題

本研究のベースとなる，エンコーダー・デコーダー
モデル [1,14] について概要を述べる．x = x1 x2 . . . xSを長さ S の入力文字列，y = y1 y2 . . . yT を長さ T の出力文字列とする．我々は条件付き確率 P (y|x) =∏Tになりかねない．
この問題に対して本研究は，自信度付きの新しいデ コ ー ダ ー を 提 案 す る． 自 信 度 は テ ス ト 時 に 較 正（calibration）[2] という手法を通じてより入力データの意味に忠実な文生成を促し，訓練時にはリファレンスの食い違いや学習の難しそうな単語を無視できるようt=1 P (yt |y<t , x) をモデリングする．ここで y<t =y1 . . . yt−1 は y の最初から (t − 1)-番目までのトークンを含んだ部分列を表す．入力文字列はニューラルネットワーク enc によって符号化され，s1 , ..., sS =enc(x1 , ..., xS ) とする．
単語 x の埋め込みを ex ∈ Rd とすると，生成確率はモデルを制御する．同時に，このような自信度はある変分ベイズ目的関数を通して学習される．WikiBio デexp (vt⊤ eyt )P (yt | y<t , x) = ∑⊤y (exp vt ey )ータセットを使った実験で，我々の手法は PARENT

Precision [5] および人手評価の忠実性に関する指標に∗ Google NYC の Visiting Faculty として行った研究．

背景2で与えられる．ここで，位置 t における文脈ベクトル― 429 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

Christian Campbell

Birth name

Christian Campbell

Birth date

1979

Birth place

BahamasOccupation

PoetYears active

2010 -- present

図1 学習された注意度，基準確率，そして自信度の例．内容語に対して基準確率が低く，自信度はより注意度に依存する．

vt は次のように定義される：
vt = at + ht =S∑

誤ったトークンの生成確率が高く（> 0.5）
，単に生成確率からでは忠実性を判断するのが難しい．一方，フィールドの欠損は入力データに対する注意力機構から割αs,t ss + hts=1

り出せる可能性があり，実際我々は注意度（Attention

この式の右辺一番目の項は注意力ベクトルで，本研究score）At を次のように定義したところ，

では Luong 型 [11] を使う（式1）．二番目の項は隠れ状

At :=態ベクトルで RNN によって与えられる（式2）：exp(s⊤s W ht )αs,t = ∑⊤W h )
exp(s′ts′sht = RNN(ht−1 , [eyt−1 , at−1 ])

(1)
(2)

∥at ∥∥at ∥ + ∥ht ∥At は幻視トークンに対して低下することを予備実験で確認した．更にコピー機能を使って注意度を次のように修正すると：genÃt := pgent At + (1 − pt )ここで [·] はベクトルの連結を表す．デコーダーを RNNに限定したのは，本研究でこれから定義する自信度は

図1に示すように Ãt はコピーしたトークン（e.g. Camp-生成済みのトークンに依存し，一つずつ計算していくbell ）に対して高く（∼ 0.9），入力データから生成した必要があるからである．

場合（e.g. <unk>）に中程度（∼ 0.4），そして機能語コピー機能も考慮する場合，生成確率はコピー確率対して低い（∼ 0.2）ことが観察された．と混合され，次のようになる [6,13]：P̃ (yt |y<t , x) = pgent P (yt |y<t , x)
+ (1 − pgent )よって，注意度は幻視トークンと内容語の区別がで∑きるが，機能語やテンプレート要素との区別がまだでβs,tきない．そこで我々は，基準の言語モデル（Base-LM）s:xs =ytgen

ここで ptやテンプレート要素，またはフィールド欠損の場合にの生成確率 P (yt |y<t )（基準確率と呼ぶ）との比較を取は位置 t におけるトークンが辞書から生成る手法を考えた．基準言語モデルは，入力データの情報される確率，βs,t はコピーの注意力重みである．単語にアクセスできない．したがって，もし基準確率が条

xs が yt と同じような位置 s において和が取られる．

件付き生成確率と同程度ならば，そのトークンは機能語やテンプレート要素のような，あまり入力データの3 自信度付きデコーダー情報を保持しないトークンと思われる．これより自信

複雑なエンコーダー・デコーダーをいかに制御して，度（Confidence score）を，条件付き生成確率と基準確より忠実な文生成に導けるだろうか？表1の例では，イ率の補間として次のように定義する：

ンフォボックスに通常存在する Occupation というフ()()
C yt | y<t , x := Ãt P yt | y<t , x

ィールドがないにもかかわらず，それを幻視したよう()+ (1 − Ãt )P yt | y<tにベースラインモデルは誤った生成をした．このように，通常存在するフィールドがない時，忠実でない生成機能語やテンプレート要素に対して，P (yt |y<t , x) とがよく起こる．我々の観察では，このような場合でも，P (yt |y<t ) は両方高く，すると自信度は注意度によらず― 430 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

x:
Salome Jens
Jens in 1962
Birth date

May 8, 1935

Birth place

Milwaukee,

y:
keep

keep

keep

keep

keep

keep

keep

keep

keep

keep

keep

keep

skip

skip

skip

keep

Wisconsin, U.S.

Random Sub-sequence
Occupation

Actress

Years active

1956 -- present

keep

keep

Q(z | y, x)

z: salome jens ( born may 8 , 1935 ) is an american and television actress P(z | x)
図2 自信度による部分列サンプリングの例．

高いことになる．一方，入力データの情報を保持するできるような訓練手法を提案する．しかし自信度は訓

内容語に対しては P (yt |y<t , x) が P (yt |y<t ) より高く，練で使われると同時に学習されなければならないので，自信度は注意度に大きく依存する（図1）．

変分ベイズ目的関数でこの問題を定式化する．

3.1 較正（Calibration）

具体的に，リファレンス文字列 y = y1 y2 . . . yT により忠実な文生成を行うために，自信度を使った生成確率の較正（Calibration）[2] を次のように行う：

対して，その信頼できる隠れ部分列 z = z1 z2 . . . zR =yι(1) yι(2) . . . yι(R) を考える．ここで R が部分列の長さ，
ι : |R| → |T | が包含写像とする．部分列 z の生成確率P̂ κ (yt |y<t , x) :=を最大化したい:

SG(C(yt |y<t , x))κ SG(P (yt |y<t , x))∑κw SG(C(w|y<t , x)) SG(P (w|y<t , x))R) ∏()
P z|x =P̂ κ zr | z<r , x(

ここで，P̂ κ (yt |y<t , x) は κ をパラメータとする確率分布の族で，SG（Stop-Gradient）は誤差の逆伝播をブロr=1

ベイズ法則で P (z|x) を P (y|x) に関連付けると：() P (y|z, x) P (z|x).
P y|x =
P (z|y, x)

ックし，κ だけが訓練される．訓練では，P̂ κ (yt |y<t , x)と P (yt |y<t , x) と P (yt |y<t ) の負対数尤度は合同で最小化される：を得る．簡単のため，リファレンス文は各訓練事例に対して唯一定まるとして P (y|z, x) = 1 とする．そして，

Ljoint (y, x) :=T∑(部分列 z を y に対する “keep/skip” の系列ラベリン− log P̂ κ (yt |y<t , x)t=1− log P (yt |y<t , x) − log P (yt |y<t )グとみなし，自信度を使った次の確率分布で部分列を)サンプリングする（図2）：

確率分布の族 P̂ κ (yt |y<t , x) は P (yt |y<t , x) を含んでいるため（i.e. κ = 0 の時），学習された P̂ κ (yt |y<t , x) の訓練データにおけるパープレキシティは P (yt |y<t , x)より高くなることはない．実際，κ は 0 で初期化され正の値に収束する．よって，文生成の自信度が高くなるよう調整され，しかも訓練パープレキシティを犠牲にす

T() ∏Q z | y, x =Qt
t=1{
Qt (keep) ∝ C(yt |zι(s)<t , x)ρ
Qt :=Qt (skip) ∝ γ ρFor yt ∈ z
For yt ∈/z

ここで ρ と γ はハイパーパラメータである．Q(z|y, x)を使って事後分布 P (z|y, x) を近似すると，不等式

文生成の訓練データは，多くの場合ノイジーで外れ[()()− log P y | x ≤ EQ(z|y,x) log Q z | y, x()]− log P z | x値を持つ．これら外れ値はモデルに間違った共起関係を得る．変分ベイズ目的関数は，この不等式の右側を最を学習させ，誤った生成を引き起こす恐れがある．外小化する．本研究で，部分列は自信度だけによってサンれ値の影響を軽減し，より正確なデータでモデルを訓プリングされ，文としての流暢性を考慮しなかったが，練するために，本研究は自信度の低いトークンを無視驚くことに流暢な文が生成される．

ることはない．

3.2 変分ベイズによる訓練― 431 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.

ModelBLEU

Automatic Evaluation
PARENT(Precision / Recall / F1 )Avg Len.

Human Evaluation
FaithfulFluency
Avg Cov.
%%

BERT-to-BERTStructure-Aware Seq2Seq
Pointer-Generator

44.83
45.36
41.07

77.62 / 43.00 / 53.13
73.98 / 44.02 / 52.81
77.59 / 42.12 / 52.10

20.9
23.1
19.1

77.6
66.1
80.3

4.33
4.47
4.24

98.5 / 99.4
88.6 / 99.7
93.1 / 96.0

Confident BERT-to-RNN
Confident Pointer-Generator+threshold=0.125

33.30
38.10
36.62

77.98 / 37.21 / 47.90
79.52 / 40.60 / 51.38
80.15 / 39.59 / 50.50

16.6
17.0
16.4

85.2*
86.8*
90.7*

3.90
4.05
4.01

92.3 / 94.1
95.4 / 96.3
91.6 / 92.2表2 WikiBio テストセットに対する評価．Fluency は Mostly Fluent を入れるか否かで 2 通りの数値を示した．
星印はブートストラップ・テストによりベースラインと比べ統計的有意（p < .001）を示す．

4 実験

おいて生成文の忠実性を大幅に改善できることを示し

WikiBio データセット [8] を使って以下を比較した：
BERT-to-BERT [12]：Transformer に 基 づ く エ ン
コーダー・デコーダーモデル [16] を BERT [4] チェッ
クポイントで初期化したもの．

た．より詳細な実装，関連研究，人手評価の結果，アブレーションテストや生成文例などについては，[15] を参照されたい．

参考文献

Structure-aware Seq2Seq [10]：インフォボックスのフィールド名とコンテンツを分けて扱う，LSTM に基づくモデル．WikiBio 評価で最高の BLEU を記録．

Pointer-Generator [13]：コピー機能付き Seq2Seq
モデル（我々の実装）．

Confident BERT-to-RNN（提案モデル）：Transformer エンコーダーの BERT による初期化，およびGRU [3] を使った自信度付きデコーダー．
Confident Pointer-Generator（提案モデル）コピー機能付き Seq2Seq に自信度付きデコーダー．
自動評価は BLEU と PARENT [5] を使い，人手評価
はランダムに選んだ 1000 個の事例を各モデルの出力から同じく取り出し，5 人のアノテーターが Faithfulness（忠実性），Coverage，Fluency（流暢性）を採点した．
表2に 結 果 を 示 す． 人 手 評 価 に よ る と 提 案 手 法 はCoverage を少し低下させるも忠実性を大幅に改善した．
提案した自信度の適切さを更に確かめるため，0.125 以
下の自信度を持つトークンを削除する後処理を行うと，流暢性を少し損なうが忠実性の更なる上昇がみられた．
自動評価指標については，PARENT Precision が忠実性と相関があると考えられ，提案手法は高い数値を記録した．一方 BLEU と忠実性の相関が見られなかった．

5 おわりに入力データに忠実な文生成を促すため，我々は自信度付きデコーダーを提案し，WikiBio データセットに[1] D. Bahdanau, K. Cho, and Y. Bengio. Neural machine translation by jointly learning to align and translate. CoRR,
abs/1409.0473, 2014.
[2] M. Braverman, X. Chen, S. Kakade, K. Narasimhan,
C. Zhang, and Y. Zhang. Calibration, entropy rates, andmemory in language models. CoRR, abs/1906.05664, 2019.
[3] K. Cho, B. Van Merriënboer, C. Gulcehre, D. Bahdanau,
F. Bougares, H. Schwenk, and Y. Bengio. Learning phrase
representations using RNN encoder-decoder for statisticalmachine translation. CoRR, abs/1406.1078, 2014.
[4] J. Devlin, M. Chang, K. Lee, and K. Toutanova. BERT:
Pre-training of deep bidirectional transformers for language
understanding. In NAACL, 2019.
[5] B. Dhingra, M. Faruqui, A. Parikh, M. Chang, D. Das, andW. Cohen. Handling divergent reference texts when evaluating table-to-text generation. In ACL, 2019.
[6] J. Gu, Z. Lu, H. Li, and V. Li. Incorporating copying mechanism in sequence-to-sequence learning. In ACL, Berlin, Germany, 2016.
[7] P. Koehn and R. Knowles. Six challenges for neural machinetranslation. In WNMT, 2017.
[8] R. Lebret, D. Grangier, and M. Auli. Neural text generation from structured data with application to the biography
domain. In EMNLP, 2016.
[9] K. Lee, O. Firat, A. Agarwal, C. Fannjiang, and D. Sussillo.
Hallucinations in neural machine translation. In IRASL,
2018.
[10] T. Liu, K. Wang, L. Sha, B. Chang, and Z. Sui. Table-to-text
generation by structure-aware seq2seq learning. In AAAI,
2018.
[11] T. Luong, H. Pham, and C. Manning. Effective approaches
to attention-based neural machine translation. In EMNLP,
2015.
[12] S. Rothe, S. Narayan, and A. Severyn. Leveraging pretrained checkpoints for sequence generation tasks. CoRR,abs/1907.12461, 2019.
[13] A. See, P. Liu, and C. Manning.
Get to the point:
Summarization with pointer-generator networks. In ACL,
2017.
[14] I. Sutskever, O. Vinyals, and Q. Le. Sequence to sequencelearning with neural networks. In NIPS. 2014.
[15] R. Tian, S. Narayan, T. Sellam, and A. Parikh. Sticking tothe facts: Confident decoding for faithful data-to-text generation, 2019.
[16] A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones,A. Gomez, Ł. Kaiser, and I. Polosukhin. Attention is all you
need. In NIPS. 2017.
[17] O. Vinyals and Q. Le. A neural conversational model. CoRR,
abs/1506.05869, 2015.
[18] S. Wiseman, S. Shieber, and A. Rush. Challenges in data-todocument generation. In EMNLP, 2017.

― 432 ―

Copyright(C) 2020 The Association for Natural Language Processing.
All Rights Reserved.