言語処理学会 第25回年次大会 発表論文集 (2019年3月)

Conditional VAE に基づく多様性を考慮したイベント予測
清丸 寛一†

大村 和正‡
村脇 有吾††
京都大学 大学院情報学研究科

河原 大輔†
黒橋 禎夫†‡京都大学 工学部

{kiyomaru, omura, murawaki, dk, kuro}@nlp.ist.i.kyoto-u.ac.jp

はじめに1

ガ:学生，ヲ:研究成果) という述語項構造がイベントとイベント予測とは，あるイベントに続いて起きるイベントを予測するタスクである．イベントとは「自転車を漕ぐ」や「パンクする」など一つの出来事や状態を表す意味単位であり，イベント予測では「自転車を漕ぐ → パンクする」のようなイベント系列のもっともらしさをモデル化する．
本研究では，イベントが自然言語文で記述され，イベント系列が 2 要素からなる場合のイベント予測に取り組む．従来研究はこの問題を sequence-to-sequence(seq2seq) として定式化し，前件のイベントから後件のイベントを生成するモデルを学習している．しかし，「自転車を漕ぐ」には「パンクする」の他にも「目的地に着く」など複数のイベントが続く可能性があり，そうした多様性は考慮されていなかった．
本研究では Conditional VAE (CVAE) に基づくイベント予測モデルを構築し，入力から出力への決定的な変換ではなく，確率的生成を学習することで後件のイベントの多様性を捉える．またモデル自身の出力から入力信号を復元する reconstructor を導入することで一般的な出力の生成を抑制し，多様かつ情報量に富んだイベント生成を促す．
実験では，従来のデータセットに加え，日本語イベントペアデータを新たに構築し，イベント予測を学習した．自動評価指標とクラウドソーシングによる評価を行い，提案手法が妥当性・多様性においてベースラインの手法を上回ることを示した．

2

関連研究

2.1

イベント系列のモデル化

大規模コーパスの自動解析に基づきイベント系列を抽出・モデル化する研究において，イベントの表現には述語項構造が広く用いられてきた [1]．ここでの述語項構造は，述語と項がそれぞれ句で表され，連体修飾節などを含まないことが一般的である．例えば，「学生が驚くべき研究成果を得る」という文からは (得る;して抽出され，連体修飾節の「驚くべき」は抜け落ちてしまうが，これはイベント予測における重要な手がかりとなり得る．より柔軟なイベントの表現として，
近年は自然言語文でイベントを表す取り組みが増えつ
つある [2, 3]．
イベント系列のモデル化は，narrative cloze task やその派生タスクを通じて行われるのが一般的である [1]．

narrative cloze task はイベント系列から 1 要素を取り出し，候補イベントの中からその要素を選択するタスクである．このタスクを通じて学習したモデルは入力に完全なイベント系列を要し，あるイベントの後続イベントを得るには候補の数だけ計算を繰り返す必要がある．深層学習技術の進展に伴い，seq2seq の枠組みでイベント系列をモデル化する手法が提案されている [2, 3]．この枠組みでは生成モデルを学習するため，新たなイベント系列を効率的に獲得できる．しかし，従来研究では入出力間の決定的な変換を学習している．
あるイベントに後続し得るイベントは一般に複数存在するため，この仮定は妥当ではない．

2.2

CVAE による出力の多様性のモデル化

Variational Autoencoder (VAE) は，ニューラルネットワークに基づく確率的生成モデルの 1 つである．

VAE は，関連する Autoencoder (AE) と同様に，表層表現 y から潜在表現 z を経由し y を再構成するネットワークであるが，AE が決定的な変換を行うのに対し，VAE は確率的な変換を行う点が特徴的である．VAE において，z には適当な事前分布 (典型的には多変量標準ガウス分布) が仮定される．Conditional VAE (CVAE)
は VAE を構成する各分布が共通の観測変数 x で条件付けられるような拡張である．
CVAE を seq2seq モデルで構成することで，入力文に対する出力文の多様性がガウス分布に反映されると期待される．これまでに対話や機械翻訳など，入力に対して出力が一意に定まらないタスクに CVAE に基づくモデルが適用されている [4, 5]．

― 1531 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

L′ (θ, ϕ; y, x) = −KL(qϕ (z|y, x)||pθ (z|x))+ Eqϕ (z|y,x) [log pθ (y|z, x)](2)≤ log p(y|x)(3)

モデルの出力は，入力イベントの情報を十分に反映していることが望ましい．そこで decoder の出力から xを予測する reconstructor pθ (x|y) を導入する．最終的な目的関数を式 4 に示す．

L(θ, ϕ; y, x) = L′ (θ, ϕ; y, x)+ Eqϕ (z|y,x) [log pθ (x|y)pθ (y|z, x)]

図 1: モデルの概要．この例では，前件イベントが「プ3.2(4)モデルの詳細

単層の双方向 LSTM を encoder とする．はじめにレゼントを渡す」，後件イベントが「相手が喜ぶ」でencoder で x と y を読み込み，各単語の表現を前向きある．と後ろ向きの LSTM の出力を結合して得る．

z は非対角成分が 0 の多変量ガウス分布に従うもの

提案手法

3とし，qϕ (z|y, x) ∼ N (µ, σ 2 I)，pθ (z|x) ∼ N (µ′ , σ ′ I)
2

本研究では 2 要素からなるイベント系列を扱う．前とする．文表現を前向き・後ろ向きの LSTM の最終状態

件のイベントを x，後件のイベントを y とし，x と y のを結合したものとし，µ と σ 2 は x と y の文表現を線形組をイベントペアと呼ぶ．x に対する y の多様性を捉変換，µ′ と σ ′2 は x の文表現を多層パーセプトロンで変えるため，提案手法は Conditional VAE (CVAE) に基換して得る．z のサンプリングには reparametrization

づく seq2seq モデルを基本とする．さらに，情報量にtrick を用いる． 学習時は recognition network，推論富んだ後件イベントの生成を促す機構として，モデル時は prior network の出力から z を得る．

自身の出力から入力信号を復元する reconstructor [6]を導入する．図 1 にモデルの概要を示す．

単層 LSTM を decoder とする．i 番目の出力単語 yiを得る際の decoder の入力は，yi−1 の単語埋め込みベクトル，潜在変数 z ，文脈ベクトルからなる．文脈

3.1

ベクトルは decoder の i − 1 時点の隠れ状態に基づく目的関数

encoder の各時点の出力の重み付き和であり，注意機x に対する y の多様性を捉えるため，y は x に加え，構で計算する．

確率的潜在変数 z に依存して生成されると考える．す単層 LSTM を reconstructor とする．i 番目の出力

ると，x に対する y の条件付き分布は式 1 となる．
∫∫p(y|x) = pθ (y, z|x)dz = pθ (y|z, x)pθ (z|x)dz

単語 xi を得る際の reconstructor の入力は，xi−1 の単zz(1)われわれの目的は，式 1 をモデルパラメータ θ につい語埋め込みベクトルと文脈ベクトルからなる．文脈ベクトルは注意機構を用いて reconstructor の i − 1 時点の出力に基づく decoder の各時点の出力の重み付き和として得る．て最適化することである．以降，pθ (z|x) と pθ (y|z, x)

学習時には KL cost annealing [7] を行う．また，日をそれぞれ prior network および decoder と呼ぶ．

本語のイベントペアデータを学習する際は文末から順式 1 の最適化を解く枠組みとして CVAE を用いる．に系列を生成する．語順を反転すると意味の中核であCVAE の学習では p(y|x) の対数の変分下限を最大化す

る述語を出力した後に項などの補足情報を出力するこる．事後分布 q(z|y, x) を近似する recognition networkとになり，予備実験において，定性的・定量的な品質

qϕ (z|y, x) (ϕ はモデルパラメータ) を導入し，式 2 のの向上が確認できた．

目的関数を得る．

― 1532 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

EventGraph
BLEU Dist-1 Dist-2

BLEU

Wikihow
Dist-1 Dist-2

BLEU

Descript
Dist-1 Dist-2

S2S
S2S+ATTS2S+RCS2S+ATT+RC1.87
2.08
1.75
1.44

0.61
0.70
0.46
0.46

2.08
2.50
1.43
1.43

1.63
2.04
1.47
1.67

3.10
3.41
3.30
3.60

12.72
14.86
12.50
14.53

3.84
3.95
3.45
4.52

3.75
4.29
5.18
5.57

14.14
18.27
19.64
22.33

CVAE
CVAE+ATTCVAE+RC
CVAE+ATT+RC

0.33
0.36
1.60
1.15

0.37
0.51
0.61
0.28

1.47
2.04
1.43
0.65

1.64
1.96
1.63
2.24

3.48
3.69
3.56
4.02

13.24
14.65
13.51
16.31

4.64
5.26
4.66
4.69

8.89
8.61
8.75
9.79

39.35
38.22
40.26
46.81

表 1: 各データセットにおける BLEU および Distinct-N．

4

実験4.1

データセットEventGraph
Wikihow
Descript

12 億文の日本語ウェブテキストからイベントペア

言語文に近い単位でイベントを表し，イベント間の係り受け関係と談話関係を整理する．イベントグラフを適用し，約 7 億件のイベントペアを得た．

開発

テスト

5,000,000
1,287,360
23,320100,000
26,8202,915

100,000
26,8202,915

表 2: データセットの統計．

を抽出する．抽出には齋藤らのイベントグラフを用いた [8]．イベントグラフは述語項構造を拡張した自然学習ない [2]．そこで，Li らの流暢さ，関連性，論理的一貫性の観点に基づく評価 [9] をもとに，次の 5 段階評価を行う．

0 ：不自然な文が含まれる

時系列に沿ったイベントペアを得るため，「原因・理由」「条件」「時間経過:同時」「時間経過:後」の談話関係+1 ：関連が全くないを持つものを取り出した．また，ウェブテキストは顔+2 ：関連が薄い

文字など自動解析の困難な表現を多く含むため，特殊+3 ：関連はあるが論理的に一貫していない記号を含むイベントペアを除いた．さらに，ウェブテ+4 ：関連があり論理的に一貫している

キストには特定のフォーマットに基づき自動生成されはじめに，テストデータの前件イベントから学習デーた文も多く，こうした文から抽出されたイベントペア

タ・開発データの前件イベントに存在しないものを 50を除くため，系列長の長いイベントを含みかつ高頻度件取り出す．それぞれのイベントについて各モデルでなイベントペアを除いた．開発データ・テストデータと後件イベントを 100 回サンプリングし，高頻度の 5 件して 10 万件ずつイベントペアを取り出した．それらとを得る．イベントペアはそれぞれ 5 名のクラウドワー

重複のない残りのイベントペアから無作為に 500 万件カが評価する．この評価は EventGraph でのみ実施を取り出し学習データとした．これを EventGraphする．と呼ぶ．

また，出力の多様性を Distinct-N (Dist-N) で評価

先行研究 [2] で使用されたイベントペアデータでする．Distinct-N は出力系列全体の n-gram のうちユある Wikihow と Descript においても実験を行う．

ニークなものの割合である．Distinct-N が高いほど，Wikihow はタスクの実施手順を共有するウェブサイ

モデルは多様な単語や単語系列を出力をしていること

トから自動構築されている．Descript はいくつかのシが分かる．本研究では N = 1, 2 の場合を評価する．

ナリオについて典型的なイベント系列をクラウドソー比較手法として，一般的な seq2seq モデルに基づくシングで収集したものである．これらはイベントを英イベント予測モデルを学習する (S2S)．また，CVAE，語文で記述している．表 2 に各データセットの統計を

S2S それぞれについて注意機構 (ATT) と recon-示す．

structor (RC) を除いたモデルを学習する．BLEU と4.2

Distinct-N の計算時は，S2S は貪欲法でデコードし，CVAE は事前分布のモードから貪欲法でデコードす評価

出力された後続イベントの妥当性を BLEU で評価る．後件イベントをサンプリングする際は，S2S は出する．しかし，前件イベントに対する妥当な後件イベ

力単語をカテゴリカル分布からサンプリングしながらントは複数存在し得るため，BLEU は必ずしも適切でデコードし，CVAE は事前分布から z をサンプリング― 1533 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.

前件のイベント：ちょっと腹の具合が悪い

S2S

S2S+ATT+RC

CVAE

CVAE+ATT+RC

1. 早朝から前述した車両を予約
2. その結果結構旨い餌が多い
3. 使ってくれそう断る
4. そのまま帰ってお帰る
5. 満腹感はある

1. ミルクを 1 日中心に摂取してます
2. 今回の増刊はあえなく断念
3. ただ，エアコン効きとしては心配だ
4. いいのか検討してみる
5. 余計に疲れる

1. 気にしない
2. しない3. 落ち着かない
4. でも，心配になる
5. 構わない

1. 気にしている
2. 気になる
3. 下痢をする
4. 病院に行きたい
5. 諦めている

表 3: EventGraph を学習したイベント予測モデルの出力．

0+1+2+3+4S2S
S2S+ATTS2S+RCS2S+ATT+RC

.223
.183
.244.205.278.280.267.353.130.194.132.115.111.103.151.105.258.240.206.222

CVAE
CVAE+ATTCVAE+RC
CVAE+ATT+RC.094.077.075.074.240.238.185.164.176.230.198.202.160.136.170.142.330.319.372.418

う問題の特性に着目し，CVAE に基づく確率的生成モデルを学習した．また，入力イベントの情報を十分に反映した出力を促す機構としてモデル自身の出力から入力信号を復元する reconstructor を導入した．
実験では，従来のデータセットに加え，ウェブ文書から自動構築した日本語イベントペアデータを用いてイベント予測を学習した．自動評価指標とクラウドソーシングによる評価を行い，提案手法が妥当性・多様性においてベースラインを上回ることを示した．今

表 4: クラウドソーシングによる 5 段階評価．

後，構築した日本語イベントペアデータの大規模化・した後，貪欲法でデコードする．モデルは開発データ高品質化に取り組む他，述語項構造解析などへの応用の損失に基づき early stopping で選択する．

を検討したい．

表 1 に BLEU と Distinct-N による自動評価の結果を示す．注意機構は BLEU・Distinct-N の両方について有効である一方，reconstructor は BLEU の評価値を損ねる場合があった．これは，reconstructor が多数の前件イベントに対応付く一般的な後件イベントの生成を抑制していることに起因すると考えられる．
表 4 にクラウドソーシングによる 5 段階評価の結果を示す．EventGraph を学習したモデルは，BLEU ス
コアにおいて CVAE は S2S に劣っていたが，人手による評価では CVAE の結果が勝る結果となり，BLEUによる評価でモデルの品質を測ることは妥当でないことを確認した．
モデルの出力例を表 3 に示す．seq2seq に基づくモデルの出力は，非文が多く含まれ，前件イベントとの関係性も薄い傾向にあった．これは，出力単語をカテゴリカル分布からサンプリングして得ており，言語モデル的に不安定であることに起因すると考えられる．CVAEは簡素ではあるが文としては成立し，入力との関連性は比較的保たれていた．CVAE と CVAE+ATT+RCを比較すると，前者は後者より「〜ない」のような否定表現をより多く含む傾向にあった．

5

おわりに
本研究では，イベントが自然言語文で記述され，イベント系列が 2 要素からなる場合のイベント予測に取り組んだ．入力に対して出力が一意に定まらないとい謝辞
本研究はヤフー株式会社の支援を受けた．ここに感謝の意を表する．

参考文献[1] Karl Pichotta and Raymond Mooney. Statistical Script
Learning with Multi-Argument Events. In EACL, pp. 220–229, 2014.
[2] Dai Quoc Nguyen, Dat Quoc Nguyen, Cuong Xuan Chu,
Stefan Thater, and Manfred Pinkal. Sequence to Sequence
Learning for Event Prediction. In IJCNLP (2), pp. 37–42,
2017.
[3] Linmei Hu, Juanzi Li, Liqiang Nie, Xiao-Li Li, and Chao
Shao. What Happens Next? Future Subevent Prediction
Using Contextual Hierarchical LSTM. In AAAI, pp. 3450–3456, 2017.
[4] Tiancheng Zhao, Ran Zhao, and Maxine Eskenazi. Learning Discourse-level Diversity for Neural Dialog Models using Conditional Variational Autoencoders. In ACL (1),pp. 654–664, 2017.
[5] Biao Zhang, Deyi Xiong, jinsong su, Hong Duan, andMin Zhang. Variational Neural Machine Translation. InEMNLP, pp. 521–530, 2016.
[6] Zhaopeng Tu, Yang Liu, Lifeng Shang, Xiaohua Liu, andHang Li. Neural Machine Translation with Reconstruction. In AAAI, pp. 3097–3103, 2017.
[7] Samuel R. Bowman, Luke Vilnis, Oriol Vinyals, AndrewDai, Rafal Jozefowicz, and Samy Bengio. Generating Sentences from a Continuous Space. In CoNLL, pp. 10–21,
2016.
[8] 齋藤純, 坂口智洋, 柴田知秀, 河原大輔, 黒橋禎夫. 述語項構造に基づく言語情報の基本単位のデザインと可視化. 言語処理学会, pp. 93–96, 2018.
[9] Zhongyang Li, Xiao Ding, and Ting Liu. Generating Reasonable and Diversified Story Ending Using Sequence toSequence Model with Adversarial Training. In COLING,
pp. 1033–1043, 2018.

― 1534 ―Copyright(C) 2019 The Association for Natural Language Processing.
All Rights Reserved.