言い換えラティスを用いたテキスト生成の性能改善○西原大貴（阪大）
荒瀬由紀（阪大）

梶原智之（愛媛大）藤田篤（NICT）

1

背景：NLPでグラフを使う手法
グラフは、単純な系列では表せない情報を表現できる
例：係り受け解析「私は本に栞を挟んだ」 私は「私は栞を本に挟んだ」

グラフは多くのNLP分野で利用されている

本に栞を挟んだl 機械翻訳 [1,2]l 文書要約 [3,4]l 対話における感情認識 [5]l 抽象的意味表現 [6,7][1] Li et al. Graph-Based Translation Via Graph Segmentation. ACL-2016.
[2] Bastings et al. Graph Convolutional Encoders for Syntaxaware Neural Machine Translation. EMNLP-2017.
[3] Wang et al. Heterogeneous Graph Neural Networks for Extractive Document Summarization. ACL-2020.
[4] Li et al. Leveraging Graph to Improve Abstractive MultiDocument Summarization. ACL-2020.
[5] Ishiwatari et al. Relation-aware Graph Attention Networks with Relational Position Encodings for Emotion Recognition in Conversations. EMNLP2020.
[6] Zhu et al. Modeling Graph Structure in Transformer for Better AMR-to-Text Generation. EMNLP-2019.
[7] Yao et al. Heterogeneous Graph Transformer for Graph-to-Sequence Learning. ACL-2020.

2

背景：ラティス（１）
入力系列の曖昧性を１つのグラフで表すにはラティス
例：単語分割の曖昧性（単語の分割位置の違い）[8,9]
私
私はは大阪大学

大阪大学

をを受験し受験しますます。
。

単純な単語系列
私は大阪大学を受験します。

ラティスは、曖昧性を残したまま表現できる受験し大阪大学
私は大阪

大学を受験

し

[8] Su et al. Lattice-Based Recurrent Neural Network Encoders for Neural Machine Translation. AAAI-2017.
[9] Xiao et al. Lattice-Based Transformer Encoder for Neural Machine Translation. ACL-2019.

ます。

3

背景：ラティス（２）
音声認識の曖昧性 [8,9]音声認識時の複数候補をラティスとして入力「私は大阪大学を受験します。」
0.95
私は大阪大学を0.05

受験し事件します。

翻訳器
Lattice2Seq[8] Zhang et al. Lattice Trans-former for Speech Translation. ACL-2019.
[9] Sperber et al. Self-Attentional Models for Lattice Inputs. ACL-2019.

4既存の問題と提案の着眼点
既存手法の問題点

l 単語の分割位置を変えるだけでは、文字は変わらず、表層的な情報は増えない
l 音声認識の曖昧性は、タスクが限定提案手法の着眼点
入力テキスト

私は大阪大学を受けます。

Google翻訳の例

私は大阪大学を受験します。

出力テキストI will attend Osaka University.

I will take the Osaka University exam.

入力テキストの中の個々の表現は一意ではないが、上手く語彙選択できれば、翻訳品質が改善できる5提案：語彙選択の曖昧性に着目
入力テキスト

言い換え辞書私は大阪大学を受けます。

大阪大学 → 阪大
受け→ 受験し うけ言い換えラティス

受験し大阪大学
私はを阪大受けます。

うけ翻訳器
Lattice2Seq
出力テキストI will take the Osaka University exam.

6

言い換えラティスの構築
1. 入力テキストのパスを作る
私は大阪大学を受けます。

2. 言い換え辞書を用いて、言い換えを追加していく言い換え辞書

大阪大学
私

はを阪大

大阪大学 → 阪大
受け→ 受験し うけ。

ます

受け

3. エッジの重みは、2-gram言語モデルスコア
私

1.

.6

は.4

大阪大学
阪大

1.

を1.

.4.4
.2

受験し受け
うけ

※各ノードの出力エッジの重みの合計は1に正規化

1.
1.

ます

1.

。

1.

7

提案手法の概要図（再掲）
入力テキスト

言い換え辞書私は大阪大学を受けます。

大阪大学 → 阪大
受け→ 受験し うけ言い換えラティス

受験し

大阪大学
私

はを阪大受けます。

うけ

翻訳器
Lattice2Seq [9]出力テキストI will take the Osaka University exam.

[9] Sperber et al. Self-Attentional Models for Lattice Inputs, ACL-2019.

8

Lattice2Seq (Sperber et al.) [9]Seq2Seq のエンコーダ

Lattice2Seq のエンコーダ

は阪大

をは阪大

大阪大学

を単語ベクトルは阪大を位置ベクトル

2

3

阪大

大阪大学

1はを

… は阪大を…

は阪大
2Attention

入力

1

122

大阪大学

l 入力文を単語ベクトルの系列に変換

23を
3

l 位置ベクトル（何番目の単語か）を連結
l Attention で単語間の関係を計算◦ Lattie2Seqでは繋がりのない単語間のエッジ（緑）を消す[9] Sperber et al. Self-Attentional Models for Lattice Inputs, ACL-2019.

9

実験
タスクとデータセットl 翻訳（英→日）：田中コーパス1)（50K）

l スタイル変換（カジュアル→フォーマル）：GYAFC E&M（53K）：GYAFC F&R（52K）
言い換え辞書 PPDB [10]（S-size, スコア5.3以上）
2-gram言語モデル

KenLM + CC100

評価指標 BLEU翻訳器 Lattice2Seq [9]1) https://github.com/odashi/small̲parallel̲enja[10] Ganitkevitch et al., PPDB: The Paraphrase Database. NAACL-2013.
[9] Sperber et al. Self-Attentional Models for Lattice Inputs. ACL-2019.

10翻訳器の設定l 実装：JoeyNMT2)
l 符号化器・復号化器：Transformer (4層4ヘッド)
l 埋込層・隠れ層：512次元、ドロップアウト率0.2
l 埋込層は、符号化器と復合化器で重みを共有
l 最適化：Adaml バッチサイズ：4096トークン
l early-stopping：32 checkpoints (perplexity)
l スケジューラ：plateau◦ 初期の学習率 2e-4
◦ 8回改善しなくなる毎に減衰率0.7を乗ずる
2) https://github.com/joeynmt/joeynmt

11比較手法・実験結果
l ベースライン：言い換えなしの一般的な翻訳器
入力テキストSeq2Seq

出力テキストl マルチソース：言い換えるがラティスなし
入力テキスト＋言い換えテキストn個

Seq2Seq

出力テキストl 提案手法：言い換えラティス
言い換えラティス

入力テキストLattice2Seq

BLEU

英日翻訳

ベースライン：一般的な翻訳器
マルチソース：ラティスなし
提案手法：言い換えラティス

37.89
37.88
40.01

出力テキストスタイル変換
E&M
F&R
64.27
69.46
63.18
71.98
67.30
73.36

12

分析：PPDBスコア閾値とBLEU
PPDBスコアの閾値を変化させた際のBLEU (dev)
42

英日翻訳

BLEU

40

スタイル変換（F&R）

38
36
34
32

スタイル変換（E&M）
5.1

5.2

5.3

PPDBスコア

5.4

5.5

閾値が小さいと低品質な言い換えを含んでしまい、大きいと有用な言い換えを使用できない13

分析：頑健性
入力の表現を変化させた時に、出力が変化しない割合
入力モデル

出力1

言い換えモデル

出力2

出力1と出力2が同じか？

出力が変化しない割合

結果、頑健性を大幅に高めた
80

ベースライン

400

提案手法

E&M

F&R

14

まとめ
語彙選択の曖昧性に着目し、言い換えラティスを構築
言い換え辞書私は大阪大学を受けます。

大阪大学 → 阪大
受け→ 受験し うけ言い換えラティス

受験し大阪大学
私はを阪大受けます。

うけ翻訳器
Lattice2Seq
出力テキストI will take the Osaka University exam.

結果、翻訳品質（BLEU）や頑健性を大幅に高めた15

16