言語処理学会 第27回年次大会 発表論文集 (2021年3月)

言い換えラティスを用いたテキスト生成の性能改善

1

西原 大貴
大阪大学大学院情報科学研究科
nishihara.daiki@ist.osaka-u.ac.jp

梶原 智之
愛媛大学大学院理工学研究科
kajiwara@cs.ehime-u.ac.jp

荒瀬 由紀
大阪大学大学院情報科学研究科
arase@ist.osaka-u.ac.jp

藤田 篤
情報通信研究機構
atsushi.fujita@nict.go.jp

はじめに

言 語 構 造 を 機 械 学 習 に 導 入 す る た め に，機 械
翻訳 [1, 2] や文書要約 [3, 4]，対話における感情認
識 [5]，抽象的意味表現 [6–10] など多くの自然言語処理タスクにおいてグラフに基づく手法が提案されている．例えば，有向非巡回グラフの一種であるラティスは，テキストを単純な単語の系列ではなく単語間の構造情報を持たせて表現でき，テキストの分類 [11, 12] や生成 [13, 14] に広く活用されている．
テ キ ス ト 生 成 タ ス ク で は，単 語 分 割 の 曖 昧
性 [13, 14] や音声認識の曖昧性 [15–19] をラティスとして表現する Lattice2Seq モデルが，最も尤度の高い
1 つの系列を用いる Seq2Seq モデルよりも高い性能を達成することが知られている．本研究では，新たに語彙選択の曖昧性に着目し，入力テキストとその言い換えを用いてラティスを構築する．つまり，人間が書いたテキストの中の個々の表現は，必ずしも「それでなくてはならない」表現とは限らないという仮説に基づき，入力テキストの語句の言い換えを考慮し，入力テキストの情報を増やすことによってテキスト生成の性能改善を試みる．英日翻訳および英語のスタイル変換における実験の結果，この手法
による BLEU [20] 値の顕著な改善を確認した．

2

提案手法

図 1 に示すように，本研究では言い換え辞書を用いて入力テキストを言い換えラティスに変換する．
各ノードが 1 つの単語を表すラティスを構築し，入力テキストとその複数の言い換えをコンパクトに表現する．エッジは接続する 2 つのノード（単語）の繋がりを表しており，エッジの重みは言い換えとその前後の単語の繋がりの良さを表現する．このよう入力文

言い換え辞書私は大阪大学を受けます。

大阪大学 → 阪大
受け→ 受験 し, うけ

言い換えラティス
受験

大阪大学
私

は

を
阪大

し

受け

ます

。

うけ

lattice2seq
出力文

I will take the Osaka University exam.

図1

提案手法の全体図に，ラティス構造を用いることで複数の言い換えを表現でき，訓練時と評価時の両方で入力テキストの情報を増やすことが可能となる．

2.1

言い換えラティスの構築

入力の単語列 𝑠1 𝑠2 · · · 𝑠 𝑁 （𝑁 は単語数）に対し，
次の手順でラティス 𝐺 = (𝑉, 𝐸) を構築する．
1. ラティスの初期化 Source ノードを文頭記号
𝑠0 ，Sink ノードを文末記号 𝑠 𝑁 +1 とし，𝑠0 → 𝑠1 →· · · → 𝑠 𝑁 → 𝑠 𝑁 +1 をパスとするグラフを作る．
∪ 𝑁 +1∪𝑁
すなわち，𝑉 = 𝑖=0{𝑠𝑖 }, 𝐸 = 𝑖=0{(𝑠𝑖 , 𝑠𝑖+1 )} とする．エッジ (𝑎, 𝑏) があるとき，𝑎 を 𝑏 の親ノード，𝑏 を 𝑎 の子ノードと呼ぶ．
2. 言 い 換 え パ ス の 追 加 入 力 テ キ ス ト に 含 ま
れ る あ ら ゆ る 単 語 𝑛-gram (𝑛 ∈ {1, 2, · · · , 𝑁 })𝑠𝑖 𝑠𝑖+1 · · · 𝑠𝑖+𝑛−1 のそれぞれに対し，言い換え辞書を用いて言い換えを取得し，ラティスに加える．すなわち，個々の句の言い換え 𝑝 1 𝑝 2 · · · 𝑝 𝑀∪𝑀{𝑝 𝑘 } を新たな 𝑉 とし，が得られた時，𝑉 ∪ 𝑘=1∪ 𝑀 −1𝐸 ∪ {(𝑠𝑖−1 , 𝑝 1 ), ( 𝑝 𝑀 , 𝑠𝑖+𝑛 )} ∪ 𝑘=1{( 𝑝 𝑘 , 𝑝 𝑘+1 )} を新たな 𝐸 とする．

― 1729 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

𝑣"



𝑣#
a

𝑣&
e

𝑣'
c

𝑣(
d

𝑣$
b

𝑣%
c

𝑣#"
d

𝑣)
a
𝑣*
b

図2

𝑣+
a

𝑣*
e
𝑣"



𝑣##



前向きの統合候補
後ろ向きの統合候補

𝑣&
b

𝑣+
b

𝑣%$,
a

図3

統合前のラティス（例 1）

3. 重複ノードの統合

𝑣#$%
a

𝑣##



統合後のラティス（例 1）

各 要 素 に 対 し て，𝐷 を 含 む ノ ー ド 集 合の集合が変化しないように，ノードの重複を統𝑀 ′𝑓 = {𝑀 | ∀𝑀 ∈ 𝑀 𝑓 , ∃𝑣 ∈ 𝑀, 𝑣 ∈ 𝐷} および 𝑀𝑏′ = {𝑀 | ∀𝑀 ∈ 𝑀𝑏 , ∃𝑣 ∈ 𝑀, 𝑣 ∈ 𝐷} を合する．共通の単語を含む句の言い換えを適用した場合に，ノードの重複が起こる．重複す𝑉 ′ (⊂ 𝑉) の統合とは，∀𝑣 ∈ 𝑉 ′ を削除し，𝑣 に接

𝑣)$#"
d

そ し て，統 合 候 補 𝑀 𝑓 お よ び 𝑀𝑏 のラティスに含まれるパスるノード集合は実際には同一の単語を参照す
るため，これを統合する．ここで，ノード集合𝑣'$(c

選び，これらのノード集合を統合する．
以下では統合処理の具体例を示す．
例 1

単 語 列 a b c d と 言 い 換 え {a b → a，

続していた全てのエッジと接続する新たなノーa b → b a，b c d → e c d} が与えられた場合を考ドを 1 つ作ることを指す．統合の大まかな手順

える．手順 1 および 2 により，これらの入力から図としては，まずラティスを前向きおよび後ろ向

2 のラティスを得る．ここで，文頭記号を
，文末

きに探索し，統合するノード集合の候補を列挙

記号を
としている．

する．次に，候補の中から実際に統合する集合

手順 3.(a) では，𝑣 0 の子ノード 𝑣 1 , 𝑣 6 , 𝑣 7 のうちを選び，ノードを統合する．

𝑣 1 , 𝑣 6 はどちらも単語ラベルが a であり，かつ親(a) 統合候補の列挙：ノードを Source ノード

ノードが 𝑣 0 であるため，𝑀 𝑓 = {{𝑣 1 , 𝑣 6 }} が前向きからトポロジカル順1）に探索し，各ノードの統合候補（赤囲み）と同定される．逆順でも同様の子ノードのうち，単語ラベルが同じでかに，𝑀𝑏 = {{𝑣 4 , 𝑣 10 }, {𝑣 3 , 𝑣 9 }, {𝑣 6 , 𝑣 8 }} が後ろ向きのつ親ノードの集合が同じであるノードの統合候補（緑囲み）と同定される．
手順 3.(b) では，𝑀 𝑓 と 𝑀𝑏 のいずれか片方のみ集合を列挙する．ここで列挙されたノード集合の集合 𝑀 𝑓 = {{𝑣, 𝑤} | ∀𝑢 ∈ 𝑉, ∀𝑣, ∀𝑤 ∈𝐶 (𝑢), 𝑣 の単語ラベル = 𝑤 の単語ラベル }が，統合候補となる．なお，𝐶 (𝑢) は 𝑢 の子
ノードの集合である．同様に逆順にも探索し，統合候補 𝑀𝑏 を得る．ただし探索の際に含まれるノードとして 𝐷 = {𝑣 1 , 𝑣 4 , 𝑣 10 , 𝑣 3 , 𝑣 9 , 𝑣 8 }が 挙 げ ら れ る．𝑀 𝑓 や 𝑀𝑏 の 要 素 は，全 て 1 つ 以
上 の 要 素 が 𝐷 に 含 ま れ る た め，𝑀 ′𝑓 = {{𝑣 1 , 𝑣 6 }}，𝑀𝑏′ = {{𝑣 4 , 𝑣 10 }, {𝑣 3 , 𝑣 9 }, {𝑣 6 , 𝑣 8 }} となる．

こ れ ら の 𝑀 ′𝑓 お よ び 𝑀𝑏′ の 各 要 素 を 統 合 す るには，先に見つかったノード集合から貪欲

と，図 3 の ラ テ ィ ス が 得 ら れ る．な お，図 2 にに統合されると仮定して残りの探索を進め含まれる 
 から 
 までの全てのパスの集合

るが，ここではまだ実際には統合しない．

は，𝑃 = {
 → a → e → c → d → 
, 
 →(b) ノードの統合：𝑀 𝑓 中のある候補 𝐴 の要素

a → b → c → d → 
, 
 → a → c → d →が 𝑀𝑏 で網羅されている場合，𝑀𝑏 を統合す
れば 𝐴 の統合は必要ない．そこで統合が必要な，𝑀 𝑓 または 𝑀𝑏 の片方のみに含まれるノード 𝐷 = {𝑣 | ∀𝑀 ∈ 𝑀 𝑓 , ∀𝑣 ∈ 𝑀 }△{𝑣 |∀𝑀 ∈ 𝑀𝑏 , ∀𝑣 ∈ 𝑀 }2）を求める．
1） 有向非巡回グラフにおけるノードのソート手法にトポロジ
カルソートがある．これは，全ての異なる 2 つのノード 𝑎, 𝑏
に対し 𝑎 ≠ 𝑏 かつノード 𝑎 からノード 𝑏 へ到達可能ならば 𝑎が 𝑏 より先にくるようにノードを並べる手法である．ここではトポロジカルソートによる並べ方をトポロジカル順と呼ぶ．
2） 記号 △ は，対称差集合を表す．


, 
 → b → a → c → d → 
} であるが，図3 のように統合しても，𝑃 に変化はない．
例 2

手 順 3.(b) が 必 要 と な る 例 と し て，

図 4 の ラ テ ィ ス か ら は，𝑀 𝑓 = {{𝑣 3 , 𝑣 5 }}，𝑀𝑏 = {{𝑣 2 , 𝑣 3 }, {𝑣 5 , 𝑣 7 }}，𝐷 = {𝑣 2 , 𝑣 7 } が得られる．
{𝑣 3 , 𝑣 5 } ∈ 𝑀 𝑓 の要素 𝑣 3 , 𝑣 5 はどちらも 𝐷 に含まれな
い た め，𝑀 ′𝑓 = {} と な る．{𝑣 2 , 𝑣 3 }, {𝑣 5 , 𝑣 7 } ∈ 𝑀𝑏

は そ れ ぞ れ 𝑣 2 , 𝑣 7 が 𝐷 に 含 ま れ る た め，
𝑀𝑏′ = {{𝑣 2 , 𝑣 3 }, {𝑣 5 , 𝑣 7 }} と な る．𝑀 ′𝑓 お よ び 𝑀𝑏′の統合を行うと，図 5 が得られる．

― 1730 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

𝑣$
b
𝑣"



𝑣#
b

𝑣%
a
𝑣#
a

𝑣)
c

𝑣*



𝑣$%&
a

𝑣&
b

𝑣"



𝑣*
c

𝑣+



𝑣'
e

図4

𝑣'
e

𝑣(
a

図5

統合前のラティス（例２）

𝑣(%)
a

𝑣(
e

統合後のラティス（例２）

こ の 例 に お い て，手 順 3.(b) を 省 略，つ ま り
𝑀 ′𝑓

表1

= 𝑀 𝑓 として {𝑣 3 , 𝑣 5 } も統合した場合，図 6 のラティスが得られる．このとき，パス 𝑣 0 → 𝑣 2·3 → 𝑣 4とパス 𝑣 0 → 𝑣 3·5 → 𝑣 4 で表現される単語ラベルの系列は同じであり，またパス 𝑣 0 → 𝑣 5·7 → 𝑣 8 とパス

𝑣#$%
a

𝑣"



𝑣&
a

図6

𝑣'$#
a
𝑣*
c

𝑣+



𝑣%$)
a

全ての候補を統合する失敗例

実験に使用したデータセット

データセット訓練

検証

評価

英日翻訳：small parallel enja

50,000500

500

スタイル変換：GYAFC (E&M)

52,595

11,508

1,416

スタイル変換：GYAFC (F&R)

51,967

11,152

1,332𝑣 0 → 𝑣 3·5 → 𝑣 8 で表現される単語ラベルの系列も同じであるため，ノード 𝑣 3·5 およびこれに接続するするために，自己注意機構にマスクを導入した．

エッジを削除してもラティス全体のパス集合は図 5の場合と変わらない．手順 3.(b) で 𝑀 ′𝑓

および 𝑀𝑏′ をラティスに重複ノードが含まれる場合，PE の位置が異なる場合がある．例えば図 6 のラティスにお考慮することによって，重複ノードを持たない図 5

いて，Source ノード 𝑣 0 の位置を 0 とすると，同一ののラティスが得られる．なお，重複ノードを避ける

単語を参照する 𝑣 2·3 と 𝑣 3·5 の位置はそれぞれ 2 と 1

理由については 2.3 節で説明する．

であり，異なる．このため位置を表す分散表現も異エッジの重み付けなるが，同一の単語を参照するノード同士には同一の分散表現を割り当てたい．そこで本研究では，重2.2

言い換えとその前後の単語の繋がりの良さを表現するため，2.1 節で得られたラティス 𝐺 = (𝑉, 𝐸) の各エッジに，次の手順で重み付けを行う．
1. エ ッ ジ (𝑣 𝑗 , 𝑣 𝑘 ) ∈ 𝐸 で 接 続 さ れ て い る 2 つ の複ノードを含まない言い換えラティスを設計する．

実験

3

提案手法の有効性を確認するため，表 1 に示す

ノードの単語ラベルの 2-gram 言語モデルスコ

英日翻訳および英語のスタイル変換の実験を行っアを，当該エッジの重み 𝑤 𝑗 𝑘 とする．

た．英日翻訳には，田中コーパス3）の一部である

2. 各ノード 𝑣 𝑗 の出力エッジの重みの和が 1 にな

small parallel enja4）を使用した．スタイル変換には，るよう，エッジの重みを正規化する．具体的にカジュアルな英文とフォーマルな英文からなるパラは，ノード 𝑣 𝑗 の子ノード集合 𝐶 (𝑣 𝑗 ) を考え，

レルコーパスである GYAFC5）[22] を使用した．本𝑤 ′𝑗 𝑘 =𝑤 𝑗𝑘∑

実験では，Entertainment & Music (E&M) と Family &Relationships (F&R) の両方のドメインにおいて，カ𝑤 𝑗𝑙

ジュアルからフォーマルへの変換を行う．評価には

𝑣𝑙 ∈𝐶 (𝑣 𝑗 )sacreBLEU6）[20] で求めた BLEU 値を用いた．

をエッジ (𝑣 𝑗 , 𝑣 𝑘 ) の新たな重みとする．

3.1
2.3

Lattice2Seq モデル

実験設定

前 処 理 と し て，Moses ツ ー ル キ ッ ト7） [23] の言い換えラティスを入力として，Sperber ら [19] のnormalize-punctuation および tokenizer を使用しLattice2Seq モデルでテキストを生成する．Sperber

た．また，本実験で使用する言い換え辞書が小文字

らは，Transformer [21] の符号化器における Positional

化されているため，Moses ツールキットの lowercase

Encoding (PE) と自己注意機構を改変し，ラティス
構造の入力を可能にした．PE では，各ノードの位
置を Source ノードからの最長距離として定義した．
また，単語間の接続関係およびエッジの重みを表現

3） http://www.edrdg.org/wiki/index.php/Tanaka_Corpus
4） https://github.com/odashi/small_parallel_enja
5） 評価用データは，4 つの参照文を持つマルチリファレンス．
6） https://github.com/mjpost/sacrebleu
7） https://github.com/moses-smt/mosesdecoder― 1731 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

表2

英日翻訳とスタイル変換（E&M・F&R）の BLEU

翻訳

E&M

F&R

比較手法：Seq2Seq
37.89
比較手法：MultiSource 37.88

64.27
63.18

69.46
71.98

提案手法：Lattice2Seq

67.30

73.36

40.01

を用いて，GYAFC の入力側も小文字化した．small
parallel enja は，事前に単語分割および英語の小文字

MultiSource

𝜃

翻訳

E&M

F&R

5.1
5.2
5.3
5.4
5.5

40.00
41.14
40.12
39.44
40.16

33.83
34.10
34.10
33.61
32.97

39.13
39.15
39.36
39.49
39.35

入力テキストを言い換えるが，ラティスを構築しない比較手法．PPDB に基づく言い換
え生成器12）[29] によって (𝑟 − 1) (𝑟 ∈ {2, 3, 4, 5}) 種化が行われているため，それに従った．両タスク
で，さらに Byte Pair Encoding [24] を用いて語彙サイ類の言い換えを取得し，入力文を含めた 𝑟 文を連

ズ 32,000 のサブワード化を行った．

結して Seq2Seq モデルに入力する．𝑟 は，検証用

言い換え辞書には，PPDB 2.08）[25] のうち，英語

データにおける性能が最も高い値を選択した．

の Lexical および Phrasal（S サイズ）を用いた．なお，収録されている語句は，事前に小文字化され

PPDB 2.0 スコアの閾値 𝜃 と検証用データの BLEU

表3

3.3

実験結果

ている．ノイズの影響を抑えるため，適用する言
い換えは PPDB 2.0 におけるスコアが 𝜃 以上のものに限定した．このスコアの中央値は 5.3 のため，
𝜃 ∈ {5.1, 5.2, 5.3, 5.4, 5.5} の中から，検証用データ
における性能が最も高い値を選択した．
2-gram 言語モデルの訓練には，CC-1009）の en を用いた．CC-100 (en) は約 556 億トークンからなる英表 2 に，英日翻訳（翻訳）およびスタイル変換（E&M および F&R）の BLEU 値を示す．英日翻訳では，提案手法は Seq2Seq と比較して 2.12 ポイント，
MultiSource と比較して 2.13 ポイント，それぞれ大幅に BLEU を改善した．スタイル変換でも，提案手法は Seq2Seq から 3.03 ポイント（E&M）および語の大規模な単一言語コーパスである．前処理とし3.90 ポイント（F&R），MultiSource から 4.12 ポインて Moses ツールキットの normalize-punctuation，ト（E&M）および 1.38 ポイント（F&R），それぞれ大幅に BLEU を改善した．これらの実験結果から，

tokenizer および lowercase を適用し，KenLM10）[26]
によって 2-gram 言語モデルを訓練した．
Lattice2Seq モデルの実装には，JoeyNMT11）[27] を用いた．符号化器および復号化器には 4 層 4 ヘッドの Transformer [21] を使用した．埋込層および隠れ言い換えラティスの有効性を確認できた．
表 3 に，使用する言い換えの閾値 𝜃 を変化させた
ときの検証用データにおける評価結果を示す．𝜃 が小さいと低品質な言い換えを含んでしまい，大きい層は 512 次元とし，符号化器と復合化器で埋込層のと有用な言い換えを使用できないことが分かる．

重みを共有した．埋込層および隠れ層のドロップア
ウト率は 0.2 とした．最適化には Adam [28] を使用

4した．バッチサイズは 4096 で，英日翻訳タスクでは 200 回，スタイル変換タスクでは 400 回パラメー

おわりに
本研究では，語彙選択の曖昧性をモデル化するために，入力テキストおよび言い換え辞書からラティ

タを更新するごとに検証用データにおけるパープレ

スを構築する手法を提案した．英日翻訳およびスタ

キシティを評価し，連続で 32 回改善しなくなった

イル変換の実験を通じて，提案手法によって性能をところで訓練を終了した．スケジューラには plateau
を用い，初期の学習率を 0.0002 とし，連続で 8 回改
善しなくなる毎に減衰率 0.7 を乗じた．

3.2

比較手法

Seq2Seq

言い換えを適用しないベースライン．

8） http://paraphrase.org/#/download9） http://data.statmt.org/cc-100/10） https://github.com/kpu/kenlm11） https://github.com/joeynmt/joeynmt

大幅に改善できることを示した．
今後は，語順の交替など語句の言い換え以外の言
い換えへの拡張を検討する．また，テキスト分類など他のタスクにおける有効性を検証する．

謝辞
本研究は JST（ACT-X，課題番号: JPMJAX1907）の支援を受けたものです．
12） https://cwiki.apache.org/confluence/pages/viewpage.
action?pageId=65142863― 1732 ―This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).

参考文献[1] Liangyou Li, Andy Way, and Qun Liu. Graph-Based Translation
Via Graph Segmentation. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 97–107,
2016.
[2] Jasmĳn Bastings, Ivan Titov, Wilker Aziz, Diego Marcheggiani,
and Khalil Sima’an. Graph Convolutional Encoders for Syntaxaware Neural Machine Translation. In Proceedings of the 2017
Conference on Empirical Methods in Natural Language Processing, pp. 1957–1967, 2017.
[3] Danqing Wang, Pengfei Liu, Yining Zheng, Xipeng Qiu, and Xuanjing Huang. Heterogeneous Graph Neural Networks for Extractive Document Summarization. In Proceedings of the 58th
Annual Meeting of the Association for Computational Linguistics,
pp. 6209–6219, 2020.
[4] Wei Li, Xinyan Xiao, Jiachen Liu, Hua Wu, Haifeng Wang, andJunping Du. Leveraging Graph to Improve Abstractive MultiDocument Summarization. In Proceedings of the 58th Annual
Meeting of the Association for Computational Linguistics, pp.
6232–6243, 2020.
[5] Taichi Ishiwatari, Yuki Yasuda, Taro Miyazaki, and Jun Goto.
Relation-aware Graph Attention Networks with Relational Position Encodings for Emotion Recognition in Conversations. In Proceedings of the 2020 Conference on Empirical Methods in Natural
Language Processing, pp. 7360–7370, 2020.
[6] Jie Zhu, Junhui Li, Muhua Zhu, Longhua Qian, Min Zhang, andGuodong Zhou. Modeling Graph Structure in Transformer for
Better AMR-to-Text Generation. In Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing
and the 9th International Joint Conference on Natural Language
Processing, pp. 5459–5468, 2019.
[7] Shaowei Yao, Tianming Wang, and Xiaojun Wan. Heterogeneous
Graph Transformer for Graph-to-Sequence Learning. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp. 7145–7154, 2020.
[8] Linfeng Song, Ante Wang, Su Jinsong, Yue Zhang, Kun Xu, Yubin
Ge, and Dong Yu. Structural Information Preserving for Graph-toText Generation. In Proceedings of the 58th Annual Meeting of the
Association for Computational Linguistics, pp. 7987–7998, 2020.
[9] Yanbin Zhao, Lu Chen, Zhi Chen, Ruisheng Cao, Su Zhu, and Kai
Yu. Line Graph Enhanced AMR-to-Text Generation with MixOrder Graph Attention Networks. In Proceedings of the 58th Annual Meeting of the Association for Computational Linguistics, pp.
732–741, 2020.
[10] Deng Cai and Wai Lam. AMR Parsing via GraphSequence Iterative Inference. In Proceedings of the 58th Annual Meeting of the
Association for Computational Linguistics, pp. 1290–1301, 2020.
[11] Yue Zhang and Jie Yang. Chinese NER Using Lattice LSTM. In
Proceedings of the 56th Annual Meeting of the Association for
Computational Linguistics, pp. 1554–1564, 2018.
[12] Xiaonan Li, Hang Yan, Xipeng Qiu, and Xuanjing Huang. FLAT:
Chinese NER Using Flat-Lattice Transformer. In Proceedings of
the 58th Annual Meeting of the Association for Computational
Linguistics, pp. 6836–6842, 2020.
[13] Jinsong Su, Zhixing Tan, Deyi Xiong, Rongrong Ji, Xiaodong Shi,and Yang Liu. Lattice-Based Recurrent Neural Network Encoders
for Neural Machine Translation. In Proceedings of the Thirty-FirstAAAI Conference on Artiﬁcial Intelligence, pp. 3302–3308, 2017.
[14] Fengshun Xiao, Jiangtong Li, Hai Zhao, Rui Wang, and Kehai
Chen. Lattice-Based Transformer Encoder for Neural MachineTranslation. In Proceedings of the 57th Annual Meeting of the
Association for Computational Linguistics, pp. 3090–3097, 2019.
[15] Huda Khayrallah, Gaurav Kumar, Kevin Duh, Matt Post, andPhilipp Koehn. Neural Lattice Search for Domain Adaptation in
Machine Translation. In Proceedings of the The 8th International

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

[27]

[28]

[29]

― 1733 ―Joint Conference on Natural Language Processing, pp. 20–25,
2017.
Matthias Sperber, Graham Neubig, Jan Niehues, and Alex Waibel.
Neural Lattice-to-Sequence Models for Uncertain Inputs. In Proceedings of the 2017 Conference on Empirical Methods in Natural
Language Processing, pp. 1380–1389, 2017.
Daniel Beck, Trevor Cohn, and Gholamreza Haﬀari. Neural Speech
Translation using Lattice Transformations and Graph Networks. In
Proceedings of the Thirteenth Workshop on Graph-Based Methods
for Natural Language Processing, pp. 26–31, 2019.
Pei Zhang, Boxing Chen, Niyu Ge, and Kai Fan. Lattice Transformer for Speech Translation. In Proceedings of the 57th Annual Meeting of the Association for Computational Linguistics,
pp. 6475–6484, 2019.
Matthias Sperber, Graham Neubig, Ngoc-Quan Pham, and Alex
Waibel. Self-Attentional Models for Lattice Inputs. In Proceedingsof the 57th Annual Meeting of the Association for Computational
Linguistics, pp. 1185–1197, 2019.
Matt Post. A Call for Clarity in Reporting BLEU Scores. In
Proceedings of the Third Conference on Machine Translation, pp.
186–191, 2018.
Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit,
Llion Jones, Aidan N. Gomez, Lukasz Kaiser, and Illia Polosukhin.
Attention Is All You Need. In Proceedings of the 31st Conference
on Neural Information Processing Systems, pp. 5998–6008, 2017.
Sudha Rao and Joel Tetreault. Dear Sir or Madam, May I Introduce the GYAFC Dataset: Corpus, Benchmarks and Metrics for
Formality Style Transfer. In Proceedings of the 2018 Conference of
the North American Chapter of the Association for Computational
Linguistics: Human Language Technologies, pp. 129–140, 2018.
Philipp Koehn, Hieu Hoang, Alexandra Birch, Chris CallisonBurch, Marcello Federico, Nicola Bertoldi, Brooke Cowan, Wade
Shen, Christine Moran, Richard Zens, Chris Dyer, Ondřej Bojar,
Alexandra Constantin, and Evan Herbst. Moses: Open Source
Toolkit for Statistical Machine Translation. In Proceedings of the
45th Annual Meeting of the Association for Computational Linguistics, Demo and Poster session, pp. 177–180, 2007.
Rico Sennrich, Haddow Barry, and Alexandra Birch. Neural Machine Translation of Rare Words with Subword Units. In Proceedings of the 54th Annual Meeting of the Association for Computational Linguistics, pp. 1715–1725, 2016.
Ellie Pavlick, Pushpendre Rastogi, Juri Ganitkevitch, Benjamin
Van Durme, and Chris Callison-Burch. PPDB 2.0: Better paraphrase ranking, ﬁne-grained entailment relations, word embeddings, and style classiﬁcation. In Proceedings of the 53rd Annual
Meeting of the Association for Computational Linguistics and the
7th International Joint Conference on Natural Language Processing, pp. 425–430, 2015.
Kenneth Heaﬁeld. KenLM: Faster and Smaller Language Model
Queries. In Proceedings of the 6th Workshop on Statistical MachineTranslation, pp. 187–197, 2011.
Julia Kreutzer, Jasmĳn Bastings, and Stefan Riezler. Joey NMT: A
Minimalist NMT Toolkit for Novices. In Proceedings of the 2019
Conference on Empirical Methods in Natural Language Processing
and the 9th International Joint Conference on Natural Language
Processing (System Demonstrations), pp. 109–114, 2019.
Diederik P. Kingma and Jimmy Lei Ba. Adam: A Method for
Stochastic Optimization. In Proceedings of the 3rd International
Conference on Learning Representations, pp. 1–15, 2015.
Courtney Napoles, Chris Callison-Burch, and Matt Post. Sentential Paraphrasing as Black-Box Machine Translation. In Proceedings of the 2016 Conference of the North American Chapter ofthe Association for Computational Linguistics: Human Language
Technologies (Demonstrations), pp. 62–66, 2016.

This work is licensed by the author(s) under CC BY 4.0(https://creativecommons.org/licenses/by/4.0/).