⽂脈⽂アノテーションによるドキュメント機械翻訳の精度向上に関する研究
発表：安本⽞樹 , 須藤克仁 , 中村哲 @ NAIST
2021/3/18 ⾔語処理学会

研究背景

ドキュメント機械翻訳
n ドキュメント機械翻訳l通常の機械翻訳は１⽂から１⽂を⽣成する
lドキュメント機械翻訳の特徴：
前後⽂の⽂脈や⽂章の全体の話題を考慮した翻訳

n 注⽬される理由
l機械翻訳の⽂ごとの翻訳精度は⼈間と同程度と評される[Hassan et al., 2018]l ドキュメント（⽂章）単位の評価では，⼈間翻訳の⽅が好まれる[Läubli et al., 2018]2

ドキュメント機械翻訳の種類
n 周辺⽂の⽂脈を考慮して翻訳を⾏うモデル
l必要な情報が周辺⽂に含まれていれば，翻訳の質の向上が⾒込める
l関係のない⽂はノイズとなってしまう可能性がある

n ドキュメント全体を参照して翻訳を⾏うモデル
l全ての⽂章の情報を活⽤できるl参照したい箇所に焦点を絞ることが難しい

⻘字：メリット ⾚字：デメリット
3現在のドキュメント機械翻訳の問題点
n ドキュメント機械翻訳における問題点
l⽂脈が必要な時に，必要な情報のみを取り出して，翻訳に活⽤することが⼗分にできていない
l⽂脈を⼗全に活⽤できた場合の検証が⼗分に⾏われていない
以下これまで⾏われていた検証例
lドキュメント（⽂章）ではなく，数⽂をまとめて翻訳する
l英露 [Voita et al., 2019]，⽇英 [Nagata and Morishita, 2020]現在のドキュメント機械翻訳の問題点が正確に掴めていない
lモデルに付与している⽂脈に問題があるのか
lモデル設計や学習に問題があるのか
4

研究内容・意義n ドキュメント機械翻訳における⽂脈⽂の改善
lドキュメントの各⽂に対する⽂脈⽂をアノテーションで作成して，翻訳に必要な⽂脈の情報を活⽤できるようにする
lアノテーションした⽂脈⽂のデータを利⽤して，現在のドキュメント機械翻訳モデルが正しく翻訳できるのかを検証する＜正しく翻訳できた場合＞・付与している⽂脈⽂が正しくない・もしくは質が悪い→翻訳する箇所ではなく，⽂脈⽂を付与する箇所に改善の余地がある＜正しく翻訳できなかった場合＞
・⼈間が翻訳に必要とする⽂脈では正しく翻訳されない→⼈間が翻訳に必要とする⽂脈とは異なる⽂脈を必要とする可能性→翻訳の質向上には学習の⼯夫やモデルの洗練が求められる可能性
5

文脈文アノテーション
n アノテーション
lドキュメントの各⽂に対し，以下の２種類のアノテーションを⾏う
l⽂脈として最適であると考えられる１⽂を抜き出す場合
l⽂脈として最適であると考えられる⽂を１⽂書き出す場合
l実際に翻訳を⾏う状況を想定し，原⾔語のドキュメントのみを参照してアノテーションを⾏う
l全てのアノテーション作業は，筆者が⾏う

6アノテーション：文脈文を１文を抜き出す場合＜ドキュメントの抜粋＞

⾚字：翻訳する⽂ ⻘字：⽂脈⽂

1.もっと練習⽤のダミーが必要になるな
2.私が⼤量に注⽂する
3.これは聖戦の始める準備ができたという意味か？
4.準備はできてるどこから始めたらいいか分からない

⽂脈が必要→１⽂抜き出す

⽂脈が不要

⽂脈が必要？

準備はできてるどこから始めたらいいか分からない→blankトークン
blank※空⽂の意
7アノテーション：文脈文を１文を書き出す場合＜ドキュメントの抜粋＞ ⾚字：翻訳する⽂
1.もっと練習⽤のダミーが必要になるな
2.私が⼤量に注⽂する
3.これは聖戦の始める準備ができたという意味か？
4.準備はできてるどこから始めたらいいか分からない

⽂脈が必要→⾃由に書き出す
我々には⽂脈が不要

⽂脈が必要？

→blankトークン
blank※空⽂の意
8

実験

データセットn コーパス
lOpenSubtitles2018 ⽇英対訳
lテレビや映画の字幕データで，作品ごとに１つのドキュメントとする

n データ分割
データ
ドキュメント数
⽂数

Train
2,617
1,982,514

Dev
69
50,053

Test
70
51,033

合計
2,756
2,083,600

n トークナイズ
lSentencepiece を利⽤し，語彙サイズは⽇英それぞれ 30k とした10

ドキュメント機械翻訳モデル
n モデル
l周辺⽂の⽂脈を利⽤するドキュメント機械翻訳モデルを⽤いる
lDual-encoder Transformer ２種類 [Li et al., 2020]lInside context
Decoder の内部で ⽂脈⽂のAttention を利⽤
lOutside context
Decoder の外部で ⽂脈⽂のAttention を利⽤

lContext-Aware Decoder (CADec) [Voita et al., 2019]11

モデルの学習n ２段階学習

Dual-encoder

l1. ベースtransformer（⽂単位の学習）
l2. ⽂脈を利⽤する学習

n 付与する⽂脈⽂

⽂脈原⾔語

lDual-encoder：直前の１⽂
lCADec：直前の最⼤３⽂CADecn ハイパーパラメータlそれぞれ著者の実装に従った
⽂脈 ⽂脈 ⽂脈 原⾔語
12

文脈文アノテーションについて
n ⽂脈⽂アノテーション
lTestセットに対してアノテーションを⾏う
lアノテーションを⾏うドキュメントは，CADecのベース Transformer を⽤いて翻訳した時に BLEU 20以上のものとした（アライメントの保証）

n 作成したデータ
l３つのドキュメントに対してアノテーションを⾏った
ドキュメント
⽂数

1526

2318

3878

合計
1,785
13

自動評価結果（BLEU / BERTScore）
n 全てのテストデータに対する⾃動評価結果
l全てのテストデータ（70ドキュメント／51,033⽂）を⽤いた結果
lモデルの基本的な性能に顕著な差は⾒られなかった
⽂脈なし

モデル

BLEU

BERTScore
PR

F1

15.43

53.77

44.79

49.19

-

-

--

-

Base Transformer

15.67

CADec

-

Base Transformer
Dual
Dual (inside)
Encoder
Dual (outside)

CADec

直前の周辺⽂BLEU

BERTScore
PR

F1

----

-

15.63

53.76

44.79

49.17

-

-

15.57

53.67

44.63

49.05

52.28

45.19

48.66

-

-

-

---

-

15.70

52.41

45.15

48.70

14自動評価結果（BLEU / BERTScore）
n アノテーションしたデータに対する⾃動評価結果
lアノテーション対象のデータ（3ドキュメント／1,785⽂）を⽤いた結果l選択した⽂脈⽂や書き出した⽂脈⽂で明らかな評価結果の向上は認められなかった
アノテーションした⽂脈⽂
⽂脈直前の周辺⽂

モデル

BLEU

選択した⽂
BERTScore

PR

F1

27.45

64.20

57.39

60.71

Dual (outside) 27.07

63.65

57.03

CADec

64.12

58.27

Dual (inside)

26.57

BLEU

書き出した⽂BERTScore

PR

F1

27.30

64.17

57.15

60.58

60.25

26.76

63.81

56.66

61.14

26.57

64.03

58.19

BLEU

BERTScore
PR

F1

27.31

64.19

57.22

60.62

60.15

26.77

63.77

56.71

60.15

61.05

26.59

64.07

58.23

61.09

15

事例分析（改善が認められた例）
原⽂

⽂脈⽂

翻訳結果

原⾔語⽂
⽬的⾔語⽂
周辺⽂１
周辺⽂２
周辺⽂３
選択した⽂脈⽂
書き出した⽂脈⽂
Dual (inside)
Dual (outside)
CADec + 周辺⽂
CADec + 選択した⽂脈⽂
CADec + 書き出した⽂脈⽂

壁の内側にいるI think theyʼre inside the walls.
⼤丈夫・・・
イヤパトリック
ヤツらがいる ヤツらよ
ヤツらInside the walls.
主語が“He”からInside the walls.
“They”に改善したHeʼs inside the walls.
Theyʼre inside the walls.
Theyʼre inside the walls.

※変化があったもののみモデル名＋⽂脈を表⽰し，変化がなかったものはモデル名のみ表⽰

16

事例分析（翻訳が変化しなかった例）
原⽂

⽂脈⽂

翻訳結果

原⾔語⽂
⽬的⾔語⽂
周辺⽂１
周辺⽂２
周辺⽂３
選択した⽂脈⽂
書き出した⽂脈⽂
Dual (inside)
Dual (outside)
CADec

⾃分でやったと思います
I think they did it to themselves.
健康な⿅が溺れただと意味が分からん
たしかに おかしいでも...
健康な⿅が溺れただと“⿅”という語が⽂脈に含まれていても，主語は“I”から健康な⿅が溺れただと変化しなかった
I think I did it myself.
I think I did it myself.
I think I did.

※変化があったもののみモデル名＋⽂脈を表⽰し，変化がなかったものはモデル名のみ表⽰

17

事例分析（翻訳が悪くなった例①）
原⽂

⽂脈⽂

翻訳結果

原⾔語⽂
⽬的⾔語⽂
周辺⽂１
周辺⽂２
周辺⽂３
選択した⽂脈⽂
書き出した⽂脈⽂
Dual (inside)
Dual (outside)
CADec + 周辺⽂
CADec + 選択した⽂脈⽂
CADec + 書き出した⽂脈⽂

飲むために来たのよIʼm here to drink.
病気なの⼤丈夫？
今はレナの事 話したくない
今はレナの事 話したくない
私たちはIʼm here to drink.
ドキュメントを誤読したアノテーションとなっており，Iʼm here to drink.
主語が“I”から“We”になってしIʼm here to drink.
まったIʼm here to drink.
Weʼre here to drink.

※変化があったもののみモデル名＋⽂脈を表⽰し，変化がなかったものはモデル名のみ表⽰

18

事例分析（翻訳が悪くなった例②）
原⾔語⽂
原⽂

⽬的⾔語⽂

周辺⽂
“_blank”トークンを⽂脈⽂と⽂脈⽂
選択した⽂脈⽂
した時，訳抜けが発⽣してし書き出した⽂脈⽂
まったDual (outside)
+ 周辺⽂
翻訳結果

Dual (outside)+ 選択した⽂脈⽂
Dual (outside)+ 書き出した⽂脈⽂

代表者はSCPD の努⼒を賞賛しています 病院を閉鎖から救いました とは⾔え⼀部の関係者は⾃警団が関与してるかもしれないと⾔っています
Representatives praise the efforts of the SCPD in saving thehospital from shutting down, though some sources say theVigilante may have been involved.
病気なの_blank_blank
The delegates are commending the efforts of the SCPD, buttheyʼve managed to save the hospital from shutting
down some of the vigilantes may be involved.
The delegates are applauding the efforts of the SCPD, buttheyʼre saying that some of the vigilantes may be involved.
The delegates are applauding the efforts of the SCPD, buttheyʼre saying that some of the vigilantes may be involved.

※変化があった Dual (outside) のみ表⽰

19考察n 翻訳が改善した例
l⼀概に全ての翻訳が改善すると断定することはできなかったが，⽂脈を改善することで正しく翻訳させることができる可能性の⽰唆

n 翻訳に変化がなかった例
lモデルの学習が不⼗分である可能性
l学習データに⽂脈から⽬的⾔語を推測する例が少なかった可能性→ 学習データに対してもアノテーションを施してデータの質の改善

20

考察n 翻訳が悪くなった例
lドキュメント誤読によるアノテーションミスが原因→ ⽬的⾔語のドキュメントも参照して，間違いのないデータを作成する必要がある
l学習データとアノテーションした⽂脈⽂の分布が異なり，モデルが対応できなかった可能性（特に“_blank” トークンを⽂脈とした時）

21

まとめと今後の課題

まとめn ドキュメント機械翻訳における⽂脈⽂の改善
l最適な⽂脈をアノテーションで作成し，固定の⽂脈を使⽤した場合と⽐較して翻訳が改善されるのかを検証した
l結果として，⼀概に改善したと断定することはできなかったが，⽂脈を改善することで正しく翻訳させることができる可能性があるl学習やモデルに問題点がある可能性も残る→アノテーションミスのないデータ作成や学習データに対するアノテーションを⾏うこと
これらのデータを⽤いて検証を⾏うことが課題として残った

23

その他の課題n より詳細な分析
lドキュメント全体を参照するモデルとの⽐較
l⽂脈によって推論がなされているのかの検証（⽬的⾔語の⾔語モデル依存になっていないかの検証）
lどの程度の学習リソースを確保した時に，⽂脈を活⽤できるようになるのかの分析

24

付録

モデルの学習n ２段階学習
l１段階⽬
lベースとなる Transformer を学習

ベースTransformerの学習

l原⾔語 → ⽬的⾔語となるように学習する

l２段階⽬
lベースとなる Transformer を利⽤し，⽂脈を利⽤する部分を含む全体を学習する

⽂脈を使⽤したモデル全体の学習

l⽂脈⽂＋原⾔語 → ⽬的⾔語となるように学習する
26

評価方法
n ⾃動評価指標
lBLEU
l単語列としての表層的な評価
lmosestokenizer を利⽤して計測
lBERTScore
l単語の分散表現を⽤いた意味的な評価
lfinetuning は⾏わず rescaling を⾏って計測27

ドキュメント翻訳の例＜ドキュメントの抜粋＞ ⾚字：翻訳する⽂ ⻘字：必要な⽂脈
1.寝ちゃったよ2.連れて⾏こうか？
3.私がやる4.いつも⻭を磨かないで 寝てしまうんだ
5.⼤したことない
6.⾔うこと聞かない時は イヤになる
7.彼⼥の年齢は 反抗期だから普通さ（彼⼥）寝ちゃったよShe has slept

原⾔語⽂

翻訳⽂
28

先行研究：周辺文の文脈を考慮する機械翻訳
翻訳する⽂（原⽂）と⽂脈となる周辺⽂を取り出す

周辺⽂
＋
原⽂

：：
：：
：

ドキュメント（⽂章）

翻訳⽂

機械翻訳モデル
⼊⼒

出⼒

例：CADec [Voita et al., 2019], HAN [Miculicich et al., 2018], Dual Encoder [Li et al., 2020], etc...

29

周辺文の文脈を利用するメリット・デメリット
n メリットl必要な情報が周辺⽂に含まれていれば，翻訳の質の向上が⾒込める

n デメリット
l関係のない⽂はノイズとなってしまう可能性がある30

先行研究：ドキュメント全体を参照する機械翻訳

翻訳する⽂を１⽂ずつ取り出す

：：：
：
：

ドキュメント
（⽂章）

全体を参照

原⽂

翻訳⽂

機械翻訳モデル
⼊⼒

出⼒

例：Memory Networks [Maruf et al., 2018], Selective Attention [Maruf et al., 2019], etc...

31

文章全体を参照するメリット・デメリット
n メリットl全ての⽂章の情報を活⽤できる

n デメリットl参照したい箇所に焦点を絞ることが難しい32

翻訳例の比較n 翻訳例の⽐較
l⽂単位の翻訳
彼はよく将棋をします。 囲碁もします。

He often plays Shogi.

I also play Go.

lドキュメント単位の翻訳
彼はよく将棋をします。

He often plays Shogi.

囲碁もします。

He also plays Go.
33

モデル詳細（Dual-encoder: Outside approach）
nOutside approach
Hcʼ……

Attention
Hc

Hs

Encoderc

Encoders

⽂脈⽂

原⾔語

Attention

Decoder

……
⽬的⾔語
34

モデル詳細（Dual-encoder: Inside approach）
nInside approach……

Decoder
Attention

Hc

Attention
……
⽬的⾔語

Hs

Encoderc

Encoders

⽂脈⽂

原⾔語

35

モデル詳細（CADec）
2222

1

1

1

1

Add & Norm
0000

OutputembeddingTransformer
decoder
Sentence
distanceembeddingTransformer
encoder…

Feed Forward
Add & Norm
Multi-Head
Attention: : : :

: : : :

: : : :
Add & Norm
Multi-Head
Attention

222

2: : : :

1111: : : :0000: : : :

Add & Norm
Masked MultiHead Attention

CADec
⽂脈⽂ 2

⽂脈⽂ 1

原⾔語

⽬的⾔語

36

事例分析（一部改善し，一部悪くなった例）
原⽂

⽂脈⽂

翻訳結果

原⾔語⽂
⽬的⾔語⽂
周辺⽂１
周辺⽂２
周辺⽂３
選択した⽂脈⽂
書き出した⽂脈⽂
Dual (inside)
Dual (outside)
CADec + 周辺⽂
CADec + 選択した⽂脈⽂
CADec + 書き出した⽂脈⽂

メールの返事が 来ない
She isn't answering any of my texts.
24って誰？
アリスの元彼
レナはどうしてる？
レナはどうしてる？
彼⼥からI didnʼt get an email.
I didnʼt get an email.
He never responded to my e-mail.
He never responded to my e-mail.
She never responded to her e-mail.

※変化があったもののみモデル名＋⽂脈を表⽰し，変化がなかったものはモデル名のみ表⽰

37

文ごとの評価38

文ごとの評価39

How to Analyze Contribution (1)nNMT models use source and target information
I

saw

acat

Current
Prediction:::::::::

:

昨⽇

猫を⾒た。




I

saw

a

cat

Source information

Target information

40

How to Analyze Contribution (2)nWhat influences predictions: source or target?
昨⽇

猫を⾒た。

Source information



I

saw

a

NMT Modelcatyesterday
Next token prediction

Target information
Contribution?? %?? %SourceTarget41How to Analyze Contribution (3)昨⽇

何 してた？

Context information
昨⽇

猫を⾒た。

Source information
Isawayesterday

NMT Model

Next token prediction

catTarget information
Contribution?? %?? %?? %Context

SourceTarget42

Our Research GoalnHybrid model that can extract or abstract required
context from the document::
囲碁もします。
:::

Document

彼は将棋をします。

Context

囲碁もします。

SourceHe also plays Go.

Translation
43Model Details – Selective Attention (1)
0:::
:

0

Sentence Attention

Word Attention
44Model Details – Selective Attention (2)Source Sentence0:0Document NMT:
Target Sentence

Sentence
Attention
Word

Selective Attention45

ドキュメント機械翻訳が必要とされる場面
n ⽂脈が必要とされる例
l省略補完（3ページの例）
l曖昧性解消例） 株 -> stock (株式) or stump (切り株)l代名詞 / 冠詞l親しみやすさ例） you -> 君，あなた，お前l訳語⼀貫性46