第１回AAMTセミナー
2022年9⽉28⽇(⽔) 15:00-16:30

第9回 ⻑尾賞 学⽣奨励賞 受賞者講演
学習時と推論時における⼊⼒データの特徴の違いを考慮した
ニューラル機械翻訳モデルの学習⼿法

東京⼯業⼤学情報理⼯学院 （現 NHK放送技術研究所）
美野 秀弥

⽬的
n翻訳モデルの学習時と翻訳時のデータの特徴の違いによる翻訳精度低下の解決
nデータの特徴の分類
l学習時と翻訳時のデータの特徴の違いを下記の４つ観点で分類し，それぞれの違いに対応したニューラル機械翻訳のタスクを扱う(a) 翻訳対象(b) 翻訳結果(c) 翻訳対象と翻訳結果との関係(d) 外部情報2データの特徴の分類項⽬(a) 翻訳対象

l⼊⼒データの語彙，体裁，内容の特徴
l例︓ニュース⽂や特許⽂書の⼊⼒(b) 翻訳結果

l出⼒データの語彙，体裁，内容の特徴
l例︓平易に翻訳した出⼒，専⾨語彙は固定訳を⽤いて翻訳した出⼒(c) 翻訳対象と翻訳結果との関係

l例︓翻訳対象のデータを⽂字数を制限して翻訳する（少ない or 多い），意訳する，低品質な翻訳精度で翻訳する(d) 外部情報

l翻訳対象ではない⼊⼒データの情報（翻訳の補助情報）
l例︓対訳辞書，⽂脈情報
3取り組むタスクn分類項⽬におけるデータの特徴の違い対応した２つのニューラル機械
翻訳タスクに焦点を当て，双⽅において翻訳精度向上のための⼿法を提案する
1. ドメインタグを⽤いたニューラル機械翻訳

ü (a) 翻訳対象，(b) 翻訳結果，(c)翻訳対象と翻訳結果との関係，に対応

2. ⽬的⾔語側の前⽂を⽤いた⽂脈情報考慮型ニューラル機械翻訳
ü (d) 外部情報，に対応

4

1. ドメインタグを⽤いたニューラル機械翻訳

5

ドメインアダプテーションを⽤いたニューラル機械翻訳
n翻訳対象（インドメイン）と翻訳対象以外（アウトオブドメイン）の対訳データの両⽅を効果的に学習して翻訳精度を向上させる
l⽬的︓インドメインのデータの特徴とは異なる特徴を持つアウトオブドメインのデータを学習に使うとインドメインのデータの翻訳精度が低下する課題の解決
l本論⽂では，学習時または翻訳時に⽤いる⼊出⼒データ全体の特徴をドメインと定義

n本論⽂では，ドメインタグを⽤いたニューラル機械翻訳を扱う

6

ドメインタグを⽤いたニューラル機械翻訳
n各データのドメインのタグ（< タグA>，< タグB>，...）を原⾔語側のデータに付与して学習
n翻訳時は翻訳対象のインドメインのタグを付与して翻訳      < A > x1x2 … xK

y1y2 … y*lどのようなタグを設定するかによって精度は変わる
7

本章で⽤いる⽇英ニュースコーパス [⽥中ら, 2021]
n内容等価コーパス（インドメインデータ）

l 原⾔語側と⽬的⾔語側の内容が等価になるように⼈⼿で翻訳した対訳データ

n⾃動アライメントコーパス（アウトオブドメインデータ）

l 事前に⼈⼿で翻訳された原⾔語側と⽬的⾔語側のデータ同⼠を⾃動で対応づけした対訳データ

n逆翻訳コーパス（アウトオブドメインデータ）

l 事前に⽤意した機械翻訳機で⽬的⾔語側のデータを原⾔語側に翻訳して作られた対訳データ

図︓⾃動アライメントコーパスのデータ例．⼀部の単語やフレーズが翻訳されていない「訳抜け」や翻訳元にない情報が翻訳結果に含まれる「過剰訳」を含む．

8

本章で⽤いる⽇英ニュースコーパス [⽥中ら, 2021]
n各コーパスの特徴
コーパス

原⾔語側

⽬的⾔語側

原⾔語側と⽬的⾔語側のデータ間の関係

内容等価コーパス

元のニュース

内容が等価に内容が等価である
なるように翻訳

⾃動アライメント
コーパス

元のニュース元のニュース

訳抜けや過剰訳などが含まれる

逆翻訳コーパス(内容等価)

内容等価コーパスに合わせた機械翻訳の出⼒

元のニュース

機械翻訳特有の訳抜け，過剰訳，誤訳が含まれる

逆翻訳コーパス(アライメント)

⾃動アライメントコーパスに合わせた機械翻訳の出⼒

元のニュース

機械翻訳特有の訳抜け，過剰訳，誤訳が含まれる

9

ドメインタグを⽤いた先⾏研究
nコーパスタグ
l各対訳コーパスに１つのタグを付与する⼿法 [Kobus et al., 2017]
ü ジャンルの異なる対訳コーパスに異なるドメインタグを付与

nノイズタグl機械翻訳を⽤いて構築したコーパスに別個のタグを付与する⼿法 [Vaibhav etal., 2019]

n２つのタグl各対訳コーパスに２つのタグを付与する⼿法 [Berard et al., 2019]ü コーパスタグとノイズタグの両⽅を付与

10

ドメインタグを⽤いた従来⼿法の課題
n従来⼿法ではコーパス間の特徴を表現しきれていない

l例︓「逆翻訳コーパス（内容等価）」と「⾃動アライメントコーパス」は⽬的⾔語側のデータはともに「元のニュース」を⽤いているが従来⼿法ではこの情報が落ちてしまう
11

提案⼿法
n原⾔語側のデータの特徴，⽬的⾔語側のデータの特徴，原⾔語側と⽬的⾔語側間の関係，に着⽬したタグを付与する

12

評価実験
n⽇英ニュースコーパスを⽤いた⽇英機械翻訳実験で評価
lテストセットは内容等価コーパスからあらかじめ重複しないように抽出した対訳データ（2,000⽂）を利⽤

n３種類の実験を実施

1. ドメインタグの効果

ü ドメインタグを⽤いずに特徴の異なるコーパスを追加して⽐較

2. 提案⼿法の効果

ü ドメインタグを⽤いた従来⼿法との⽐較ü さらにドメインタグを最⼤に増やした場合（７つのタグ）との⽐較

3. インドメインのデータ数による効果の違い

ü インドメインデータを100K，50K，10K，5K，1Kと減らして⽐較

n評価尺度
lBLEU [Papineni et al., 2002]

13

実験結果１︓ドメインタグの効果
n特徴の異なるデータを追加してもドメインタグを⽤いない
場合は翻訳精度は向上しない
学習に⽤いたコーパス

タグ

データ数

BLEU

内容等価コーパス

無0.22M

20.93

内容等価コーパス＋⾃動アライメントコーパス

無0.51M

20.68

内容等価コーパス＋⾃動アライメントコーパス＋逆翻訳コーパス（内容等価）+逆翻訳コーパス（アライメント）

無1.57M

20.36

⾃動アライメントコーパス

無0.29M

10.30
14

実験結果２︓提案⼿法の効果
n提案⼿法の翻訳精度が最も⾼くなった
n２種類のタグと提案⼿法（４種類のタグを利⽤）のBLEUの差は+0.31であり，付与するドメインタグによって向上の程度は異なる
ドメインタグ
タグ無し
コーパスタグノイズタグ
２つのタグ
提案⼿法
７つのタグ

タグの数

データ量
112
4
7

1.57M
1.57M
1.57M
1.57M
1.57M
1.57M

BLEU
20.36
22.41
24.19
24.25
24.56
24.26

Δ
+2.05
+3.83
+3.89
+4.20
+3.90

Δ︓タグ無しの結果との差分

15

まとめ
n複数タグを⽤いたドメインタグを⽤いた⼿法を提案
l⽇英ニュースコーパスを⽤いた⽇英機械翻訳実験において提案⼿法の効果を確認

n今後の課題l翻訳精度の向上に寄与するドメインタグの選定⽅法の検討
l他データセットでの実験

16

2. ⽬的⾔語側の前⽂を⽤いた⽂脈情報考慮型
ニューラル機械翻訳17⽂脈情報考慮型ニューラル機械翻訳
n翻訳対象の周辺の⽂などを⽂脈情報として活⽤して翻訳精度を向上させる

l⽬的︓１⽂ごとに学習，翻訳すると翻訳精度が低下する場合がある課題の解決
l 翻訳元⽇本語１⽂だけでは情報が不⾜しており的確な英語に翻訳できない⽇英翻訳例
ü 翻訳元⽇本語⽂

京都府内で感染が確認されたのは、これで１４⼈になります。

ü 正解英語訳 (感染者の性別の情報が必要)

She is the 14th person to have been confirmed to be infected in Kyoto Prefecture.

ü ⽂脈情報（⽇本語側の前⽂）

京都市では区役所の窓⼝の消毒作業を⾏うとともに、⼥性と⼀緒に働いていた16⼈の職員の健康状態について経過観察することにしています。
18

⽂脈情報考慮型ニューラル機械翻訳システム[Bawden et al., 2018]
n 対訳データ (例︓⽇本語+⽂脈, 英語)を学習、翻訳

l 原⽂エンコーダ︓翻訳する⽇本語⽂を受け取り、⽂ベクトルを⽣成
l ⽂脈エンコーダ︓⽂脈情報（翻訳対象の周辺の⽂）を受け取り、⽂脈情報のベクトルを⽣成
l デコーダ︓⽇本語⽂ベクトルと⽂脈⽂ベクトルを受け取り、英語⽂を１トークンずつ⽣成
⽇本語⽂

学校は今⽉3⽇から休校になりました。

⽇本語側⽂脈(英語側⽂脈)

原⽂エンコーダ
デコーダ⽂脈エンコーダ

神奈川県の⾼校１年⽣の男⼦学⽣が…
(A male student in the first year of juniorhigh school in Kanagawa Prefecture…)

英語⽂
His school has been closed
since the 3rd of this month.

19⽂脈情報考慮型ニューラル機械翻訳の先⾏研究で⽤いられる
⽂脈情報とその課題
n⽂脈情報として⽤いられるデータ
l原⾔語側の前⽂ [Agrawal et al., 2018; Bawden et al., 2018]l⽬的⾔語側の前⽂ [Bawden et al., 2018]

n先⾏研究により，⽂脈情報に原⾔語側の前⽂を⽤いると翻訳精度は向上するが，⽬的⾔語側の前⽂を⽤いると翻訳精度は低下するという課題がある

20

⽬的⾔語側の前⽂を⽤いることが有効な例
n原⾔語側にない情報が⽬的⾔語側に含まれる翻訳lゼロ代名詞を含む例（⽇英翻訳）
⽂脈情報（前⽂）

翻訳対象

原⾔語側

昼⾷にはサラダを⾷べる．

⽜乳も飲みます⽬的⾔語側

His friend eats a salad for lunch.

à原⾔語側前⽂を⽤いた翻訳結果︓
I also drink a milk.
à⽬的⾔語側前⽂を⽤いた翻訳結果︓
His friend also drinks a milk.

l⽂末表現を含む例（英⽇翻訳）
⽂脈情報（前⽂）

翻訳対象

原⾔語側

I eat a salad for lunch.

I also drink a milk.

⽬的⾔語側

私は昼⾷にサラダを⾷べる．

à原⾔語側前⽂を⽤いた翻訳結果︓
私は⽜乳も飲みます．
à⽬的⾔語側前⽂を⽤いた翻訳結果︓
私は⽜乳も飲む．
21

⽬的n先⾏研究では⽬的⾔語側の⽂脈情報を⽤いると翻訳精度が低下した
原因を推定
n⽬的⾔語側の⽂脈を⽤いて翻訳精度を向上させる⼿法を提案する

22

従来⼿法の⽬的⾔語側の⽂脈を⽤いる機械翻訳システムの課題の原因
n 対訳データ (例︓⽇本語+⽬的⾔語側の前⽂, 英語)を学習、翻訳
l ⽂脈エンコーダ︓英語側前⽂を受け取り、⽂脈⽂ベクトルを⽣成
ü 学習時︓対訳データ内の前⽂の参照訳を利⽤
ü 翻訳時︓前⽂の機械翻訳結果を利⽤

⽇本語⽂
英語側前⽂

学習時︓参照訳
翻訳時︓機械翻訳結果

原⽂エンコーダ
デコーダ

英語⽂

⽂脈エンコーダ

23

従来⼿法の⽬的⾔語側の⽂脈を⽤いる機械翻訳システムの課題の原因
n 対訳データ (例︓⽇本語+⽬的⾔語側の前⽂, 英語)を学習、翻訳
l ⽂脈エンコーダ︓英語側前⽂を受け取り、⽂脈⽂ベクトルを⽣成
ü 学習時︓正確な訳である参照訳を利⽤
ü 翻訳時︓ノイズが含まれる機械翻訳結果を利⽤

⽇本語⽂
英語側前⽂

学習時︓参照訳
翻訳時︓機械翻訳結果

原因︓学習時と翻訳時に⽤いる⽂脈情報のデータの特徴が異なっている

原⽂エンコーダ
デコーダ

英語⽂

⽂脈エンコーダ

⽬的⾔語側の⽂脈情報を⽤いることで先⾏研究で翻訳精度が低下した原因が外部情報（⽬的⾔語側の前⽂）のデータの違いを考慮していないことにあるとし，データの違いを考慮した⼿法を提案する
24

提案⼿法１: 機械翻訳結果を利⽤
n 学習時と翻訳時ともに⽬的⾔語側前⽂の機械翻訳結果を⼊⼒

l 原⽂エンコーダ、デコーダは既存⼿法と同様
l 学習時と翻訳時に⽤いる⽂脈情報の違いによるデータの特徴の違いが解消
l 課題︓機械翻訳結果に含まれるノイズが学習に悪影響を及ぼす可能性がある

⽇本語⽂
英語側前⽂
学習時︓機械翻訳結果参照訳
翻訳時︓機械翻訳結果

原⽂エンコーダ
デコーダ

英語⽂

⽂脈エンコーダ

25提案⼿法２: 参照訳と機械翻訳結果を利⽤（提案⼿法１の改善）
n 学習時に⽬的⾔語側前⽂の参照訳と機械翻訳結果の両⽅を確率値pでサンプリングして⼊⼒
l カリキュラムラーニングの⼿法を参考に、最初の学習では「参照訳」を中⼼に学習して徐々に「機械翻訳結果」を多く学習していくü 最初に「参照訳」を⽤いることで、（ノイズがないため）学習が促進される
ü 段階的に「機械翻訳結果」の割合を増やすことで、（翻訳時と同じ特徴を有する）機械
翻訳結果に含まれるノイズに対応した学習ができる

⽇本語⽂

原⽂エンコーダ

英語側前⽂
学習時︓ 参照訳
機械翻訳結果翻訳時︓機械翻訳結果

デコーダ

𝑝
⽂脈エンコーダ
1−𝑝𝑘𝑝=𝑘 + exp 𝑒 − 2

英語⽂𝑒 :学習回数, k=1
26

評価実験
n⽇英・英⽇機械翻訳実験
データの種類ニュース
TEDトーク

学習データ⽂数

220,180
194,170

評価⽤テストセット⽂数

2,000
1,285

n⽬的⾔語側の⽂脈情報

l計算機コストを抑えるために前の１⽂のみを⽤いる

n⽐較⼿法

l ⽂レベル機械翻訳システム︓⽂脈情報を⽤いずに対訳データのみで学習
l ⽂脈情報考慮型機械翻訳システム︓英語側の前⽂参照訳と対訳データで学習

n評価尺度

lBLEU [Papineni et al., 2002]27

⽇英・英⽇機械翻訳実験結果
学習時
⽂脈情報

機械翻訳システム

翻訳時
⽂脈情報

ニュース

TEDトーク

⽇英英⽇

⽇英

英⽇

⽂レベル機械翻訳システム --

24.23

41.99

8.48

15.69

⽂脈情報考慮型機械翻訳
システム

参照訳

機械翻訳

24.80

42.40

8.98

16.15

提案⼿法１

機械翻訳

機械翻訳

24.31

42.45

9.15

16.27

提案⼿法２

参照訳＋機械翻訳 機械翻訳

24.86

42.79

9.66

16.37

n 具体例（⽇英）（英語側の前⽂）
Well, you can do it for yourself.
（翻訳対象⽇本語⽂） そして信頼性を⾼めることができます。
正解英語訳

You can make your own sense of trust.

⽂レベル機械翻訳システム

And then we can increase trust .

提案⼿法２

You can improve your confidence.
28

まとめn 既存⼿法の⽂脈情報考慮型機械翻訳システムの課題を⽰し、⽂脈情報として⽬的⾔語側の前⽂を利⽤したニューラル機械翻訳の新たな学習⼿法を提案した
l ⽇英・英⽇機械翻訳の評価実験により，提案⼿法の効果を確認した

n 今後の課題l データを変えた時の最適なハイパーパラメータを確認
l ⽂脈情報として複数⽂を⽤いた場合の効果を確認

29

全体のまとめ30全体のまとめn学習時と翻訳時のデータの特徴の違いを４つの観点で分類した
n各観点において特徴の異なるデータを⽤いたことで翻訳精度が低下した２つのニューラル機械翻訳のタスクに取り組んだ
lドメインタグを⽤いたニューラル機械翻訳
l⽬的⾔語側の前⽂を⽤いた⽂脈情報考慮型ニューラル機械翻訳

n双⽅のタスクにおいて翻訳精度を向上させる⼿法を提案して効果を確認した

l複数の特徴タグを⽤いたニューラル機械翻訳
l⽬的⾔語側の前⽂として参照訳と機械翻訳結果の両⽅を⽤いた⽂脈情報考慮型
ニューラル機械翻訳31

関連研究と提案⼿法におけるデータの特徴の分類項⽬の対応

32

今後の課題n本論⽂で扱った２つのニューラル機械翻訳以外のタスクにおいて，学習時と翻訳時とのデータの違いにより翻訳精度が低下しているかどうか検証する
nドメインが不明なコーパスに対応できる⼿法を検討する
l例えばウェブから収集したデータなどは特徴が違うデータが混在しており，それらを区別することができない
lクラスタリングなどの⼿法を⽤いて分類する必要があり，有効なデータの分類⼿法の検討が必要となる33

謝辞
本研究を進め，論⽂をまとめるにあたり，ご指導とご助⾔を賜りました
多くの⽅々に対し，感謝の⾔葉を述べさせていただきます．
主指導教官であった徳永健伸教授には，本研究だけでなく，⾃然⾔語処理全般の研究に関して，⽇頃より多くのご指導とご助⾔を賜りました．
深く感謝いたします．
本研究成果の⼀部は国⽴研究開発法⼈情報通信研究機構の委託研究「多⾔語⾳声翻訳⾼度化のためのディープラーニング技術の研究開発」(課題197)，「⾃動翻訳の精度向上のための「マルチモーダル情報の外部制御可能なモデリング」の研究開発 」 (課題225)により得られたものです．

34

補⾜資料

35

取り扱う２つのタスクの関係性
nタスク⾃体は別個の課題を扱った
タスク
lドメインタグを⽤いたニューラル
機械翻訳

ü 特徴の異なる対訳コーパスを⽤いて翻訳精度を向上させる
ü 対訳データが少ない場合に有効

l⽂脈情報考慮型ニューラル機械翻訳

ü ⽂脈情報を⽤いて翻訳精度を向上させる
ü １⽂を越えた情報や知識が必要な場合に有効

n「データの特徴の違いによる翻訳精度の低下」という共通の課題を有している36

ドメインタグを⽤いた先⾏研究と提案⼿法におけるデータの特徴の分類項⽬の対応
n提案⼿法は分類項⽬全てを考慮したタグ体系となっている

37

本章で⽤いる⽇英ニュースコーパス [⽥中ら, 2021]
n統計情報

38

実験結果３︓インドメインのデータ数による効果の変化
nインドメインのデータ数が減少しても提案⼿法の翻訳精度は向上
nインドメインのデータ数が1Kの場合の提案⼿法の効果は下がった

25

タグ無し
提案⼿法

20
15
10220K

100K

50K

10K

5K

1K

インドメインのデータ数
ドメインタグ

220K

100K

50K

10K

5K

1K

タグ無し

20.36

18.30

17.01

14.75

14.34

14.31

提案⼿法

24.56

22.20

21.33

19.03

18.22

16.88

Δ+4.20+3.90+4.32

+4.28

+3.88

+2.57

合計データ数

1.57M

1.45M

1.40M

1.36M

1.35M

1.35M
39

⽬的⾔語側の前⽂を⽤いる機械翻訳システムの従来⼿法と提案⼿法におけるデータの特徴の分類項⽬の対応
n提案⼿法は(d) 外部情報の特徴の違いを考慮した⼿法となっている

40

分析１︓⼈⼿評価
nTEDトークコーパスの⽇英機械翻訳タスクのテストセットからランダムに300⽂を抽出して⼈⼿評価を実施した
l⽇本語側に主語の省略があるかどうか確認
l主語の省略がある場合は英語側で正しく主語を補完して翻訳しているか確認

主語の省略あり
機械翻訳システム
⽂レベル機械翻訳システム
提案⼿法２︓正解訳と機械翻訳結果を利⽤

主語の省略なし

正解訳数

誤訳数

201
201

49
63

50
3641

TEDトークコーパス⽇英機械翻訳タスク実例１
翻訳対象の⽇本語⽂

名前は知りませんが彼の話はできます

⽬的⾔語側の前⽂（機械翻訳結果）

I'm going to talk about a boy in a village.

参照訳

I don't know his name, but I do know his story.

⽂レベル機械翻訳システム

I don't know the name, but I can tell you his story.

提案⼿法２︓正解訳と機械翻訳結果を利⽤

I don't know his name, but I can tell you his story.

n⽂レベル機械翻訳システムでは“the name”となっているが，提案⼿法
では“his name”と⼈称所有格を正しく翻訳できている

42

TEDトークコーパス⽇英機械翻訳タスク実例２（提案⼿法が誤った例）
翻訳対象の⽇本語⽂

ヒールでダンスできれば当然ヒールで歩けますからね

⽬的⾔語側の前⽂（機械翻訳結果）

Yeah, on Broadway. It’s crazy. My parents couldn’t
afford physical therapy, so they sent me to dancing
school.

⽬的⾔語側の２つ前の⽂（機械翻訳結果）

I was in Broadway, and I was dancing.

参照訳

I learned how to dance in heels, which means I canwalk in heels.

⽂レベル機械翻訳システム

Because, of course, if you can dance on your heels, youcan walk on your feet.

提案⼿法２︓正解訳と機械翻訳結果を利⽤

They could dance with their feet, because they could
walk with their legs.

n⽂レベル機械翻訳システム，提案⼿法ともに主語や所有格の補完が不適切であった．
n前⽂が⻑く意味を把握しきれずに誤訳した可能性がある．
n２つ前の⽂を使うことで正しく翻訳できる可能性がある．
43

分析２︓データの特徴の違いの影響（学習時と翻訳時ともに参照訳を利⽤）
n ⽬的⾔語側前⽂の参照訳を⽂脈エンコーダに⼊⼒して学習l 原⽂エンコーダ、デコーダは既存⼿法と同様
l 学習時と翻訳時に⽤いる⽂脈情報の違いによるデータの特徴の違いが解消される
l 実際には翻訳時に参照訳を使える状況にはないため，現実的な設定ではない

n 翻訳時に⽬的⾔語側前⽂に機械翻訳を⽤いた場合と参照訳を⽤いた場合との間の翻訳精度を⽐較する
⽇本語⽂
英語側前⽂
学習時︓参照訳
翻訳時︓参照訳 機械翻訳結果

原⽂エンコーダ
デコーダ

英語⽂

⽂脈エンコーダ44

分析２の実験結果
学習時
⽂脈情報

機械翻訳システム

翻訳時
⽂脈情報

ニュース

TEDトーク

⽇英

英⽇

⽇英

英⽇

⽂レベル機械翻訳システム

--

24.23

41.99

8.48

15.69

⽂脈情報考慮型機械翻訳システム

参照訳

機械翻訳

24.80

42.40

8.98

16.15

⽂脈情報考慮型機械翻訳システム

参照訳

参照訳

25.09

42.50

9.51

16.39

n 学習時に機械翻訳を⽤いた場合と⽐較して参照訳を⽤いた場合の翻訳精度は向上した
n この翻訳精度の差がデータの特徴の違いによる影響だと考えられる

45

分析３︓カリキュラムラーニングの効果（参照訳と機械翻訳結果の両⽅を利⽤）
n ⽬的⾔語側前⽂の参照訳と機械翻訳結果の両⽅を⼀定の割合で⽂脈エンコーダに⼊⼒して学習l 原⽂エンコーダ、デコーダは既存⼿法と同様
l 学習時に⽤いる参照訳と機械翻訳結果は半々で利⽤（割合は固定）
l 翻訳時は機械翻訳結果を利⽤

n 参照訳と機械翻訳結果のデータの割合を制御して学習するカリキュラム
ラーニングと⽐較
⽇本語⽂
英語側前⽂
学習時︓参照訳＋機械翻訳結果
翻訳時︓機械翻訳結果

原⽂エンコーダ
デコーダ

英語⽂

⽂脈エンコーダ46

分析３の実験結果
学習時
⽂脈情報

機械翻訳システム

翻訳時
⽂脈情報

ニュース

TEDトーク

⽇英

英⽇

⽇英

英⽇

⽂レベル機械翻訳システム --

24.23

41.99

8.48

15.69

⽂脈情報考慮型機械翻訳
システム

参照訳＋
機械翻訳（固定）

機械翻訳

24.30

42.44

9.05

16.28

⽂脈情報考慮型機械翻訳
システム

参照訳＋機械翻訳（変化）

機械翻訳

24.86

42.79

9.66

16.37

n 学習時に⽤いる⽂脈情報のデータの割合を制御することで翻訳精度が向上
n この翻訳精度の差がカリキュラムラーニングによる影響であると考えられる
47

⽬的⾔語側の前⽂を⽤いた⽂脈情報考慮型ニューラル
機械翻訳の翻訳実験結果
学習時
⽂脈情報

機械翻訳システム

翻訳時
⽂脈情報

ニュース

TEDトーク

⽇英

英⽇

⽇英

英⽇

⽂レベル機械翻訳システム --

24.23

41.99

8.48

15.69

⽂脈情報考慮型機械翻訳システム（従来⼿法）

参照訳

機械翻訳

24.80

42.40

8.98

16.15

提案⼿法１

機械翻訳

機械翻訳

24.31

42.45

9.15

16.27

提案⼿法２

参照訳＋機械翻訳 機械翻訳
（変化）

24.86

42.79

9.66

16.37

分析３

参照訳＋機械翻訳 機械翻訳
（固定）

24.30

42.44

9.05

16.28

分析２

参照訳

25.09

42.50

9.51

16.39

参照訳

48

貢献n全体の貢献
l学習時と翻訳時におけるデータの特徴を４つの観点で分類

ü 体系的に分類したことで，データの特徴の違いを詳細に区別して下記の２つのニューラル機械翻訳の改善⼿法を提案できた

nドメインタグを⽤いたニューラル機械翻訳
l従来⼿法が対訳データ全体で特徴を分類したのに対し，提案⼿法ではデータの特徴の違いを原⾔語側の特徴，⽬的⾔語側の特徴，原⾔語側と⽬的⾔語側のデータ間の特徴に分類して学習することで翻訳精度を向上させた

n⽬的⾔語側の前⽂を⽤いた⽂脈情報考慮型ニューラル機械翻訳
l翻訳精度が低下した従来⼿法の原因が学習時と翻訳時における⽬的⾔語側の⽂脈情報のデータの特徴の違いにあることを明らかにし， 学習時の⽂脈情報を学習の進⾏に応じて参照訳から機械翻訳結果へ段階的に切り替えることで翻訳精度を向上させた
49

参考⽂献 (1/3)[Bahdanau et al.] Bahdanau, D., Cho, K., and Bengio, Y. (2015). “Neural Machine Translation by JointlyLearning to Align and Translate.” In 3rd International Conference on Learning Representations, ICLR
2015, San Diego, CA, USA, May 7-9, 2015, Conference Track Proceedings.
[Bawden et al.] Bawden, R., Sennrich, R., Birch, A., and Haddow, B. (2018). “Evaluating Discourse
Phenomena in Neural Machine Translation.” In Proceedings of the 2018 Conference of the North
American Chapter of the Association for Computational Linguistics: Human Language Technologies,
Volume 1 (Long Papers), pp. 1304–1313, New Orleans, Louisiana. Association for ComputationalLinguistics.
[Berard et al.] Berard, A., Calapodescu, I., and Roux, C. (2019b). “Naver Labs Europe’s Systems for theWMT19 Machine Translation Robustness Task.” In Proceedings of the Fourth Conference on MachineTranslation (Volume 2: Shared Task Papers, Day 1), pp. 526–532, Florence, Italy. Association for
Computational Linguistics.
[Cho et al.] Cho, K., van Merri¨enboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., andBengio, Y. (2014). “Learning Phrase Representations using RNN Encoder–Decoder for Statistical
Machine Translation.” In Proceedings of the 2014 Conference on Empirical Methods in Natural
Language Processing (EMNLP), pp. 1724–1734, Doha, Qatar. Association for Computational Linguistics.
50

参考⽂献(2/3)[Kingma and Ba] Kingma, D. P. and Ba, J. (2015). “Adam: A method for stochasticoptimization.” In International Conference on Learning Representations (ICLR).
[Kobus et al.] Kobus, C., Crego, J., and Senellart, J. (2017). “Domain Control for Neural
Machine Translation.” In Proceedings of the International Conference Recent Advances in
Natural Language Processing, RANLP 2017, pp. 372–378, Varna, Bulgaria. INCOMA Ltd.
[Papineni et al.] Papineni, K., Roukos, S., Ward, T., and Zhu, W.-J. (2002). “Bleu: a Method forAutomatic Evaluation of Machine Translation.” In Proceedings of the 40th Annual Meeting of
the Association for Computational Linguistics, pp. 311–318, Philadelphia, Pennsylvania, USA.
Association for Computational Linguistics.
[Robbins and Monro] Robbins, H. and Monro, S. (1951). “A stochastic approximation method.”
Annals of Mathematical Statistics, 22, pp. 400–407.

51参考⽂献(3/3)[Sutskever et al.] Sutskever, I., Vinyals, O., and Le, Q. V. (2014). “Sequence to Sequence Learning with
Neural Networks.” In Proceedings of the 27th International Conference on Neural Information
Processing Systems - Volume 2, NIPS’14, pp. 3104–3112, Cambridge, MA, USA. MIT Press.
[⽥中英輝他] ⽥中英輝，中澤敏明，美野秀弥，伊藤均，後藤功雄，⼭⽥⼀郎，川上貴之，⼤嶋聖⼀，朝賀英裕(2021). 時事通信社ニュースの⽇英対訳コーパスの構築–第3 報. ⾔語処理学会第27 回年次⼤会,
pp. 228–231.
[Vaibhav et al.] Vaibhav, V., Singh, S., Stewart, C., and Neubig, G. (2019). “Improving Robustness ofMachine Translation with Synthetic Noise.” In Proceedings of the 2019 Conference of the North
American Chapter of the Association for Computational Linguistics: Human Language Technologies,Volume 1 (Long and Short Papers), pp. 1916–1920, Minneapolis, Minnesota. Association for
Computational Linguistics.
[Vaswani et al.] Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., Gomez, A. N., Kaiser, L. u., andPolosukhin, I. (2017). “Attention is All you Need.” In Guyon, I., Luxburg, U. V., Bengio, S., Wallach, H.,Fergus, R., Vishwanathan, S., and Garnett, R. (Eds.), Advances in Neural Information Processing Systems
30, pp. 5998–6008. Curran Associates, Inc.
52