第16回 AAMT長尾賞 受賞者講演

WMT-2020ニュース翻訳タスクに参加して：
Team Tohoku-AIP-NTT at WMT-2020
Team Tohoku-AIP-NTT at WMT-2020
清野 舜1,2 伊藤 拓海2,1 今野 颯人2,1 森下 睦3,2 鈴木 潤2,1
1理研AIP 2東北大学 3NTT コミュニケーション科学基礎研究所

代表発表 鈴木潤 (東北大学)

第16回 AAMT長尾賞 受賞のお礼

このたびは，WMT-2020ニュース翻訳タスクに参加した「Team TohokuAIP-NTT（チームメンバー：清野 舜, 伊藤 拓海, 今野 颯人, 森下 睦, 鈴木潤）」が構築した機械翻訳システム，および，ニュース翻訳タスクにおける成績を高く評価していただき，第16回AAMT長尾賞に選出していただきましたこと，選考委員の方々をはじめ関係者の皆様に，この場をお借りして御礼申し上げます．

1

本日の話題l

第16回 AAMT長尾賞受賞の経緯
l

WMT-2020 ニュース翻訳タスクへの参加，およびその結果
AAMT/Japio特許翻訳研究会主催の「特許情報シンポジウム」
2021.2.26に同様の内容を講演済み

l

参加システムの概要l

いくつかの知見の共有l

コンペティションに参加することの意義

l

まとめ
4

l

第16回 AAMT長尾賞受賞の経緯

5

WMT概要l 2006年に第1回WS開催
l以降毎年開催

機械翻訳の研究分野において最も有名かつ競争の激しいコンペティションl 第11回よりWSから国際会議に昇格
l 毎年併設で機械翻訳に関連するコンペティションを開催
lll

複数のタスクと言語毎に分けられたトラックが存在
参加チームごとに参加タスクおよびトラックを選択しレギュレーションに従ってシステムを構築
システムは各タスクの評価基準に従い順位付け
https://www.statmt.org/wmt20/

6

コンペティションの流れ
l

日程

l
l

約3ヶ月強のシステム開発期間
約1週間の評価データの翻訳作成期間（標準的なコンペティションの開催形態）

l

評価はBLEUスコアによる自動評価（一次評価）
および人手評価（最終評価）
7

WMTのニュース翻訳タスク
l

概要
llll

第1回から続くWMTを代表するタスク
WMTコンペティションを代表する伝統的なタスク
毎年多くの参加チームで熾烈な争い
機械翻訳の研究分野に多大な影響を与えてきた• データ，方法論，l

主催者からの主な配布物

対訳コーパス

単言語コーパス

昨年までの評価データ（開発用データ）8

チーム構成 / 参加トラック
l

チーム構成

理研
（社会人博士）l（学生研究員/客員研究員）
東北大学（社会人博士）

参加トラックl① 英語 -> ドイツ語 ② ドイツ語-> 英語③ 英語 -> 日本語④ 日本語 -> 英語の 4トラックに参加
9

WMT-2020 参加トラックの結果 (1/3)
l

自動評価結果（BLEUスコア）

10

WMT-2020 参加トラックの結果 (2/3)
l

人手評価結果人間，または，オンライン翻訳システム(本タスクに参加していないシステム)

独 → 英: 同率1位

英 → 独: 同率1位

日 → 英: 同率1位

英 → 日: 同率1位注) 人手評価に統計的有意差がない場合，同率一位という扱い

11

WMT-2020 参加トラックの結果 (3/3)
l他の論文中の評価でも好成績[Mathur+, WMTʼ20] Results of
the WMT20 Metrics Shared Task

[Avramidis+, WMTʼ20] Fine-grained
linguistic evaluation for state-ofthe-art Machine Translation

複単語表現，固有表現，機能語，動詞の時制の取り扱
い，など

The results in Table 13 show thatprofessional linguists in fact prefer
the output of TOHOKU as predictedby all automatic metrics.

Tohoku achieves the best category
macro-averaged accuracy of88.1%, whereas it is sharing theﬁrst position with VolcTrans basedon their micro-averaged accuracy(85.3-85.4%).
12

AAMT長尾賞受賞
l①
②
③

受賞理由
機械翻訳の分野で権威の高い国際会議WMT2020のニュース記事翻訳タスクにおいて、参加した4言語対トラック(英独、独英、日英、英日)の人手評価において全て(同率を含む)一位を獲得し、英独および独英のトラックでは自動評価でも一位を獲得した。さらに、言語学者による言語現象別の翻訳品質評価においても他のシステムを大幅に上回る最良の評価を得るなど、非常に高品質な機械翻訳システムを実現し、国際的に高く評価されている。これらの成果は、機械翻訳システムの実用化に向けた日本の研究開発力の国際的プレゼンス向上に大きく貢献し、また得られた多くの知見を研究開発者に共有する活動を通じて機械翻訳システムの開発と実用化の促進にも大きく貢献している。大学、研究機関、企業の産官学連携による優れた成果であり、まさにAAMT長尾賞にふさわし。
13

lシステム概要

14コンペテイション参加システムの概略
①②

③

⑤

なんかとても複雑なシステム ?

④15

コンペテイション参加システムの概略
l

参加システムの主要な構成要素①② ①逆翻訳によるデータ拡張②ハイパーパラメタの調整③③ドメイン適用（ファインチューニング）⑤④モデルアンサンブル④⑤リランキングl

以下，個々のモジュールを簡単に説明
16

[再掲]

コンペテイション参加システムの概略
①
②

③

⑤④17

①逆翻訳によるデータ拡張
l[Sennrich+2016]

対象とする翻訳方向とは逆向きの翻訳モデルにより目的言語の文から原言語文を生成=> 擬似データとして翻訳モデルの学習に活用
手順例
単純なトリックとしては，
日 => 英，英 => 日
独 => 英，英 => 独のタスクに参加しているので，逆方向の翻訳モデルをそのまま使えば良い（特別な処理ではない）

18

[再掲]

コンペテイション参加システムの概略
①②

③

⑤④

19

②ハイパーパラメタの調整l

ベースモデル: Transformer [Vaswani+2017]ll

近年のデファクトスタンダードなモデル選択したハイパーパラメタ
l FF層の次元数/layer数の増加
l 次元数を倍，層の数 6 => 9l Larger batch size [Ott+2018]l 通常 4,000 トークン => 512,000
l 学習率増加 [Ott+2018]l Adamのstep size 0.0005 => 0.001
l チェックポイント平均法
l 各10epoch毎に直近10モデルで平均化
l BLEUスコアが改善すると報告 [Popel+2018]l layer-normalizationl Pre-normを採用
l 多層Transformerの学習が安定するとの報告 [Xiong+2018]

様々な論文に書かれている知見を集約

20

③ドメイン適用（ファインチューニング）l

参加タスクはニュース翻訳 => ニュース記事による学習データのみを使ってベースモデルを再学習l

基本的にドメイン適用の際の処理と同じ第一段階目の学習
逆翻訳により生成した
擬似データ
例：372M 文

配布パラレルコー
パス全体
例：5M文

ニュース記事

翻訳モデル

（初期値）

第二段階目の学習

翻訳モデル

21

④モデルアンサンブルl

乱数シードの違う複数のモデルを学習
乱数初期値＝2723

翻訳モデル

（初期値）

翻訳モデル

l

乱数初期値＝198

翻訳モデル

（初期値）

翻訳モデル

乱数初期値＝1010

翻訳モデル

（初期値）

翻訳モデル

翻訳時の各トークンを予測する際に用意した全てのモデルの予測結果を用いて最終的に選択すべきトークン列を予測
22

[再掲]

コンペテイション参加システムの概略
①
②

③⑤

④23

⑤リランキングl

複数の候補を生成し別のスコア決定モジュールにより生成結果を再評価l本システムでは複数のモデルが出す候補をまとめてリランキング

24

[再掲]

コンペテイション参加システムの概略
①
②

③⑤

④25

各モジュールの効果
l

WMT-2019の評価データでの評価

50.0

全データで順調に右肩上がり

40.0
30.0
20.0
10.00.0

英→独

独→英

英→日

日→英①②③④⑤

①②③④⑤

①②③④⑤

①②③④⑤

26

l

いくつかの知見l

ニューラル翻訳なのに複雑なモデル

l

うまくいかなかったモジュールの例

l

計算リソース27l

いくつかの知見l

ニューラル翻訳なのに複雑なモデル

28

システム構成が複雑
ニューラル翻訳（通常版）

統計翻訳 SMT
複雑！ メンテが大変！

単純！

管理が楽！

一般論

ニューラル翻訳（高性能版）
複雑！
※ゼロから始めるニューラルネットワーク
機械翻訳
https://www.slideshare.net/ToshiakiNakazawa/nlp2017-nmt-tutorialより図を引用

NMTといえど，性能を追求すると結局全体構成は複雑になり管理コストは高くなる

今メンテが大変！

回

29

l

いくつかの知見l

うまくいかなかったモジュールの例

30

試行錯誤
l

各モジュールを組み合わせた結果は順調に右肩上がり
lll

ただし，それは性能が向上しなかったモジュールを除外して評価しているから実際には最終的に採用したモジュール以外にも様々な試行錯誤をして最終形に到達

試行錯誤の例：データ選択
ll

逆翻訳のデータや対訳コーパスでも品質の良くない対訳が存在 => 取り除けば性能は上がるはず
しかし，残念ながら何度やっても良くならず断念
31

l

いくつかの知見l

計算リソース

32

計算リソースl参加システムは合計11モデルで構成
l 逆翻訳用の翻訳モデル
l 順方向（le6-to-right）デコーダモデル x4
l 逆方向（right-to-le6）デコーダモデル x4

ll リランキング用マスク型言語モデル
l リランキング用単方向言語モデル

一つのモデルを学習するのに必要なリソースlllV100 32GB 16日間相当
4タスク全体だと x42 になるシステム作りの試行錯誤も合わせると膨大なリソースがどうしても必要になってしまう33l

コンペティション参加のススメ

34コンペティションに参加することの意義
l

世界の技術レベルを知ることができるl

自分たちの技術レベルを知ることができる

l

普段の研究/開発では見えてこない難しさや改善点などが見えてくるll

論文の闇が見えてくることも．．．

最先端研究に必要な技能獲得や実験環境の獲得

36

最先端研究に必要な技能獲得や実験環境の獲得
ll

1位（最高性能）を獲得することが「最終目的」ではない
l

その過程で得られる知見やノウハウ・経験が超重要l

大規模な実験計画への慣れ最先端の研究への敷居を下げるl

例えば一位をとれば，それがすぐに最先端研究のベースラインシステムに

37

[余談]
l

それでも有名コンペティションで一位になれば無名でも注目される?
l

特に若手研究者には自分の技術を高める，自分を売り出していく場としてうまくコンペティションを活用して欲しい38

l

全体のまとめ39まとめ: Take home messagesl

第16回 AAMT長尾賞受賞への経緯
lll

WMT-2020 ニュース翻訳タスクへの参加，およびその結果
システム概要説明といくつかの知見共有

コンペティション参加のススメ
ll

コンペティションでのシステム構築には研究の実験管理などの技術と培う良い訓練の場
勝つことは目標，だが最終ゴールではない• => とはいえ良い成績を獲得すれば有名になれる？

l

その過程で得られる知見やノウハウ・経験が超重要40