ミニ特集

PI × Translation

アジア言語を中心とした機械翻訳評価
ワークショップ（WAT）の取り組み
Introduction of the Workshop on Asian Translation (WAT)東京大学大学院情報理工学系研究科

中澤敏明

2010 年京都大学大学院情報学研究科知能情報学専攻博士課程修了。博士（情報学）。2018 年４月より東京大学大学院情報理工学系研究科特任講師。機械翻訳の研究に従事。
nakazawa@logos.t.u-tokyo.ac.jp

103-5841-6650の併設ワークショップとして、2019 年 11 月４日にはじめに香港で開催された。2020 年の第７回（WAT2020）

アジア翻訳ワークショップ（Workshop on Asianは AACL-IJCNLP2020 の併設ワークショップとしてTranslation, WAT） はアジア言語を中心とした評価

12 月に開催予定であるが、今回はオンラインでの開催型機械翻訳ワークショップであり、2014 年に第１が予定されている。

1回（WAT2014） を 開 催 し て 以 降、 毎 年 開 催 し て い

ワークショップは様々な機械翻訳の評価タスクの実る。本稿の著者は初回からオーガナイザーの一人とし施に加えて機械翻訳に関する研究論文の募集も行っておてワークショップの運営を行っている。2016 年の第り、2019 年度は６件の論文を採択した。また毎年招３回（WAT2016）以降は自然言語処理の国際会議の待講演も行っており、2019 年度はコペンハーゲン大併設ワークショップとして開催しており、2019 年の学の Desmond Elliott 氏により “Multitask Learning） は EMNLP-IJCNLP 2019from Multilingual Mutimodal Data” というタイトル

第 ６ 回（WAT2019［1］で行われた。
1

WAT で行われた機械翻訳タスクの変遷を図１に示

http://lotus.kuee.kyoto-u.ac.jp/WAT/

図１

60

WAT での翻訳タスクの変遷

2.1

自動評価

WAT では自動評価サーバーを用意し、参加チームがの翻訳タスクのみであったが、翌年に特許庁より提供さ機械翻訳結果の自動評価結果をいつでも確認できるよう3れた特許対訳コーパス JPC を用いた日中・日韓の翻訳にしている。自動評価システムはワークショップ終了後タスクが追加された。その後も毎年新たなドメイン・新も利用可能であり、引き続き翻訳結果の提出・修正を受たな言語が追加され、ワークショップは拡大し続けていけ付けている。

×PI

技術論文の対訳コーパス ASPEC を用いた日英・日中
2

ミニ特集す。開始当初は JST および NICT より提供された科学Translation

自 動 評 価 尺 度 と し て は BLEU［2］、RIBES［3］ 及 びる。
赤色で示されているのは 2020 年度に新たに追加さAM-FM［4］を用いている。AM-FM は正確さと流暢さのれた翻訳タスクである。また 2020 年度は新たな試み両方を考慮したような評価手法である。日本語と中国語として、科学技術論文 4 およびビジネス対話 5 の日英翻訳に関しては単語分割基準の違いによりスコアが変化するにおいて、文書単位での翻訳タスクを設定した。近年のため、いくつかの単語分割ツールを使って翻訳結果を単翻訳技術の進歩により文単位での翻訳の精度はかなり向語に分割し、それぞれの基準でのスコアを算出する。

上したためであり、今後は文をまたぐ情報を活用した、より文脈に適した翻訳が生成できるような技術が必要で

2.2

人手評価

人 手 評 価 は 一 対 比 較 評 価（Pairwise Evaluation）あると思われるためである。
図 ２ に 各 年 の 翻 訳 タ ス ク の 参 加 チ ー ム 数 を 示 す。と 特 許 庁 基 準 で の 専 門 家 に よ る 正 確 性 評 価（JPO

WAT2019 で は こ れ ま で で 最 多 の 25 チ ー ム がAdequacy Evaluation）の二段階で行った。ただし、

参 加 し た。 海 外 か ら は FacebookAI、Microsoft、一対比較評価については参加チーム数の多かった一部のSYSTRAN など機械翻訳のビッグプレーヤーの参加もタスクに対してのみ実施している。
一対比較評価は各翻訳システムの結果を文ごとにあり、WAT に対する世界的な注目度が高まったのではベースライン（SMT または NMT）と一対比較し、そないかと言える。の勝敗数をスコア化することで行う。WAT2019 では
各文ペアにつき５名の評価者で評価を行い、評価対象システムの翻訳がベースラインよりも良いという判断を＋１、悪いという判断を−１、同程度を０としたとき、全ての評価者の判断を足し合わせた値が＋２以上となれば最終判断を勝ち、−２以下ならば負け、それ以外ならば同程度とした。一対比較評価はテストセットの中からランダムに選択された 400 文を対象としている。
図２

翻訳タスクの参加チーム数

次に、タスクごとに一対比較評価上位３チーム、一対比較評価を実施しなかったタスクについては全てのチー

2

翻訳評価

翻訳評価は自動評価と人手評価を行い、人手評価はさらに２つの方法で行った。

ムの翻訳結果に対して、専門家による評価を行った。専門家による評価の基準として、特許庁が公開している「特許文献機械翻訳の品質評価手順」6 の中の「内容の伝達レベルの評価」に従って行った。これは機械翻訳結果が原文の実質的な内容をどの程度正確に伝達しているかを、

2

http://lotus.kuee.kyoto-u.ac.jp/ASPEC/

人手翻訳の内容に照らして、下記５段階の評価基準で主3

http://lotus.kuee.kyoto-u.ac.jp/WAT/patent/

観的に評価するものである。内容の伝達レベルの評価で4

http://lotus.kuee.kyoto-u.ac.jp/WAT/WAT2020/
aspec_doc.html

5

http://lotus.kuee.kyoto-u.ac.jp/WAT/WAT2020/
bsd.html

6

https://www.jpo.go.jp/system/laws/sesaku/
kikaihonyaku/tokkyohonyaku_hyouka.html

YEAR BOOK 2O2O

61

ミニ特集

PI × Translation
表１

JPO の機械翻訳評価基準はそのうちのさらに 200 文に対象を絞って行った。ま使用した結果となっている。当然ながら、これらのシスた内容の伝達レベルの評価においては、２名の評価者がテムの結果は公式データのみを使ったシステムよりも良独立に評価を行なっている。

いものとなっているのだが、興味深いのは 2019 年の

なお英語→ヒンディー語のマルチモーダル翻訳に対公式データのみを使ったシステムの精度が、大量の訓練

し て は、Direct Assessment［5］ と い う 指 標 で 評 価データを使ったシステムと遜色がないという点である。

を 行 っ た。 こ れ は WMT（Conference on Machine2019 年のシステムはベースとなる NMT モデルとしTranslation）での公式スコアリング指標として用いらて Transformer を採用し、他にも様々なテクニックをれているもので、評価者は各翻訳に対して０から 100駆使してこの精度を達成している。わずか数年のうちに、の間での翻訳の質を整数値で付与することで評価を行う

機械翻訳の技術が大幅に進歩しているということがわかものである。

る。使われたテクニックの一部を一言ずつで説明すると次節では特許翻訳タスクの結果などについて述べる。

以下のような感じである（詳細は各論文を参照いただきたい）。

3

特許翻訳タスク

昨 年 度 の 結 果 の 詳 細 は WAT2019 の overview

Transformer の位置エンコーディングに相対位置を用いる［6］。

paper［1］ をご覧いただくことにして、ここではこれま・Data augmentation

での各年度の正確性評価におけるトップチームの成績を訓練データを仮想的に増やす方法。Backtranslation［7］図３から図７に示す（日→韓翻訳タスクについては参加（単言語コーパスを機械翻訳して対訳コーパスとして用者が少ないため省略する）。

（目的言語文がいる）や Multi-source translation［8］WAT 開始当時はまだニューラル機械翻訳（NMT）
が 注 目 を 浴 び る 前 で あ り 統 計 翻 訳（SMT） や 用 例同じである複数言語の対訳文を同時に用いる）などがある。

ベ ー ス 翻 訳（EBMT） が 使 わ れ て い た が、 そ の 後・Right-to-left reranking

Recurrent Neural Network（RNN）方式の NMT が順方向（文の先頭から末尾）で生成された翻訳文を逆あっという間に統計翻訳を追い越した。近年ではさら62

・Relative positional encoding

方向の翻訳モデルも用いてリランキング［9］に Transformer 方式の NMT を採用したチームが大多

これらの結果を見ると、文単位での翻訳精度は飽和状数を占めている。翻訳精度に関しては SMT/EBMT <態となってきていると言えるため、WAT2020 では一RNN < Transformer となっており、最近ではどの言部のタスクについて文書単位での翻訳タスクを実施して語対でも正確性評価で平均 4.5 以上を達成している。

いる（特許翻訳については残念ながら引き続き文単位の図の中でアスタリスク（＊）がついている年の結果翻訳のみである）。文書単位での翻訳タスクを実施する

は、WAT が提供している公式の訓練データ（各言語上での最大の問題は、文書単位のデータの準備である。

対 100 万文ずつ）以外に、独自で持っている訓練デー評価用のデータ（数千文程度）のみ文書単位にするといタ（論文によるとおよそ 1000 万文対程度）も併せてう方法もあるが、これでは翻訳エンジンの訓練においてミニ特集

文書情報を利用することができないため不十分である。
文書単位での対訳データを持っている組織は、これらのデータの公開を是非ともご検討いただきたい。

×
PI

図４

中→日翻訳の評価結果の変遷

図７

韓→日翻訳の評価結果の変遷

Translation

図３

図６

日→英翻訳の評価結果の変遷

英→日翻訳の評価結果の変遷

4

まとめ

本稿では WAT の取り組みの紹介と特許翻訳タスクの結果について報告した。アジアの翻訳研究の活性化、データ整備等を目的として 2014 年に始めた WAT は、ドメイン数や言語数の増加、参加者数の増加など一定程度の成果を得ており、WAT を通じてアジア地域の機械翻訳研究コミュニティーの連携等が行えると良いと考えている。
今後は実用上問題となる訳抜け、専門用語や低頻度語の翻訳、訳語の統一、文脈レベルの翻訳などを評価できるタスク設計が重要と考えており、これにはデータの収集や評価指標の定義などが必要となる。また長文への対
図５日→中翻訳の評価結果の変遷

応も実用上非常に重要である。WAT での翻訳タスクを含め、多くの機械翻訳評価のデータセットは、長文（例
えば 100 文字以上など）を取り除いていることがほとんどである。このため現状の機械翻訳システムの多くは、特許文で頻繁に現れる非常に長い文を高精度に翻訳する

YEAR BOOK 2O2O

63

ミニ特集

PI × Translation

ことはできない。これは NMT モデルの制約として長文

Osaka, Japan.

を扱えない場合や、計算機の能力上扱えない場合などい［6］P e t e r S h a w , J a k o b U s z k o r e i t , A s h i s h

くつかの要因がある。いずれにせよ、長文であっても精Vaswani, 2018, Self-Attention with Relative

度の低下が起きないような手法の開発も必要である。

Position Representations, In Proceedings

WAT は今後も継続して開催予定である。WAT ではof the 2018 Conference of the North

翻訳評価にかかる費用等のためのスポンサーを募集してAmerican Chapter of the Association

いるため、興味のある方はご連絡いただければ幸いであ

for Computational Linguistics: Humanる。

Language Technologies, Volume 2（ShortPapers）, pages 464–468.

参考文献［1］Toshiaki Nakazawa, Nobushige Doi, Shohei

Birch, 2016, Improving Neural Machine

Higashiyama, Chenchen Ding, Raj Dabre,Translation Models with Monolingual Data,

Hideya Mino, Isao Goto, Win Pa Pa, Anoop

In Proceedings of the 54th Annual Meeting

Kunchukuttan, Shantipriya Parida, Ondřejof t he Associat ion f or Com put atio n a lBojar, Sadao Kurohashi. 2019. Overview ofLinguistics（Volume 1: Long Papers）, pagesthe 6th Workshop on Asian Translation. In

86–96.

Proceedings of the 6th Workshop on Asian［8］Barret Zoph, Kevin Knight, 2016, Multi-Translation（WAT2019）, pages 1-35.

Source Neural Translation, In Proceedings［2］Kishore Papineni, Salim Roukos, ToddWard,of the 2016 Conference of the NorthandWeiJing Zhu. 2002. Bleu: a method forAmerican Chapter of the Association

automatic evaluation of machine translation.

for Computational Linguistics: Human

In Proceedings of ACL, pages 311–318.

Language Technologies, pages 30–34.

［3］Hideki Isozaki, Tsutomu Hirao, Kevin Duh,［9］Lemao Liu, Masao Utiyama, Andrew Finch,

Katsuhito Sudoh, and Hajime Tsukada.

and Eiichiro Sumita. 2016. Agreement

2010. Automatic evaluation of translation

on targetbidirectional neural machinequality for distant language pairs. Intranslation. In Proceedings of the 2016

Proceedings of the 2010 Conference onConference of the North American Chapter

Empirical Methods in Natural Languageof t he Associat ion f or Com put atio n a lProcessing, pages 944–952.

Linguistics: Human Language Technologies,［4］Rafael E. Banchs, Luis F. D’Haro, andHaizhou Li. 2015. Adequacy-fluency metrics:
Evaluating mt in the continuous spacemodel framework. IEEE/ACM Trans. Audio,
Speech and Lang. Proc., 23（3）:472–482,
March.
［5］Yvette Graham, Timothy Baldwin, Meghan
Dowling, Maria Eskevich, Lamia Tounsi,
Teresa Lynn. 2016. Is all that glitters in
MT quality estimation really gold standard?
In Proceedings of the 26th International
Conference on Computational Linguistics,

64［7］Rico Sennrich, Barry Haddow, Alexandra

pages 411–416.

ミニ特集×PITranslation

65

YEAR BOOK 2O2O