第8回アジア翻訳ワークショップ（WAT2021）
開催報告
Report of the 8th Workshop on Asian Translation (WAT2021)

東京大学大学院情報理工学系研究科客員研究員

中澤敏明

2010 年京都大学大学院情報学研究科知能情報学専攻博士課程修了。博士（情報学）。現在は東京大学大学院情報理工学系研究科客員研究員。機械翻訳の研究に従事。
nakazawa@logos.t.u-tokyo.ac.jp

ACL-IJCNLP 2021 の 併 設 ワ ー ク シ ョ ッ プ と し て、

1 はじめに2021 年 8 月 6 日にオンラインで開催された。

アジア翻訳ワークショップ（Workshop on Asian

ワークショップは様々な機械翻訳の評価タスクの実施

Translation, WAT） はアジア言語を中心とした評価型に加えて機械翻訳に関する研究論文の募集も行っており、機械翻訳ワークショップであり、2014 年に第 1 回

WAT2021 で は 5 件 の 研 究 論 文 と、ACL-（WAT2014）を開催して以降、毎年開催している。本IJCNLP2021 から 2 件の findings 論文を採択した。ま

稿の著者は初回からオーガナイザーの一人としてワークた 2 件の招待講演も行われた。1 件目は Facebook AI

シ ョ ッ プ の 運 営 を 行 っ て い る。2016 年 の 第 3 回の Francisco Guzmán 氏および Angela Fan 氏により（WAT2016）以降は自然言語処理の国際会議との併設“Massively Multilingual Translation and Evaluation”

ワークショップとして開催しており、2021 年の第 8というタイトルで行われ、2 件目はカーネギーメロン大）はタイのバンコクで開催された

学 の Graham Neubig 氏 に よ り “Understanding and1回（WAT2021［1］

図1129403-5841-6650

http://lotus.kuee.kyoto-u.ac.jp/WAT/

WAT2021 shared task 参加者リストImproving Context Usage in Context-awareTranslation” というタイトルで行われた。

的に評価するものである。
日英・日韓には 3 チーム（TMU, Bering Lab, tpt_WAT2021 では日英、日中、日韓の特許文翻訳タスwat）が、日中には 2 チーム（Bering Lab, tpt_wat）

クなどを含む、18 の言語を対象とした 14 の sharedが自動評価サーバーに翻訳結果を提出したが、人手評価task が行われ、世界中から 26 のチームが参加した。

用の翻訳結果を提出したのは 1 チーム（TMU）のみで

図 1 に参加者のリストを示す。

あった。また予算の都合上、実際に人手評価を行ったの

WAT2021 で新たに追加されたタスクは以下の通りである：

は日英、英日タスク 1 チーム分のみである。図 2 に自動評価結果を、図 3 および図 4 に人手評価結果を示す。

・英語からマラヤーラム語（インドで話されている言語）
へのマルチモーダル翻訳・曖昧性のある動詞を対象とした日英のマルチモーダル
翻訳・10 言語のインド諸語と英語間のマルチリンガル翻訳・使用するフレーズが指定された日英の制限翻訳タスク

追加された日英・英日制限翻訳タスクのタスク概要と結果を報告する。

2 特許翻訳タスク

図2

特許翻訳タスク自動評価結果（BLEU）

図3

特許翻訳タスク人手評価結果（日英）図4

特許翻訳タスク人手評価結果（英日）

特許翻訳タスクは特許庁より提供された特許対訳
コーパス JPC2 を用いて行われ、日英・日中・日韓の双方向の翻訳タスクで構成されている。翻訳評価は自動評
価 と 人 手 評 価 を 行 っ た。 自 動 評 価 尺 度 と し て は
BLEU［2］、RIBES［3］ 及 び AM-FM［4］ を 用 い て い る。
AM-FM は正確さと流暢さの両方を考慮したような評価手法である。人手評価は特許庁が公開している「特許文献機械翻訳の品質評価手順」3 の中の「内容の伝達レベルの評価」に従って行った。これは機械翻訳結果が原文の実質的な内容をどの程度正確に伝達しているかを、人手翻訳の内容に照らして、下記 5 段階の評価基準で主観
表 1 JPO の機械翻訳評価基準

2

http://lotus.kuee.kyoto-u.ac.jp/WAT/patent/

3

https://www.jpo.go.jp/system/laws/sesaku/
kikaihonyaku/tokkyohonyaku_hyouka.html

YEAR BOOK 2O21 295

機械翻訳技術の向上

4

本項では特許翻訳タスクの結果の報告と、今回新しくBering Lab は JPC コーパスに加えて、自前で用意スコアにより行なった（表 3 中の final）。一貫性スコした 1300 万文からなる特許対訳コーパスも合わせて

アは全ての制限用語が出力できた文の割合であり、最終用いており、これのおかげで高い BLEU スコアを達成

ランキングは全ての制限用語が出力できた文のみで計算［5］している。TMU は fine-tuning された日本語の BARTした BLEU スコアにより決定した。人手評価は Directモデルを利用しており、韓日翻訳において最も良いAssessment お よ び Contrastive Assessment［6］AM-FM スコアを達成した。日英・英日の人手評価結果

により行なった。

を見ると、残念ながら過去の WAT でのベストなシステ

英日翻訳には 3 システムが参加し、日英翻訳には 4ムと比べるとやや低い精度という結果であった。しかしシステムが参加した。表 3 に自動評価と人手評価の結ながら、BART という新たな NMT の枠組みを利用し果を示す。ても、過去のシステムに引けを取らない精度であること
表3が示された。

制限翻訳タスクの評価結果

3 日英・英日制限翻訳タスク
日英・英日制限翻訳タスクは WAT2021 で新たに追加されたタスクである。NMT は訳語統一が不得意であることはよく知られているが、専門用語や固有名詞を特定の用語に常に正しく翻訳することが求められるような文書の種類も多い。この問題に対して、現在の精度を知ることや解決方法を模索するために提案されたのがこの全てのシステムが入力文に制限用語を付加して入力タスクである。
入力文とともに出力文で必ず使わなければならない訳し、翻訳時には制限用語を可能な限り出力するように翻語のリストが与えられるので、システムはこれらの訳語訳の探索を行うという方針をとっており、これらの手法を必ず含むように翻訳を生成しなければならない。なおは実際に指定された訳語を適切に出力するのに有効であ与えられるのは訳語のリストのみであり、入力文のどのることが示された。

語 に 対 応 す る 訳 語 な の か は 与 え ら れ な い。 今 回 はタスクの仕様として訓練データには制限用語が付加さASPEC の日英データ（dev/devtest/test）を対象れていないため、訓練時にはなんらかの方法で制限用語とし、10 人のバイリンガルに依頼して専門用語（制限を準備する必要がある。各システムの違いを見ると、こ用語）の抽出を行なった。表 2 に文単位の制限用語のこでの工夫の仕方が最終的な精度に影響を与えているよ平均数を示す。

うである。NHK は固有表現抽出技術により抽出された4固有表現と、ベースラインとなる NMT において誤訳と表2文単位の制限用語の平均数なった表現を制限用語として用いるという手法を提案している。一方で NTT は LeCA［7］ と呼ばれる手法を用いている。結果を見ると NTT が提案した手法の方が精度良く制限用語を出力し、翻訳精度も高いということが示された。
興味深い点として、元の対訳文の精度（表 3 中の自動評価は BLEU スコアと一貫性スコアにより行い、human ref）はそれほど高くないということが示され最終的なシステムのランキングはこれらを組み合わせたた。今後対訳コーパス自体のクリーニングといったことが必要になる可能性がある。またほとんどのシステムが4296

https://jipsti.jst.go.jp/aspec/

human ref よりも高精度を達成しており、現時点でも人間の翻訳に匹敵するような精度であることがわかる。

Proceedings of the 2010 Conference on
Empirical Methods in Natural Language

4 まとめProcessing, pages 944–952.
［4］Rafael E. Banchs, Luis F. D’Haro, and本稿では WAT2020 における特許翻訳タスクと制限

Haizhou Li. 2015. Adequacy-fluency metrics:

翻訳タスクの結果を報告した。アジアの翻訳研究の活性

Evaluating mt in the continuous space

化、 デ ー タ 整 備 等 を 目 的 と し て 2014 年 に 始 め た

model framework. IEEE/ACM Trans. Audio,

WAT は、ドメイン数や言語数の増加、参加者数の増加

Speech and Lang. Proc., 23（3）:472–482,など一定程度の成果を得ており、WAT を通じてアジアMarch.

地域の機械翻訳研究コミュニティーの連携等が行えると良いと考えている。

［5］Lewis, M., Liu, Y., Goyal, N., Ghazvininejad,M., Mohamed, A., Levy, O., Stoyanov, V.,
Zettlemoyer, L., 2019. BART: Denoising

剰訳、訳語の一貫性、長文の対応など未解決の問題はまSequence-to-Sequence Pre-training for

だまだ多く残されている。WAT2021 で行われた制限

Natural Language Generation, Translation,

翻訳タスクはこのうちの一貫性の問題に注目したものでand Comprehension. arXiv:1910.13461［cs,あり、実用的にも重要なタスクとなっている。今後も特stat］.

定の現象に絞ったようなタスク設計が重要と考えてお［6］Federmann, C., 2018. Appraise Evaluation

り、引き続きデータの収集や評価指標の定義などを行Framework for Machine Translation, in:

なっていく予定である。

Proceedings of the 27th InternationalWAT は今後も継続して開催予定であるが、来年度のConference on Computational Linguistics:開催予定は未定である。また WAT では翻訳評価にかかSystem Demonstrations. Association for

る費用等のためのスポンサーを募集しているため、興味Computational Linguistics, Santa Fe, Newのある方はご連絡いただければ幸いである。

Mexico, pp. 86–88.
［7］Chen, G., Chen, Y., Wang, Y., Li, V.O.K.,［1］Nakazawa, T., Nakayama, H., Ding, C.,

2020. Lexical-Constraint-Aware Neural

Dabre, R., Higashiyama, S., Mino, H., Goto,

Machine Translation via Data Augmentation,I., Pa Pa, W., Kunchukuttan, A., Parida, S.,

in: Proceedings of the Twenty-Ninth

Bojar, O., Chu, C., Eriguchi, A., Abe, K., Oda,

International Joint Conference on Artificial

Y., Kurohashi, S., 2021. Overview of theIntelligence. Presented at the Twenty-Ninth

8th Workshop on Asian Translation, in:International Joint Conference on Artificial

Proceedings of the 8th Workshop on AsianIntelligence and Seventeenth PacificTranslation（WAT2021）. Association for

Rim International Conference on Artificial

Computational Linguistics, Online, pp. 1–45.

Intelligence {IJCAI-PRICAI-20}, International［2］Kishore Papineni, Salim Roukos, ToddWard,

Joint Conferences on Artificial Intelligence

andWeiJing Zhu. 2002. Bleu: a method forOrganization, Yokohama, Japan, pp.

automatic evaluation of machine translation.

3587–3593. https://doi.org/10.24963/

In Proceedings of ACL, pages 311–318.

ijcai.2020/496［3］Hideki Isozaki, Tsutomu Hirao, Kevin Duh,
Katsuhito Sudoh, and Hajime Tsukada.
2010. Automatic evaluation of translation
quality for distant language pairs. InYEAR BOOK 2O21 297

4

機械翻訳技術の向上

NMT の翻訳精度は年々向上しているが、訳抜け、過