The 8th Workshop on AsianTranslation (WAT2021)
開催報告
中澤 敏明
東京⼤学
2021/12/09@AAMT 2021, Online

アジア翻訳ワークショップ (WAT)• アジア⾔語を対象とした機械翻訳評価ワークショップ• ⽇中韓、インドネシア語、タイ語、マレーシア語、ヒンディー語、インド系諸語、ミャンマー語、ロシア語、クメール語、英語• ⽂書単位の翻訳、マルチモーダル翻訳、制限翻訳など• 2014年より毎年開催• WAT2014 @ 東京、WAT2015 @ 京都
WAT2016 @ ⼤阪 (Coling2016併設)
WAT2017 @ 台湾 (IJCNLP2017併設)
WAT2018 @ ⾹港 (PACLIC2018併設)
WAT2019 @ ⾹港 (EMNLP2019併設)
WAT2020 @ 中国 (AACL-IJCNLP2020併設、オンライン)
WAT2021 @ タイ (ACL-IJCNLP2021併設、オンライン)
WAT2022 @ 韓国 (COLING2022併設、10/12-17)

2

ドメイン

⾔語対

科学技術論⽂Ja ó En/Zh
Ja ó Zh

特許

Ja ó Ko

2014

2015

2016

2017

2018

2019

2020

2021

（2020から⽂書単位）（Zh→Ja のみ）（Ko→Ja のみ）

Ja ó En
Id ó En新聞

Ja ó EnJa ó Ru
Hi ó EnHi ó Ja

インド諸語

Ta ó En
Odia ó En
Indic Multilingual

混合My ó En（7⾔語） （10⾔語）

Km ó Enレシピ

Ja ó En

適時開⽰⽂書Ja → En

IT&Wikinews

Hi/Th/Ms/Id ó En
En → Hi

マルチモーダルEn → Ml
Ja ó En

ビジネス対話Ja ó En

制限翻訳

Ja ó En（データ追加）参加チーム数
302520151541033599112014

2015

2016

3901119101042017

2018

国内海外42019

2020

72021

4

WAT2021参加チーム⼀覧

56

https://aclanthology.org/events/wat-2021/

研究論⽂• 5件の研究論⽂と、ACL-IJCNLP2021から2件のfindings論⽂を採択• 論⽂タイトル• BTS: Back TranScription for Speech-to-Text Post-Processor
using Text-to-Speech-to-Text• Zero-pronoun Data Augmentation for Japanese-to-EnglishTranslation• Evaluation Scheme of Focal Translation for Japanese Partially
Amended Statutes• Optimal Word Segmentation for Neural Machine Translation
into Dravidian Languages• Itihasa: A large-scale corpus for Sanskrit to English translation
7

招待講演• “Massively Multilingual Translation and Evaluation”
by Francisco Guzmán and Angela Fan (Facebook AI)• “Understanding and Improving Context Usage inContext-aware Translation”
by Graham Neubig (Carnegie Mellon University)8翻訳結果評価• ⾃動評価• BLEU, RIBES, AM-FM• ⾃動評価サーバーに常時、翻訳結果を提出可• ⼈⼿評価• 正確性評価• Direct Assessment• WMT(Conference on Machine Translation)の公式指標• 評価費⽤はスポンサー費などによる（AAMT、NICT、サンフレア、川村インターナショナル）
9正確性評価 (Adequacy)• 特許庁による特許⽂献機械翻訳の「内容の伝達レベルの評価」
評価値

評価基準

5

すべての重要情報が正確に伝達されている。 (100%)4

ほとんどの重要情報は正確に伝達されている。 (80%〜)3

半分以上の重要情報は正確に伝達されている。 (50%〜)2

いくつかの重要情報は正確に伝達されている。 (20%〜)1

⽂意がわからない、もしくは正確に伝達されている重要情報はほとんどない。 (〜20%)• ⼀対評価対象⽂中の200⽂を評価• ⽂ごとに、2⼈が評価

11

Direct Assessment

12評価結果（の⼀部）
詳細はoverview paperや各チームのsystem description paperを参照してください
https://aclanthology.org/events/wat-2021/13

h?p://lotus.kuee.kyoto-u.ac.jp/WAT/patent/

特許翻訳• 特許庁より提供された特許対訳コーパスJPCを利⽤• ⽇英・⽇中・⽇韓の双⽅向の翻訳タスク• 訓練データ25万⽂• ⽇英・⽇韓には3チーム、⽇中には2チームが⾃動評価サーバーに翻訳結果を提出• ⼈⼿評価⽤の翻訳結果を提出したのは1チームのみ• 予算の都合上、実際に⼈⼿評価を⾏ったのは⽇英、英⽇タスク１チーム分のみ
14⾃動評価結果(BLEU)• Bering Lab：追加の1300万⽂からなる対訳コーパス• TMU：fine-tuningされた⽇本語のBARTモデルを利⽤15

⼈⼿評価結果• 過去のWATでのベストなシステムと⽐べるとやや低い精度• BARTという新たなNMTの枠組みを利⽤しても、過去のシステムに引けを取らない精度であることが⽰された
16

⽇英・英⽇制限翻訳• ⼊⼒⽂とともに出⼒⽂で必ず使わなければならない訳語のリストが与えられる• システムはこれらの訳語を必ず含むように翻訳を⽣成• 与えられるのは訳語のリストのみ、⼊⼒⽂のどの語に対応するのかは与えられない• ASPEC の⽇英データ(dev/devtest/test)を対象とし、10⼈のバイリンガルに依頼して専⾨⽤語(制限⽤語)を抽出

17

⽇英・英⽇制限翻訳• NMTは訳語統⼀が不得意• 専⾨⽤語や固有名詞を特定の⽤語に常に正しく翻訳することが求められるような⽂書の種類も多い• この問題に対して、現在の精度を知ることや解決⽅法を模索するために提案されたタスク• ⾃動評価はBLEUスコアと⼀貫性スコア• ⼀貫性スコアは全ての制限⽤語が出⼒できた⽂の割合• 最終ランキングは全ての制限⽤語が出⼒できた⽂のみで計算したBLEUスコアにより決定• ⼈⼿評価はDirect AssessmentおよびContrastiveAssessment
18

⽇英・英⽇制限翻訳
評価結果

19

⽇英・英⽇制限翻訳• 全てのシステムが採⽤した⼿法• ⼊⼒⽂に制限⽤語を付加して⼊⼒• 翻訳時には制限⽤語を可能な限り出⼒するように探索• システムごとの違いは訓練時の制限⽤語の準備⽅法（訓練データには制限⽤語が付加されていない）• 固有表現抽出技術により抽出された固有表現と、ベースラインとなるNMTにおいて誤訳となった表現を制限⽤語として⽤いる⼿法• LeCAと呼ばれる⼿法
20

⽇英マルチモーダル翻訳• Flicker30k（英⽇2チーム、⽇英1チーム）• 訓練データサイズが増加、新たな翻訳技術が提案→全ての翻訳結果が昨年度の結果よりも改善• 英⽇では画像情報を⽤いたシステムの⽅が⾼精度であったが、⽇英ではテキスト情報のみを⽤いたシステムの⽅が⾼精度• ⽤いたデータセットが英語から⽇本語へ、画像情報を参照しながら翻訳されたものであることが関係している？

• 単語の範囲と画像とのソフトアライメントを考慮したシステムを構築したチームが良い精度を達成→テキストと画像のグラウンディングが重要• Ambiguous MS COCO（英⽇1チーム）• テキスト情報だけでなく画像情報を適切に⽤いることで翻訳精度を改善させることができることが⽰唆
21

今後の展望• アジアの翻訳研究の活性化、データ整備等を⽬的として2014年に始めたアジア翻訳ワークショップ（WAT）は⼀定程度の成果を得ている• ⾔語対、参加者数の増加• 実⽤上問題となる訳抜け、専⾨⽤語や低頻度語の翻訳、訳語の⼀貫性、⽂脈レベルの翻訳などを評価できるタスク設計が必要• 制限翻訳タスクはこのうち⼀貫性に注⽬• 特定の現象に絞ったようなタスク設計が重要と考えており、引き続きデータの収集や評価指標の定義などを⾏う• WAT2022はCOLING2022併設ワークショップとして、2022年10⽉12-17⽇に韓国で開催予定• スポンサー募集！
22