AAMT 2021, Online 〜機械翻訳最前線〜

記念講演

AAMTとMTの軌跡と未来
京都⼤学⼤学院情報学研究科
⿊橋 禎夫（オンライン, 2021.12.8）

京都⼤学 令和３年度⼊学試験問題 外国語 英語 Ⅲ2

Attention is All You Need [Vaswani+ 2017]

3

NICT（情報通信研究機構）

デモビデオ
https://www.youtube.com/watch?v=twqlTbjgLfQ

4機械翻訳の軌跡≒⾃然⾔語処理の軌跡
黎明期 (1940年代半ば〜1960年代半ば)• コンピュータの誕⽣とともにウィーバーが機械翻訳を着想

忍耐期 (1960年代半ば〜1990年頃)• ALPAC報告書が機械翻訳の困難さを指摘• EUROTRA、Muなどの⼤型機械翻訳プロジェクト（構⽂トランスファー⽅式）

発展期 (1990年頃〜2015年頃)

1991年 ⽇本機械翻訳協会(JAMT)設⽴
1992年 アジア太平洋機械翻訳協会(AAMT)に改称• バーナーズリーによるWWWの提唱• アノテーションコーパスの構築• ⽤例に基づく翻訳、統計的機械翻訳（対訳コーパス）

⾶躍期 (2015年頃〜)• ニューラルネットワークの利⽤• Attention機構、Transformer、⾔語モデルBERT
5

用例ベース翻訳
用例
この辺にバス停はありますか

Is
there
a bus stopin this area

用例ベース翻訳
用例

入力文

この辺に靴屋はこの辺にバス停はありますか

ありますか
靴屋は．．．

出力文
IsIs
there

there

a bus stopa shoe store

in this areain this area

a shoe store

統計的機械翻訳
与えられた原⾔語の⽂ j に対して，⽬的⾔語のさまざまな⽂ e の中から，j が e に翻訳される確率P( e | j )が最⼤となる e をその翻訳と考える

雑⾳のある通信路モデル (noisy channel model)
𝒆𝒆𝒆

⾔語モデル
翻訳モデル

8

統計的機械翻訳
IBMモデルによるの計算

9統計的機械翻訳
単語アラインメント※ パラメータの計算と単語アライメントは鶏と卵の関係⇒ EM アルゴリズム
10ニューラル翻訳
ニューラルネットワーク、深層学習を用いた翻訳

樹状突起

軸索末端細胞体

軸索核

https://ja.wikipedia.org/wiki/神経細胞11意味のベクトル表現
分布仮説：文脈が似ている単語は類似している
共起語に基づくベクトル表現 （高次元）食べる
赤いりんご ( 0 0 1 0 0 0 0 1 0 0 0 0 ... ... ... ... ... ... ... ... )みかん ( 0 0 1 0 0 0 0 0 0 1 0 0 ... ... ... ... ... ... ... ... )( 0 0 0 0 0 0 1 0 0 0 1 0 ... ... ... ... ... ... ... ... )車・・・
word embeddingのベクトル表現 （低次元）
りんご ( 0.82 ‐1.18 0.74 … )みかん ( 0.86 ‐1.23 0.54 … )( 0.15 1.18 ‐0.34 … )
車・・・

12

順伝搬型ニューラルネットワーク

x

W1

h

W2

y13

再帰型ニューラルネットワーク(RNN)

xt

W1

ht

W2

yt

W3

14

再帰型ニューラルネットワーク(RNN)
y1

y2

y3y4

W2

W2

W2

W2

h1

W3

h2

W3h3

W3h4

W1

W1

W1

W1

x1

x2x3x415

RNN 言語モデル
は

学生です

EOS

W2

W2

W2

W2

h1

W3

h2

W3

h3

W3h4

W1

W1

W1

W1

私は学生です16

ニューラル翻訳[Sutskever+, 2014]
decoderI

ama

student

EOS

h’2h’3h’4h’5

h1

h2

h3h4

h’1

私は学生ですEOS

encoder
17ニューラル翻訳[Bahdanau+, 2014]attention

I

am

a

student

EOS

h’1

h’2

h’3

h’4

h’5
decodercα1α2 α3 α4 α5

hb1

hb2

hb3

hb4

hb5

hf1

hf2

hf3

hf4

hf5

私は学生ですEOS

encoder18

Transformer“Attention Is All You Need” [Vaswani+ 2017]
RNNを用いずにAttentionのみで翻訳
出力: 目的言語の次単語
student

6層の繰り返し

6層の繰り返し
原言語にもattention

原言語内でattention→ 文脈を考慮したベクトル…
jusuis étudiant

入力: 原言語文

…
Iam

既出単語a

目的言語内でattention
19

https://jalammar.github.io/illustrated‐transformer/

Self Attention = Text Understanding?
Head 5 and 6 of layer 5 (only from ‘its’)

Head 5 of layer 5• Some level ofword
relationships
explored– Context?

• Some attention
heads look atlong distance
relationships– Anaphora?

20

Transformer“Attention Is All You Need” [Vaswani+ 2017]
RNNを用いずにAttentionのみで翻訳
出力: 目的言語の次単語

BERT [Devlin+ 2018]student

6層の繰り返し

6層の繰り返し
原言語にもattention

原言語内でattention→ 文脈を考慮したベクトル…
jusuis étudiant

入力: 原言語文

…
Iam

既出単語a

目的言語内でattention
21

https://jalammar.github.io/illustrated‐transformer/

AAMTの軌跡
1991年 ⽇本機械翻訳協会（Japan Association forMachine Translation, 略称JAMT）設⽴
1992年4⽉ アジア太平洋機械翻訳協会（Asia‐PacificAssociation for Machine Translation, 略称AAMT）に改称
歴代会⻑• 1991‐1996 ⻑尾 真 （MT Summit 1993 神⼾）• 1996‐2002 ⽥中穂積 （MT Summit 1999 Singapore）• 2002‐2008 辻井潤⼀ （MT Summit 2005 Phuket）• 2008‐2012 井佐原均 （MT Summit 2011 Xiamen）• 2012‐2018 中岩浩⺒ （MT Summit 2017 名古屋）
• 2018‐
隅⽥英⼀郎（MT Summit 2023 Macau）
22

⽇本機械翻訳協会 会則（1991年4⽉17⽇作成）(⽬的)
第2条 本会は、機械翻訳システムの健全な発展と社会における適切な普及の促進をはかるために、機械翻訳システムにかかわるメーカ、ユーザ、研究機関等における関⼼のあるものが、情報の相互交換を⾏い共通の問題について、研究し討議する場を提供すると共に、関連学協会と交流し、国際的活動を⾏うことによって、世界のこの分野の進歩に貢献することを⽬的とする。
23AAMT⻑尾賞（⻑尾真先⽣の⽇本国際賞賞⾦の⼀部ご寄付により創設）
第1回
2006年

沖電気⼯業株式会社 研究開発本部 機械翻訳研究グループ：エポックメイキングとなる機械翻訳システムやサービスの開発運⽤
⽇本電気株式会社 ＮＥＣメディア情報研究所：携帯端末⽤⾃動通訳システムの実⽤化技術に関する研究・開発

第2回
2007年

株式会社国際電気通信基礎技術研究所 ⾳声⾔語コミュニケーション研究所：統計と⽤例に基づくコーパスベース翻訳技術の研究・開発ならびに携帯電話を⽤いた多⾔語⾳声翻訳サービスの事業化

第3回
2008年

シャープ株式会社 情報通信事業本部 要素技術開発センター 機械翻訳チーム：翻訳メ
モリとハイブリッド翻訳⽅式を中核としたテキスト翻訳ならびに⾳声翻訳システムなどの各種形態の機械翻訳技術の実⽤化
⽇本電気株式会社 および 株式会社⾼電社：携帯電話向け多⾔語⾃動翻訳サービスの事業化

第4回
2009年

東芝ソリューション株式会社 および 株式会社東芝：ユーザー辞書の⾃動抽出から辞書の⾃動選択までの優れた技術開発により機械翻訳の実⽤度向上
AAMT インターネットワーキンググループ：AAMT会員ならびに機械翻訳ユーザに最新の機械翻訳システム／サービス⼀覧を⻑年にわたり提供

第5回
2010年

「みんなの翻訳」構築・運⽤グループ：「みんなの翻訳」の利⽤者コミュニティを⽴ち上げ、翻訳家の無報酬の翻訳活動を⽀援、対訳コーパスの蓄積に⼤きく寄与
24AAMT⻑尾賞
第6回
2011年

AAMT 共有化・標準化ワーキンググループ：翻訳⽀援のためのシンプルでオープンな辞書仕様UTXを開発・公開し、機械翻訳精度の向上に貢献

第7回
2012年

株式会社富⼠通研究所 機械翻訳システム研究開発グループ：コーパスベースの⾔語資源構築技術の研究開発、および機械翻訳システムの実⽤化技術に関する研究開発

第8回
2013年

株式会社バオバブ代表取締役社⻑ 相良美織：「クラウドソーシング翻訳」のためのプラットフォームを構築、外国⼈留学⽣を中⼼とした翻訳コミュニティを形成

第9回
2014年

情報通信研究機構 ユニバーサルコミュニケーション研究所多⾔語翻訳研究室 内⼭将夫、隅⽥英⼀郎：語順変換と訳語選択との独⽴実⾏による統計翻訳技術の研究実⽤化ならびに複数企業への技術移転による⾼性能機械翻訳システムのサービス実現

第10回
2015年

株式会社ATR‐Trek 業務⽤途⾳声翻訳システム開発プロジェクト パウル・ミヒャエル、鈴⽊昌広、袋⾕丈夫：グローバル企業の⼯場内において、複数⾔語の社内⽤語の扱いや機密保持の仕組みを解決し、⾳声翻訳技術により異⾔語間コミュニケーションを実現

第11回
2016年

株式会社みらい翻訳：RBMT、SMTなどを統合し、翻訳精度や速度に⾒合った⾃動翻訳サービスを提供する初めての機械翻訳プラットフォームを開発

第12回
2017年

⼋楽株式会社：機械翻訳オンラインCATツール「ヤラクゼン」を開発し、翻訳の専業者でない⼀般の企業⼈が英⽂メールや社内ドキュメント、各種マニュアルなどを扱う際に有⽤となるツールを提供
25

AAMT⻑尾賞
第13回
2018年

凸版印刷株式会社情報コミュニケーション事業本部 ソーシャルイノベーションセン
ター情報インフラ本部コンテンツ企画部：商業接客⾳声翻訳サービスを現場店舗に⼤規模に展開、さらに⽇本郵便向け⾳声翻訳システムを全国２万の郵便局に設置
⽇中・中⽇機械翻訳実⽤化プロジェクト（京⼤・⿊橋禎夫, 科学技術振興機構・中澤敏明）：科学技術論⽂翻訳ためにコーパス・辞書の構築を進めるとともに、ニューラル機械翻訳をいちはやく実⽤に供し、⽇中間の科学技術交流の促進に貢献

第14回
2019年

ソースネクスト株式会社：携帯型⾳声翻訳端末であるポケトークを開発・販売、2018年9⽉に発売された「ポケトークW」は短期間に20万台の売り上げを達成、機械翻訳技術の普及に貢献

第15回
2020年

コニカミノルタ株式会社 BIC Japan：⼈間の通訳と機械の通訳を併⽤したタブレットの医療⽤⾳声翻訳アプリ「MELON」を開発、2016年に事業化し、500床以上の救急病院や厚労省管轄の検疫所などに広く普及
東芝デジタルソリューションズ株式会社：特許庁の審査業務のためにNMT、RBMT、SMTを選択的に⽤いる⽇英機械翻訳システムを開発し2019年5⽉からサービス開始

第16回
2021年

Team Tohoku‐AIP‐NTT at WMT‐2020 （清野 舜, 伊藤 拓海, 今野 颯⼈, 森下 睦, 鈴⽊潤）：WMT2020のニュース記事翻訳タスクの英独・独英・⽇英・英⽇トラックの⼈
⼿評価で⼀位、英独・独英トラックの⾃動評価でも⼀位を獲得
Mantra株式会社：マルチモーダル翻訳、⽂脈翻訳、画像認識技術を融合して実⽤的な漫画翻訳エンジン及び翻訳校正システムを事業化、国内外の出版社、翻訳会社、
26
漫画配信事業会社に導⼊され、漫画の海外展開に寄与

アジア翻訳ワークショップ(Workshop on Asian Translation, WAT)
• アジア⾔語を対象とした機械翻訳評価ワークショップ• ⽇中韓、インドネシア語、タイ語、マレーシア語、ヒンディー語、インド系諸語、ミャンマー語、ロシア語、クメール語、英語• ⽂書単位の翻訳、マルチモーダル翻訳、制限翻訳など• 2014年より毎年開催
WAT2014 @ 東京、WAT2015 @ 京都
WAT2016 @ ⼤阪 (Coling2016併設)
WAT2017 @ 台湾 (IJCNLP2017併設)
WAT2018 @ ⾹港 (PACLIC2018併設)
WAT2019 @ ⾹港 (EMNLP2019併設)
WAT2020 @ 中国 (AACL‐IJCNLP2020併設、オンライン)
WAT2021 @ タイ (ACL‐IJCNLP2021併設、オンライン)
WAT2022 @ マカオ (COLING2022併設)
27

AAMTとMTの未来• MTの近未来• End‐to‐End Speech Translation28

京都⼤学における留学⽣⽀援のための⽇本語字幕付与・⽇英⾃動翻訳

29

AAMTとMTの未来• MTの近未来• End‐to‐End Speech Translation• 場に基づく対話翻訳（⾳声，映像、表情等々）• 異⽂化対話の⽀援• 実⽤翻訳の未来（AAMTのターゲット）• 翻訳そのものはMTにまかせる• 翻訳者：ネイティブとしてのチェック、より効果的な訳・レトリックの提案• MT環境エンジニア（コーパス・辞書整備、エンジン選択、パラメータチューニング）30