多言語音声翻訳技術の社会実装:
プロジェクトの全体像とNICTにおける取組み

藤田 篤
情報通信研究機構 ()先進的音声翻訳研究開発推進センター (atsushi.fujita@nict.go.jp)

国立研究開発法人 情報通信研究機構
情報通信技術の研究開発 + 情報通信分野の事業支援

技術移転

超小型衛星
量子通信
深紫外LED

日本標準時
宇宙天気予報2

NICTの人工知能関連研究拠点
ユニバーサルコミュニケーション研究所
京都府相楽郡精華町(けいはんな学研都市)

先進的音声翻訳研究開発推進センター
多言語音声翻訳技術の研究開発が目的，2014年開設

データ駆動知能システム研究センター
インターネット上のデータの解析技術の研究開発が目的，2016年開設

脳情報通信融合研究センター
大阪府吹田市(大阪大学内)0500

3

グローバルコミュニケーション計画
急増する訪日外国人 [日本政府観光局, 17]
多言語音声翻訳技術の社会実装が課題“2020年までに4000万人!”
2020年を前に突破!

# of inbound visitors (million)25
20“2020年までに2000万人!”

151050200020022004

2006

h7p://www.jnto.go.jp/jpn/staCsCcs/markeCngdata_outbound.pdfの数値をもとに作成

2008
Year

2010

2012

2014

2016

NICTにASTREC設立
4

2020年に向けての実証実験 (FYs 2015-2019)5

2020年に向けての実証実験 (FYs 2015-2019)「普通の」ICT機器として活用されることを目指す①Apakah anda
memiliki warna lain?

③お調べします。
赤色があります。

②色違いはありますか。
④Mari saya periksa. Ada merah.

①我的肚子疼
②おなかが痛い③所服用的药吃完了④いつも飲んでいる薬がなくなってしまいました【対象言語 (10言語)】
日, 英, 中, 韓, スペイン,
フランス, タイ, インドネシア,
ベトナム, ミャンマー①お客様の鞄は、品川駅で預かっています。

インドネシア語

英語ショッピング

鉄道②I keep your bag atShinagawa station.

医療ホテル②眺めのよい部屋に変えてもらえますか中国語

ベトナム語【実証実験の体制】
日立，富士通，NTT東日本，KDDI，パナソニック，みらい翻訳，NTTAT，NTTデータ，etc.

①Anh có thể đổi cho tôi mộtphòng với khung cảnh.

6

近未来の音声翻訳のイメージ
動画 (2”06)7

インタフェースの改善
NICTは多言語音声翻訳技術を企業にライセンス
企業はそれを活用したシステムを開発・実証
lパナソニック
ホテルのフロントで利用する「ホテル等受付端末」
n スムーズな対話を実現する「ペンダント型端末」
n 多言語アナウンスに利用する「メガホンヤク」
nl

富士通
nl

医療現場用ハンズフリー端末

ログバーn

スタンドアロンのウェアラブル音声翻訳機 ili

8

NICTにおける取組み
大規模対訳コーパスの構築
l

言語
起点: 日
n コア: 英，中，韓 (訪日外客数の60〜65%をカバー)
n アジア言語: タイ，インドネシア，ベトナム，ミャンマー
n 多数の話者: スペイン，フランス
nl

対象分野
継続: 観光，医療n 新規: 交通(鉄道，タクシー)，ショッピング，防災n

機械翻訳(MT)の研究開発
MTの中身: 翻訳精度の向上: e.g., ニューラルMTの実用化
l MTの周辺技術: MT訳の自動後編集と品質推定
l

9

NICTのMTサービス
VoiceTra, TexTra

10

多言語音声翻訳アプリ VoiceTra
31言語間(31*30言語対)の翻訳
音声認識: 21言語
l 音声合成: 16言語
l言語

アジア言語
ASEAN諸国言語

中東言語

欧州言語

H29.7.4 に5.6をリリース
画面はハメコミ合成です (以下同様)

日本語
中国語
台湾華語
韓国語
トルコ語
ヒンディ語
ウルドゥ語
シンハラ語
ネパール語
モンゴル語
タイ語
インドネシア語
ベトナム語
ミャンマー語
マレー語
クメール語
タガログ語
ラオ語
アラビア語
英語
イタリア語
オランダ語
スペイン語
デンマーク語
ドイツ語
ハンガリー語
フランス語
ポーランド語
ポルトガル語
ポルトガル語(ブラジル)
ロシア語

入力

出力音声テキスト

テキスト音声✔
✔

✔
✔
✔
✔
✔
✔
✔
✔
✔
✔
✔
✔
✔
✔
✔
✔
✔

✔
✔
✔
✔
✔
✔
✔
✔
✔
✔
✔
✔
✔
✔
✔
✔
✔

✔
✔

✔

✔

✔
✔

✔
✔
✔
✔
✔
✔
✔
✔

✔
✔
✔
✔
✔
✔
✔
✔

✔
✔
✔

✔
✔
✔

✔
✔
✔

✔
✔

✔

✔

✔

✔

✔

✔

✔

11✔
✔
✔

✔
✔
✔
✔
✔
✔

✔
✔
✔

✔
✔
✔

✔
✔
✔
✔
✔
✔

✔

✔

VoiceTraの仕組み(1)入力された音声をネットワーク上のサーバに送信

VoiceTra

音声入力

駅はどこですかWhere is the staCon?

音声出力
多言語音声翻訳サーバ(2)翻訳された音声がサーバから戻ってくる

音声認識

テキスト翻訳

音声合成

音声àテキストe.g., 日本語テキストà英語テキスト

テキストà音声

ekiwadokodesuka

駅はどこですか

声を文字に変換

日本語の辞書に合わせて文字を置き換え日本語の音声コーパス

日本語のテキストコーパス

Where is the staCon?

大規模な辞書から同じ意味の英語の表現を参照しつつ，自然な語順の英語表現を探索
日本語と英語の対訳辞書・対訳コーパス

英語のテキス
トコーパス

テキストを自然な音声に変換

英語の音声コーパス
12

NICTの統計的機械翻訳: モデルの学習
SMT: StaCsCcal Machine TranslaConl

対訳コーパスに基づいて
京都駅はどこですか
駅はどこですかトイレはどこですか
タクシー乗場はどこですか
ここはどこですかl

Could you direct me to Kyoto staCon?
Where is the staCon?
Where is the rest room?
Where is the taxi stand?
Where am I?

句レベルの対訳辞書を自動的に学習 [Koehn+, 03]
どこですか à Could you direct me to 1/5 = 20%
どこですか à Where am1/5 = 20%
どこですか à Where is
3/5 = 60%

13

みんなの自動翻訳@TexTra (2014年6月〜)
テキスト翻訳サービス&プラットフォーム

14

土木技術

その他の消費財

家具、ゲーム

運輸

機械部品

熱処理機構

1

その他の特殊機械

1.5

繊維、製紙

エンジン、ポンプ、タービン

機械加工器具ハンドリング機械

環境技術

化学工学

マイクロ構造、ナノテクノロジー

表面加工

無機材料、冶金

基礎材料化学

食品化学

高分子化学、ポリマー

製薬

バイオテクノロジー

有機化学、農薬

医療機器

制御

生物材料分析

計測

光学機器

半導体

ビジネス方法コンピューターテクノロジー

基本電子素子デジタル通信電気通信

音響・映像技術

電気機械、電気装置、電気エネルギー

特許の35技術分野すべてで性能改善
特許庁システムとの中日翻訳性能比較 [高電社, 16]

5

4.5

4

翻
訳 3
品 2.5
質 2
3.5

特許庁 << TexTra

0.5015

ニューラル機械翻訳の出現
Neural MT (NMT)l

ニューラルネットワーク(NN)で構成されたMT神経細胞のネットワークを模倣
n 単純な計算ユニットの組み合わせで高度な処理を実現
nl

JTF Journal Vol. 288 [JTF, 17]•••

ニューラル機械翻訳とは何か?
Google製機械翻訳導入ソリューション
ニューラル機械翻訳と特許翻訳•

続・翻訳者のための作戦会議室
第5回 翻訳者にとって一番大事なこと
機械翻訳の近未来
第5回 ニューラル機械翻訳(NMT)
翻訳テクノロジーを学ぶ
第5回 ニューラル機械翻訳••

16

NMT版VoiceTra (日英・英日; 2017年6月〜)
Align & translate [Bahdanau+, 14]le.g., Google NMT [Wu+, 16]

夕食はどこに行き ます

か <EOS>xh1fh1bベクトル (0.1, 0.3, -0.5)
記憶力アップ・双方向エンコーディング
・多層化 (Google NMTは8層)

h2f
h2b

DeverbalizaCon? 注意型機構付きデコーディングh(チラ見しながらの生成)

csy<Go> where文脈
残り語
shall

wegofordinner?

<EOS>
17

SMTàNMTで翻訳精度が大幅に向上
NICTの英日NMTの精度 [NICT, 17]18

MTの周辺技術の研究開発
自動後編集，品質推定19

NMTの典型的な誤訳の例
関連語の混同
原文 Sandwich with ham and cheese, please.
SMT訳 ハムとチーズのサンドウィッチをお願いします。
NMT訳 ハムサンドとチーズのサンドイッチをください。

訳抜けや繰り返し
原文 How about using an airport pickup service by a hired car?
SMT訳 ハイヤーの空港送迎サービスを利用してはいかがですか。
NMT訳 ハイヤーのハイヤーをご利用されてはいかがでしょうか。

20

MTの実用上の最大の課題: 品質のばらつき
MTのみで完璧な翻訳は不可能 [Bar-Hillel, 51]
現時点では「最低限満たすべき品質」の担保も不可能
l 人間が適切に使いこなす必要あり
l

4つの戦略 [Hutchins+, 92]
人間の介在(a)人手翻訳自動化の程度(b)(c)
機械に支援された 人間に支援された
人手翻訳
MT(d)
高品質なMT(a) 人間のみで翻訳すべきものってどれくらいある?
l (b)(c) 具体的にどう連携する?
l (d) 一定の品質を達成できないなら何を目指す?
l21

MTの外側の研究課題: TranslaCon triage
MT訳の後編集 (Post-ediCng; PE) の自動化
用語の訳出の一貫性 [Carpuat+, 12]l 非文法性は一目瞭然 vs. 誤訳は原文も要参照
l

原文

MT訳

MT訳’

修正訳

MT訳の品質推定 (Quality EsCmaCon; QE) [Specia+, 10]
ユーザの立場での信頼度 (!=MTシステムの自信)
l 後編集の負荷の見積もり [Specia+, 11]l 自動結果の直接使用の可否 [Soricut+, 10]
l

原文

MT訳

そのまま出力人間が後編集
人間が翻訳やりなおし
22

MT訳の後編集 (Post-ediCng; PE)
MT訳を人間が修正する
MTの出現とともに自然発生
l MTの黎明期は人手翻訳よりも時間を食った [ALPAC, 66]l 今や欧州言語間の翻訳フローでは標準的: ISO18587 [ISO, 17]l人材
基本的にはバイリンガル話者が従事l 近年は単言語話者の活用に焦点 à 適材適所
ln

対象分野のエキスパートであることが大事

23

自動後編集 (AutomaCc PE; APE)
MT結果における誤りを，人手の後編集前に修正<原文,MT訳,修正訳>から学習できるだろう [Allen+, 00]l 規則的な誤りを修正l

人間による後編集結果から学習 [Simard+, 07a]n 分野適応においても辞書の構築と同様に有効 [Isabelle+, 07]n 効きそうなMT訳のみ後編集 [Suzuki, 11][Rubino, 12]
n 修正モデルの逐次更新 [Simard+, 13]n原文MT訳修正訳

修正モデル

原文

MT訳

MT訳’

修正訳
24

APE技術の発展
対訳データからの学習 [Simard+,07b]
人間による後編集の手間が不要
l 方向性が異なる訳であっても統計的処理によって旨味
l

原文

MT訳

模範訳
修正モデル

単言語データからの学習 [Junczys-Dowmunt+, 16]l

ニューラルAPEでは原文の適切さは気にならない

疑似原文

MT訳

原文
修正モデル

25

MT訳の品質の推定 (Quality EsCmaCon; QE)
語レベルの品質: 適否や深刻さを表すタグ
le.g., 可視化が有効 [Bach+, 11]
Source‫?ن‬E‫و‬F#‫?آ?ة وا‬6"#‫*)('& وا‬#‫داب ا‬-. /0 1234 -567 80 ‫و‬-"9‫& و‬:‫< ز‬9 =>?"7 @(*A> B4‫أ‬MT output

you totally different from zaid amr , and not to deprive yourself in a basement of imitation
and assimilation .

We predict

you totally different from zaid amr , andand visualize

a basement of imitation and assimilation .

Humanyou are quite different from zaid and amr , so do not cram yourself in the tunnel ofsimulation , imitation and assimilation .

correction

not to deprive yourself in(a)l

学習データの作り方
15]
01 7AC+*D E6F GHI )*IJF[Bojar+,‫**@ات‬LC ‫ل‬+M‫ون ?د‬$%&'()*(+,-‫ول ا‬$-‫ ا‬01 2*‫رآ‬+56-‫ ا‬78%( ‫ ان‬+9:‫@ ا?>&=<ع ا‬AB‫وا‬Source0M+,6-‫*@ ا‬L&-‫*@ات ا‬OPC QRM S*T> .

原文 あなたは22時までにチェックインする必要があります。
the poll also showed that most of the participants in the developing countries are readyMT output

to introduce qualitative changes in the pattern of their lives for the sake of reducing theeffects of climate change.

MT訳 You should

check in by twenty two o'clock .

the poll also showed that most of the participants in the developing countries are readypredict have to check in by
修正訳 WeYou
22:00.
to introduce qualitative changes in the pattern of their lives for the sake ofand visualize=Human

reducing the effects of climate change.

Sub Del== =Sub

InsIns=the survey also showed that most of the participants in developing countries are ready26

語レベルQEの訓練データ
訓練データの作成には人手がかかるl

翻訳の方向ごと，対象分野ごと
原文

MT訳

修正訳
適否のタグ系列

対訳コーパスで代用 [Liu+, 17]
翻訳にも人手はかかるが，存在するものを援用
l タグ系列の生成方法は従来どおり
l

原文

MT訳

模範訳
適否のタグ系列
27

MT訳の品質の推定 (Quality EsCmaCon; QE)
文レベルの品質l

よく用いられる2種類の定義n

想定されるMT訳後編集の割合 (HTER) [Snover+, 06]ln

正確さや流暢さに基づく絶対評価ll

欧米言語を対象とした研究の設定 [Bojar+, 13-17]
e.g., NICTではS/A/B/C/Dの5段階

課題: 訓練データが極めて少ない
n

疑似訓練データが役に立たないln

MT訳と参照訳の乖離に敏感: cf. APE，語レベルQE

深層学習よりも従来の機械学習の方が優勢

28

QE/APE用の研究道具
MT訳の評価と修正訳を含む対訳コーパスl日本語 à 英語，中国語，韓国語 [藤田+, 17]
日本語実発話: 旅行会話8789発話，病院内会話1,676発話
n VoiceTraでMT訳を生成n 人手で模範訳，評価値，修正訳を付与
n 適否のタグ系列とHTERは自動的に算出
n

日本語原文 (実発話) 片道だけで買えますか。
模範訳 (人手) May I get it for one way?
MT訳 (自動生成) Can I buy just one way?
評価値 (人手) B{S, A, B, C, D}

修正訳 (人手) Can I just buy a one way Ccket?

適否のタグ系列
HTER29評価値とHTERの関係
日英/旅行会話

日中/旅行会話

32.5

32.5

22.5

1.5
12

1.5

HTER

HTER

2HTER

日韓/旅行会話

110.5

0.5
00.5

0DCB

日英/病院内会話

0D

Quality of machine translation hypothesis

1.5CB

D

Quality of machine translation hypothesis

日中/病院内会話

2C

B

Quality of machine translation hypothesis

日韓/病院内会話

20.9
0.8

1.5

0.7

1.5

1HTER

HTER

HTER

0.6
1

0.5
0.4
0.3

0.5

0.5

0.2
0.1

00DCB

Quality of machine translation hypothesis

0DCB

Quality of machine translation hypothesis

DC

B

Quality of machine translation hypothesis

30評価値とHTERの関係: 日英/病院内会話
2HTER

1.5
10.5
致命的な誤訳をごく軽微な編集で0修正した例が多い

DC

B

Quality of machine translation hypothesis

31評価値とHTERのミスマッチの例
否定辞の欠落: 評価D，HTER=0.22
原文 多額の現金は持ってこないでください。
MT訳 Please bring a lot of cash.
修正訳 Please don’t bring a lot of cash.

指示対象の誤り: 評価D，HTER=0.13
原文 首が痛くありませんか。
MT訳 Do you have pain in my neck?
修正訳 Do you have pain in your neck?

過度な編集: 評価B，HTER=0.78
原文 素晴らしい景色だね
MT訳 It’s beauCful scenery.
修正訳 The scenery’s beauCful, isn’t it?

目的に応じてシステムを最適化すべき32

まとめNICTとは?
国立の研究機関l 基礎研究から社会還元までを担うlMTサービスを無料提供
多言語音声翻訳アプリVoiceTral みんなの自動翻訳@TexTral

実用化のためにMTの外側の研究課題も推進中
l

MT訳の自動後編集 (AutomaCc Post-ediCng; APE)
原文

l

MT訳

MT訳’

修正訳

MT訳の品質推定 (Quality EsCmaCon; QE)
原文

MT訳

そのまま出力人間が後編集
人間が翻訳やりなおし

33

みんなで考えるべき課題
人間も含めた翻訳の効率を改善するには?
機械に支援された人手翻訳 à 使ってみながら改善
l 人間に支援されたMT à もっとアイディア出しが必要
lne.g., 翻訳おける予測入力[Green+, 14]

MTの品質を改善するには?
lとにもかくにもデータの蓄積
対訳コーパス à MT自体の性能向上
n MT訳の後編集の事例 à APEの性能向上
n MT訳に対する評価値 à QEの性能向上
nlle.g., VoiceTraの誤り通知

課題
品質評価基準の共有
n MT研究のゴール設定(X文Y訳を超えられるか?)
n34