世界の『言葉の壁』をなくす
多言語音声翻訳技術とその社会展開

国立研究開発法人情報通信研究機構
先進的音声翻訳研究開発推進センター
内元 清貴
2019/11/19

1

多言語音声翻訳アプリ VoiceTra

2019/11/19

2

多言語音声翻訳アプリ VoiceTra（ボイストラ）•••

NICTが研究開発した音声翻訳技術の実証実験として公開。利用無料。
31言語間の翻訳に対応。
短文の旅行会話が得意

重点１２言語を強化中
日、英、中、韓、スペイ ン、 フランス、タイ、インドネシア、ベトナム、ミャンマー、ブラジルポルトガル、フィリピン

入力した文
翻訳結果逆翻訳結果（翻訳結果を自分の言語で確認！ ）2019/11/19

3

4,193,346件（2019.10.31時点）
ミャンマーで話題に
VoiceTra

Tweetで話題に
読売テレビ「あさパラ！」で紹介

NHK「おはよう日本」で紹介
Eテレ「ニュースで英会話」で紹介
NHK「おはよう首都圏」等で紹介

2019/11/19

4

多言語音声翻訳技術

2019/11/19

5

ネットワーク型

多言語音声翻訳の仕組み
翻訳アプリ
VoiceTra「駅はどこですか」ネットワーク上のサーバへ入力された音声を送信

ネットワーク上のサーバから翻訳された音声が戻ってくる「Where is the Station?」

音声認識

機械翻訳

音声合成

音声を文字に変換

日本語を英語に翻訳

文字を音声に変換

駅はどこですかWhere is the station?

深層学習

深層学習

日本語の音声・文字コーパス

日本語と英語の対訳コーパス

深層学習
英語の音声コーパス

サーバ内の処理2019/11/19

6

⾳声認識で3年連続の世界1位
国際会議IWSLT2012,2013,2014

英語の講演音声を対象として音声認識の能力を競うコンペ＜単語誤り率(%)による評価＞
参加組織
2012の評価 2013の評価 2014の評価
NICT
12.1
13.5
8.4
9.8
EU-BRIDGE（欧州）- & KIT & FBK
15.9
9.9
MITLL-AFRL（米国） EU-BRIDGE:RWTH & UEDINMITLL-AFRL：マサチューセッツ工科大学
12.7
14.4
11.4
KIT（欧州）リンカーン研究所空軍研究所（アメリカ）
16.8
23.2
11.4
FBK（欧州）
KIT：カールスルーエ工科大学（ドイツ）

LIUM（欧州）
UEDIN（英国）
IOIT（アジア）
RWTH（欧州）
NAIST（アジア）2019/11/19（Facebookに採用されたCMUのエンジンと同等）
12.3
FBK：ブルーノ・ケスラー財団-研究所（イタリア）
14.4
22.1
12.7
LIUM：メーヌ大学（フランス）
UEDIN：エディンバラ大学（イギリス）
19.7
IOIT：ベトナム科学技術アカデミー情報技術研究所（ベトナム）
13.6
16.0
RWTH：アーヘン工科大学（ドイツ）
16.2
NAIST：奈良先端科学技術大学院大学（日本）

NICTが3年連続で、1位を獲得。

《NICTの勝因》
l 優れた人工知能
技術
l 拍手・笑い声などの抑圧技術
7

VoiceTraの日本語・英語間のニューラル機械翻訳（NMT）• 単語や文の「意味」を抽出し、「意訳」のような翻訳を実現。
翻訳性能評価（NICT調べ）

改善例
原文タクシー従来
NMT

原文
買物

従来
NMT

原文防災

従来
NMT

2019/11/19

Yes, you can't take a reserved taxi
or a pickup taxi.
はい貸切タクシーの送迎タクシーに乗ることはできませんか。
はい貸切タクシーや送迎タクシーはご利用いただけません。
There are more and more shops
which accept electronic money eventhough credit cards are notacceptable.
電子マネーカードは使えないものでも受け付けている店も増えています。
クレジットカードが使えなくても電子マネーを使える店は増えてきています。
This area is the area where
inundation has been assumed in theGreat Kanto Earthquake type.
この地域は浸水想定地域は関東大震
災のタイプです。
この地域は関東大震災型で浸水が想定されている地域です。

86.8%

87.4%

94.4%

n 訪日客対応で想定されるタクシー、買物、防災等の各分野の計300文でテストを実施。翻訳精度（意味が通じる割合）が大幅に改善。
8

苦節30年で実験室からフィールドへ、そしてさらなる次のフェーズへ
シフト
パラダイム
ルールベース
(If-Then-Else)
特定話者
文節発声・定型文
静かな室内
会議室予約

ニューラルネット化（深層学習）

コーパスベース(統計モデル＋機械学習)
特定の分野では不特定話者
人間の能力を超える
丁寧な自発発話
展示会会場でもOK(マイクの近くで話せば)

2014
グローバル
コミュニケーション（GC）
計画開始

2019/11/19

オリンピッ
ク・パラリ
ンピック
競技会

パラダイム
社会還元
加速プロ
ジェクト

音声翻訳の研究開始

2020

シフト

2008

1986

言語の壁のない世界へ

2010
2009

全国5観光地域での大規模実証実験

世界初のN/W型音声
翻訳スマホ
アプリ
VoiceTra

大量の実利用ログ
で精度向上（画像は http://www.soumu.go.jp/menu_news/kaiken/
901koho01_02000275.htmlより引用）

2020年の利用イメージ
目標：2020年にショッピング、交通、医療、ホテルなどで「普通」のICT機器として活用される①Apakah Anda
memiliki warna lain?

グローバルコミュニケーション
計画③お調べします。
赤色があります。

①お客様の鞄は、品川駅で預かっています。
山手線②色違いはありますか？
④Saya cari dulu. Ada yang merah.

①我肚子疼②おなかが痛い③平时吃的药吃完了④いつも飲んでいる薬がなくなってしまいました。

2019/11/19

インドネシア語

ショッピング
医療
中国語

開発
推進協議会

英語

交通

②Your bag is being kept
at Shinagawa station.

ホテル②眺めのよい部屋に変えてもらえますか？

ベトナム語【対応言語（１０＋２言語）】
日、英、中、韓、スペイ ン、
フランス、タイ、インドネシア、ベトナム、ミャンマー、ブラジルポルトガル、フィリピン①Có thể đổi cho tôi phòng cótầm nhìn đẹp được không?

10

社会展開

2019/11/19

11多言語音声翻訳サービス（イメージ）2019/11/19

12

NICT多言語音声翻訳技術の社会展開例
電話利用

工場

プラットフォーム

「多⾔語業務向けシステム」
住友ゴム⼯業(ATR-Trek)「みらい翻訳プラットフォーム
⾳声翻訳APIサービス」 「mimi® クラウドAPIサービス」
みらい翻訳
フェアリーデバイセズ

タクシー･飲食･宿泊など
IPテレフォニー向け｢多⾔語⾳声翻訳ソフトウェア｣
⽇⽴情報通信エンジニアリング

病院「TOTTRA｣⿃取県ハイヤータクシー協会(フェアリーデバイセズ)「SmaLingualシリーズ｣
⾒果てぬ夢[IP Dream]
スマートカルチャーゲートウェイ「医療機関向けハンズフリー
多⾔語⾳声翻訳システム」
富⼠通

自治体･学校「多⾔語⾳声APIサービス」
⽇本電気

ショッピング･飲食など「医療通訳タブレットMELON｣
コニカミノルタ「ili インバウンド｣
ログバー

観光施設･宿泊など「接客⾳声翻訳」
三菱地所(凸版印刷）

東京「はなして翻訳｣
NTTドコモTOKYO「VoiceBiz ®(ボイスビズ)」
凸版印刷「ネイティブheart」
ブリックス｢Fairy I/O® Tumbler T-01｣
フェアリーデバイセズ「対⾯ホンヤク」
パナソニック「NEC翻訳」
⽇本電気

郵便「多⾔語翻訳アプリ」
⽇本郵便(凸版印刷）「しゃべって翻訳for A」
ATR-Trek「mimi ® ⾳声翻訳
powered by NICT｣
フェアリーデバイセズ「TabiTra」
凸版印刷「POCKETALK® W｣
ソースネクスト

観光地など「ili(イリー)｣
ログバー

金融「“ハイブリッド式”多⾔語通訳サービスKOTOBAL」
コニカミノルタ

鉄道
警察

消防「駅コンシェル®」⽇⽴ソリューションズ･テクノロジー「どこでも翻訳」
フィート･「PIT/スマホと腕時計型端末」岡⼭県警･「VoiceTra」道府県警(NICT)※実証実験中「救急ボイストラ」
消防庁(「鉄道向け多機能翻訳アプリ｣
京急･NICT･ブリックス･⽇⽴G※実証実験時）13報道発表等の数
報道発表・掲載数（件）
1600
1457
1400
1200

件数（件）

100080072860040027520004
2014.12〜

462015

2016

2017

2018

年度

報道発表数および､新聞･雑誌･WEBなど掲載数､テレビ･ラジオなど報道数
2019/11/1914VoiceTra技術を活用した実証実験・技術移転例（１）VoiceTra技術を活用した共同研究・実証実験例（90件以上）
防災

総務省消防庁
434消防本部(726本部中）鉄道

京急電鉄、ブリックス、日立、
日立ソリューションズ・テクノ タクシー
ロジー

KDDI

医療 東大病院、富士通※令和元年6月1日現在

救急隊用音声翻訳アプリ「救急ボイストラ」の活用

警察

多言語音声翻訳と訪日外国人向け電話通訳の観光タクシーでの活用
ハイブリッド翻訳サービス

実用化

実用化

ハンズフリー音声翻訳端末（共同研究・臨床試験）

ショッピング パナソニック

29都道府県の県警

岡山県警
交番等を訪れる外国人への案内

ペンダント型
音声翻訳機

実用化
対話型の音声
翻訳画面

忘れもの
確認画面

日立ソリューションズ・テクノロジー

駅コンシェル®
(2018)
朝日新聞（2018.6.12）より引用

2019/11/19

鳥取県
ハイヤータクシー協会(フェアリーデバイセズ)
TOTTRA(2019)

自治体

鳥取砂丘会館による撮影

お土産屋での実験

実証から実用化へ
綾瀬市（凸版印刷）
在留資格や学校の手続き

凸版印刷プレスリリース（2019.5.8）より引用

15

「救急ボイストラ」全国の消防本部への導入• 消防研究センターと共同で、救急隊用の多言語音声翻訳アプリ「救急ボイストラ」を開発し、平成29年4月18日より、全国の消防本部に対して提供を開始。
• 令和元年6月現在､ 434消防本部（726本部中）で利用開始。約4,000台規模の端末で導入。
◆対応言語(15言語）◆開発のポイント

英語・中国語・韓国語・スペイン語・フランス語・タイ語・インドネシア語・ベトナム語・ミャンマー語・台湾華語・マレー語・ロシア語・ドイツ語・ネパール語・ブラジルポルトガル語

１．救急現場で必要となる辞書/対訳例文の充実
２．救急現場で使用頻度が高い会話内容を「定型文」として登録（15言語）
３．定型文での質問/確認に対して外国人傷病者が返答できるユーザインタフェースを追加

出典：報道発表資料（Ｈ29/4/18）

2019/11/1916警察におけるVoiceTra導入状況

2019/11/19

17

VoiceTra技術を活用した実証実験・技術移転例（２）
民間企業での実サービス例（ライセンス50件以上）
アプリ

専用端末

プラットホーム

凸版印刷
カスタマイズ可能な
音声翻訳サービス
VoiceBiz ® （ボイスビズ)(2018)

みらい翻訳
機械翻訳クラウドサービス
Mirai Translator(2017)

活用例

導入例

NEC
Panasonic
タブレット型多言語 多言語音声翻訳
サービス（※）
音声翻訳サービス(2017)
対面ホンヤク※アプリやAPIでも提供可(2017)

凸版印刷-NTT東日本
インバウンド翻訳サービス
cototoba ジャパリンガル(2017)
日本郵便「郵便局窓口音声翻訳」
全国約20,000局(簡易郵便局は除く)に導入(2018)
2019/11/19

NTT Com-みらい翻訳
翻訳ソリューション
COTOHA Translator(2018)

ログバー
オフライン翻訳機
ili／ili PRO(2018)

ソースネクスト
クラウド型
音声通訳機
POCKETALK ® W(2018)
18

みらい翻訳「多言語音声翻訳プラットフォーム」による社会展開
・総務省の「グローバルコミュニケーション計画の推進-多言語音声翻訳技術の研究開発及び社会実証-」の成果をプラットフォームとして商用化。多言語音声翻訳の｢クラウド型APIサービス｣｢ソフトウェアライセンス｣｢翻訳モデルカスタマイズサービス｣を包括的に提供。
・みらい翻訳は、NICTが実施した「多言語音声翻訳のライセンス事業を行う企業・団体の募集」に応募し、NICTとライセンス事業に関する契約を締結。｢ソフトウェアライセンス｣の申込み受付を2019年4月18日より開始｡■多言語音声翻訳APIサービス

企業向けのワンストップサービス
プラットフォーム全体像

AdPE )-+! )-+AdPE! ! \dBXY_
Ad >adN`@V[L?dC]bOH=PE,+*.6! ee!  <bDb9FHI:HR12)-+52 c'R^b" 6084&73 #c%$R^b" 6084(73 #/f" #" #f cG;fSIKWf;bJMC:fVZbUdfQ^bEfET;b■多言語音声翻訳ソフトウェアライセンス.
h8GmF HZO:;6
（出典：みらい翻訳HPより)

2019/11/19

 Cn
XF"- ')<mEm
%<mEm-  <mEm- %CnU\l@hb*+Mnj/- ')s%s-  0- ')dNj (s (s(/t0t,(t8mPSD6(tI8(t-  dNj ]OQb(t_jO>j(/[hEj0tF^8m(tZhmF(to11#(paem`n(%dNj (4 (t(/t0t,(tI8(t]OQb(tF/ &21#( 0 ^8m(tZhmF(t8mPSD6(taem`n(t6hX6/11#( 0 (t8Ii6(t:jP9(t=hmJ(t?cnj(tDmTh/$3#( 0 (t!(tNm`n?(tP8M(tOjA(tSVnj(tTm>in(tWmN7(tZ7iYm(t_jO>j(t_jO>j(/[hEj0t`kn(tdmBj(thn=(tlD6(t#(\lZ;LDgQjCnXF/%dNj5KfnRm@019
HZO:;6 C_nO/rqC_nO0

今後の技術展開

2019/11/1920

言語識別技術• 話された言葉が何語かを自動判別– 短い発話（1.5秒程度）に対応– 8言語（日、英、中、韓、タイ、ミャン
マー、ベトナム、インドネシア）対応– 90%以上の精度で識別– 言語識別に要する計算時間は0.15秒
これまで

何語なのかわからないよ…

これから

言語識別技術の導入ดอกซากุระบานถึงเมื1อไหร่ ครับ?

ดอกซากุระบานถึงเมื1อไหร่ ครับ?

タイ語
桜はいつまで咲いていますか？

2019/11/19

21

言語識別＋音声翻訳

2019/11/19

22

言語識別＋音声翻訳の応用
多言語インタビュー字幕システム（デモ）2019/11/19

23

リアルタイム多言語字幕付与システム（同時通訳システム）

2019/11/19

24

処理方式の違い• 今後の課題– 文脈、マルチモーダル情報の考慮
2019/11/19

25

自動翻訳の未来（イメージ）2019/11/19

26

同時通訳技術の社会実装例
講演をリアルタイムで各国語に通訳･･･「携帯電話会社」に･･･「携帯電話事業者」間の･･･「ケータイ会社」は･･･

ガイドの発話内容を多言語化しリアルタイムで配信

様々な類義語について、⽂脈に応じて語彙を統⼀･･･to "the mobile phone operators"･･･between "the話者⽂化の意 的背図を 景を補完 踏まして え通訳

韓17世纪初・・・・･･･to"the phonemobile phone
operators"･･･between
mobilephonemobileoperators"･･･"themobile "thephoneoperators"･･･to "the mobile phone operators"･･･between "the mobile phoneoperators"･･･"the mobile phone operators" are･･･operators"･･･"the mobileare･･･
phone operators" are･･･

英

会議での議論の内容をリアルタイムで通訳・字幕表示して共有

中

講演通訳

ガイド通訳

会議通訳

遠隔協業

In the beginning of theseventeenth century・・・

現場の状況の把握と本部からの指示をリアルタイムで的確に通訳・字幕表示
現場の映情報を 像と、その映像から反映し読み取て的を遅延 確に通訳した ったなく伝達
⾳声

現在の状況を教えてください。
progress
Please tell us about your current

現在議論に利⽤できる⾼精度・低遅延な通訳システムの 状況はどうなってい ます

本部か︖

Yes, …

現場

2019/11/19「江⼾時代初頭に･･･」

詳細な内容
を･･･

現場への指⽰
⾳声・ を的確に通
字幕で
訳
伝達 して

27

さらなる普及・発展に向けて

2019/11/19

28

多言語音声翻訳コンテスト
https://tagen.go.jp/
多言語音声翻訳の新しい活用方法や面白い使い方などにより「言葉の壁」をなくしていく
n サンドボックスサーバの開放n 応用アイデアの発掘と調査①「言葉の壁をなくす社会」実現への貢献度②アイデアの新規性③近い将来での技術的及び商業的な実現性
アプリ・システムユーザ
アプリ・システム
開発者（企業／個人）

アプリ1

アプリ2

アプリ3

アイデア、PoC
コンテストの対象
部分

API
提供会
社

音声認識

機械翻訳

音声合成

音声翻訳サーバ要約

サンドボックスサーバ

審査会＠ TEPIAホール（東京）アイデアコンテスト：12/14（土）試作品（PoC）コンテスト：3/14（土）※2019年10月～2020年3月に、内閣府PRISM（官民研究開発投資拡大プログラム）予算を活用して実施
2019/11/1929

多言語音声翻訳コンテスト結果（昨年度）
アイデアコンテスト優秀賞 （発表順）■アイデアコンテスト結果
募集期間：平成30年11月13日～12月20日
提案者
アイデア件名
応募件数：137件
教えて、プログラミング！
審査会：平成31年1月12日＠TEPIAホール（東京・青山） 西本 匡志
メッセージスティック（Message Stick）
希望者には、PoCコンテストの一次審査の無条件通過 飯島 幸太
しゃべりかけるとこたえてくれる！デジタルサイ権と、そのための開発支援金（最大50万円）の支給、パTeam ゆれくる
ネージチャンネル「City Watch」
ートナー企業とのマッチング機会を提供。

■PoC（試作品）コンテスト結果
募集期間：平成30年11月20日～平成31年1月21日
応募件数：16件
審査会：平成31年3月2日＠TEPIAホール（東京・青山）

2019/11/19

木戸 美帆

ロバの耳（ローカル＆バーチャルな耳）

河原 慶太郎

写して翻訳

小杉 知己

スマホアプリ『Negiro』（値切ろう）海外で楽しく値切りショッピング

若林 秀樹

E-Traノート（イートラ・ノート）、教員と保護者間の（多言語対応）連絡帳アプリケーション

湯川 大雅

宇宙人とも意思疎通が可能？「イラスト翻訳」

弥生駒

やさしいコトバ検定

仲村 怜夏

RINRIN ～翻訳機能付き防犯ブザー～

PoCコンテスト各賞

提案者

作品名

総務大臣賞（最優秀賞） 若林 秀樹

E-Traノート（イートラノート）

NICT賞（次点）西本 匡志

教えて、プログラミング！

TIS賞

河原 慶太郎 写して翻訳

DG Lab賞

仲村 怜夏

RINRIN -翻訳機能付き防犯ブザー-

J-TLAC賞（一般社団法人日本観光地域活性化機構）

Let’s meetin Japan2020

車載・ライブ配信で使う
ハンズフリーコントロール・
翻訳機

30翻訳バンクプロジェクト
http://h-bank.nict.go.jp

総務省とNICTの共同プレスリリース

4年で10倍の増量スピードを目指す

翻訳データの拠出と高精度自動翻訳エンジンの提供のポジティブ・ループの促進
2019/11/19

31

2019/11/19

32