NICTにおける自動『同時通訳技術』のご紹介
AAMT年次大会
2022年12月1日
情報通信研究機構
内山将夫
1

講演概要
総務省委託研究開発「多言語翻訳技術の高度化に関する研究開発」に関して
NICTの機械翻訳研究開発にフォーカスしてご紹介① 背景・アウトカム目標・推進体制・実証実験などの概要② 自動同時通訳における機械翻訳（同時翻訳）の適用法③ 同時翻訳を実施するために開発するコーパス④ 同時翻訳のこれまでの成果の概略⑤ 今後の課題

謝辞：
本件は、総務省の「ICT重点技術の研究開発プロジェクト(JPMI00316)」 における「多言語翻訳技術の高度化に関する研究開発」 による委託を受けて実施した研究開発による成果である。

2

総務省委託研究開発「多言語翻訳技術の高度化に関する研究開発」
概要

3

１．背景
「グローバルコミュニケーション計画」（平成26年）＜成果＞
逐次翻訳精度の向上 / 自治体・医療・交通・観光等の様々な分野で活用＜今後の展望＞
逐次対話方式に一定の成果が得られたが、今後の更なる利活用拡大のために、発話タイミングに寄らない方式の検討が必要「グローバルコミュニケーション計画2025」（令和2年）へ
従来のNICTの多言語自動翻訳技術の更なる高度化により、従来の短文への逐次翻訳から、会話の文脈（文章の流れ）や話者の意図も補完した「同時通訳」へと飛躍させるとともに、開発成果を通訳サービスの提供又は利活用の主体となる企業等が共通的に利用可能となる仕組みを構築し、社会実装することを目指す。
※ 総務省 多言語翻訳技術の高度化に関する研究開発 基本計画書より抜粋

4２．2025年における社会実装のイメージ• 実証結果に基づくアジャイルな研究開発と普及活動の両軸を推進し、社会実装を目指す。
• 2025年の大阪・関西万博をショーケースとして、日本の自動同時通訳技術を世界に発信。
令和2年～

令和7年（2025年）※出典：グローバルコミュニケーション計画2025 （2020年3月 総務省）

2025年における社会実装のイメージ（一例）

本委託研究開発
同時通訳技術の社会実装
美術館・博物館
イベント
教育連
携

自治体
応対
防災
講演

ショーケースとしての2025年日本国際博覧会（大阪・関西万博）における利活用例

国際会議
遠隔作業等々会場周辺

パビリオン内

GCP協議会
第1期研究成果を活用した製品・サービス

スマートグラス（眼鏡型ウェアラブル端末）

同時通訳システムによる来場者とのインタラクティブなプレゼンテーションの実現

会場への移動空間を利用した周辺
観光地等への誘客や、会場内のイベント・スケジュールの紹介や告知

スマートフォン

会場周辺の宿泊施設受付

5

３．アウトカム目標

国内外の様々な場面での「通訳」ニーズに対してICTの力で応え、社会経済活動において「言葉の壁」を感じさせない環境を創出することにより、企業等の労働生産性の向上や「働き方改革」の推進、利用者利便の一層の増進に寄与する。

※出典：総務省 多言語翻訳技術の高度化に関する研究開発 基本計画書（2020年3月）

6

４．推進体制と役割
研究代表：凸版印刷株式会社（１）自動同時通訳基盤技術
ア）入力分割・要約・翻訳出力最適化技術 （国立研究開発法人情報通信研究機構(NICT)）イ）多様な情報源を活用した通訳精度向上技術（マインドワード株式会社）ウ）自動通訳性能評価尺度の確立（株式会社インターグループ）（２）自動同時通訳システム技術
ア）自動同時通訳ユーザインタフェース(UI)技術ａ）システム利活用要件に応じた総合検証技術（凸版印刷株式会社）[社会実証] アバター対話（凸版印刷株式会社）[社会実証] 情報伝達（東日本電信電話株式会社）[社会実証] 対面・遠隔対話（ソースネクスト株式会社）[社会実証] 遠隔協業（株式会社KDDIテクノロジー）ｂ）入力音源分離技術（ヤマハ株式会社）[社会実証] 音源分離（ヤマハ株式会社）イ）自動同時通訳プラットフォーム技術（フェアリーデバイセズ株式会社）（３）AI学習、検証・評価用データベース(同時通訳用コーパス)の構築 （NICT）〇様々な実証を行い、検証結果を研究開発機関にフィードバック※出典：NICT報道発表 自動『同時通訳』技術の研究開発コンソーシアムを設立（2020年8月）

7

５．昨年度までの実証① ～ヤマハ～（出典：2020年10月12日 ヤマハ（株）ニュースリリース）

実証名

オンラインイベントにおける音源分離実証

イベント名

CEATEC 2020 ONLINE

開催日時

2020年10月20日～23日
10:00~17:00 (最終10:00~20:15)

概要

オンライン展示イベント、CEATEC 2020
ONLINEのカンファレンス枠(3Channelのみ)の映像配信でリアルタイム翻訳字幕を配信主な
検証内容• 翻訳字幕配信システムの動作検証• 音声認識端末へのマイクの入力経路による音声認識の精度影響検証 など

8

５．昨年度までの実証② ～NTT東日本～（出典：2020年12月22日 NTT東日本（株）ニュースリリース）

実証名

災害・防災を想定した自治体での実証実験

開催日

2020年12月21日

概要

在留外国人を含む人々が集う公共施設などにおいて、自治体における平常の業務（防災啓発を含む）から災害発生後の避難施設運営などの有事の業務でも利用可能な情報伝達システムのあり方についての実証を実施

主な
検証内容

• 自治体が住民向けに発行している「防災ガイドブッ
ク（日本語版）」の説明を職員が日本語で行い、外国語話者が翻訳内容を理解出来たかの確認• 情報伝達システムのUI/UXの確認 など

当日の様子

9

５．昨年度までの実証③ ～凸版印刷～（出典：2020年10月9日 凸版印刷（株）ニュースリリース）

実証名

教育現場における実証開催日

2020年12月～2021年2月

概要

教員から親に対する連絡において多言語WEB連絡帳システムのIDを発行。一定期間多言語システムを活用してもらった後ヒアリングを実施

主な検証内容・教育現場での利便性確認
・将来に向けたニーズ確認 など

当日の様子

10

②自動同時通訳における機械翻訳（同時翻訳）の適用法
本プロジェクトにおけるNICTの機械翻訳（同時翻訳）の研究開発の概要のご紹介

11

要素技術を統合した同時通訳エンジン• 同時通訳では、話者が発話を停止しないので、チャンクへの入力分割が必要• 深層学習で、チャンク分割とチャンク単位でのAI翻訳が可能
音声認識

結果の

1. 音声認識結果の単語列を分割器がチャンクに単語列： w1 w2 w3 w4 w5 w6 w7 w8 w9 w10 .....
チャンク：w1 w2 w3
チャンク：w4 w5 w6
チャンク：w7 w8 w9
チャンク：w10 w11 w12

2. 文脈（タグ、履歴等）とチャンクを入力として、AI翻訳でΦ＋チャンク翻訳：||| w1 w2 w3

チャンク単位に翻訳

文脈＋チャンク翻訳：w1 w2 w3 ||| w4 w5 w6→アノテーション付きデータを翻訳エンジンで学習→ ||| t1 t2 t3→ t1 t2 t3 ||| t4 t5 t6
文脈＋チャンク翻訳：w1 w2 ... w6 ||| w7 w8 w9→ t1 t2 ... t 6 ||| t7 t8 t9

12

同時通訳用コーパスの概要• AI翻訳において、チャンク分割点予測や、役割等のタグ付与、省略データの補完等を深層学習していくうえでコーパス設計が最重要となるため、本事業で構築を鋭意進めている。
同時通訳の分割点データ
英語の分割点予測
ニューラルネット
英語の分割点データ

深層学習

I will never forget/thetime/when we first
met. /

cytonNeuralSentSeg

同時通訳者によるチャンク分割を模倣役割等のタグ、省略補完データ

自動翻訳
ニューラルネット

役割発話

患者

友人が転んで頭を打ったようなんです。

It seems my friend fell down
and hit his head.

意識もないんですか？
＝＞彼は意識もないんですか？

Is he also unconscious?

医者

深層学習Transformer

13

同時翻訳にかかるコアの要素技術• 機械翻訳自体Transformerベース
みんなの自動翻訳@TexTraをファインチューニング
• 文脈利用翻訳
タグを利用したり、前の文脈を利用する• 翻訳単位分割技術（文・チャンク）
同時翻訳用に研究開発➡やや詳しく説明

14

五月雨式の文分割の例

15翻訳単位分割技術（文・チャンク分割）• Xiaolin Wang, Masao Utiyama, Eiichiro Sumita:
Online Sentence Segmentation for SimultaneousInterpretation using Multi-Shifted Recurrent Neural
Network. MTSummit (1) 2019: 1-11
CytonNSS: https://github.com/arthurxlw/cytonNss• 入力：五月雨式の単語列• 出力：多項分布 ( i 前の単語が文末のときiが1)

教
師
信号

先読
み
残余

1

1

1

111

100001116

ニューラルネットワーク構造

17

訓練事例

18

デコーディング例

19

実験条件

評価尺度

α＝０．０１
latency = 単語ごとの出力にかかった時間の平均（文頭は長い。文末は短い。平均文長に近い）
12.4 – 8.1 = 4.3 は、文末から4単語で、文全体が出力

20

実験結果

先読み
文末確率ーーーー
非文末確率>閾値で判定

Score
最大

文末確率ーーーー
非文末確率>閾値で判定

21

必要な訓練データ• 文分割➡文分割された生コーパスから学習可能
ASRの出力を模擬するために、句読点除去• チャンク分割➡チャンク分割されたコーパスが必要➡本プロジェクトにおいて同時翻訳コーパスとして作成中
文分割モデル➡ファインチューニング
➡チャンク分割モデル
22

チャンク分割例（日英）原文MT（文脈なし）

おはよう ござい ます|Good morning.

Ｆ 誌 記者 の カーティスタッカー と 申します|

I'm Curtis Tucker, a reporter for FMagazine.

プレゼン の 中 でIn the presentation.

この 製品 の 開発 に 七 年 かかっ た こと に 言及 さ れ て い まし た |It was mentioned that it took 7 years todevelop this product.

特に ご苦労 なさっ た 点 は 何 だっ たと 思わ れ ます か |What do you think was the most difficult
point?

設置 手順 を 簡単 に する ため

In order to simplify the installation
procedure.

持ち運び できる 大き さ に する こと がYou should make it portable.

開発 当初 から 主 な 目標 の ひとつ でし た|

It has been one of the main goals since
the beginning of development.

| は正解の文分割

23チャンク分割例（英日）
原文

MT（文脈なし）

yes

はい、そうです。

it‘s great for field reps | that way
when they're traveling

出張中の現場担当者にとっては、そういう使い方はありがたいですね。

they can still have access to all of
オフィスにあるすべての情報にアクthe information back at the office | セスできます。トレイシー。
tracy
tell them how you start a typicalday |いつもの1日の始まり方を教えてあげてください。

the first thing I do is login to
product a

最初にすることは製品aにログインすることです。

and check my home page | at thetop of the page

トップページにある私のホームペー
ジを見てください。

are my tabs私の担当です。

which quickly help me find all of the すぐに必要な情報を見つけること
information I need. |ができますね。
| は正解の文分割 （英語の方が難しい）

24

同時翻訳のシステム構成

ASR出力➡文・チャンク分割 (CytonNSS)➡句読点付与・要約・省略補完（実装中）➡NMT （分野タグ等）

GPMT: General Purpose Machine Translation••••

チャンク毎に全体を訳し直し。チャンク単位N-to-N翻訳
新規原文チャンクに対応する部分を新規訳文チャンクとする
要約・省略補完→単言語コーパス必要
各種タグ付き対訳コーパス必要（ファインチューニングで訓練）

25

文末で訳し直し• 長所：チャンク単位翻訳の遅れ＜文単位翻訳の遅れ• 短所：チャンク単位翻訳の精度＜文単位翻訳の精度• 文末でチャンクと同期して、文単位翻訳を出力可能
原文チャンクチャンク単位翻訳

前回Previously

文単位翻訳

ちょっと太り気味という数 the results showed Iwas a little too fat,
値が出ていて心配だったんだけど...。
（１文終了）and I was concerned. Last time, I was a little
bit overweight, and I
was worried.

要注意がなくなって

I didn't receive awarning,ほっとしたよ。（１文終了）

and I'm relieved.

I'm relieved that I
don't have to pay
attention.

26

③同時翻訳を実施するために開発するコーパス
本プロジェクトにおけるNICTの同時翻訳の研究開発で開発中の同時翻訳コーパスのご紹介

27前提：同時通訳とは◆ 定義（「応用言語学辞典」より一部抜粋）– 起点言語による話し手の発話を、その進行とほとんど同時に目標言語に通訳していく通訳方式。3～8秒のずれがある。
通訳者が使う技術として予測、待機、区切りなどがある。

◆ 英日同時通訳の例（水野的「同時通訳の理論」より）(1) The relief workers (2) say (3) they don’t have (4) enough food, water,shelter, and medical supplies (5) to deal with (6) the gigantic wave ofrefugees (7) who are ransacking the countryside (8) in search of the basics(9) to stay arrive.
(1) 救援担当者たちの (2) 話では、(4) 食料、水、宿泊施設、医薬品が (3)足りず、(6) 大量の難民たちの (5) 世話ができないとのことです。
(7) 難民たちは今村々を荒らしまわって、(9) 生きるための(8) 食料を求めているのです。
➢ 大幅な構造の変更（順送りの訳）が行われる➢ 情報の省略（欠落）・抽象化なども起こる28同時翻訳コーパスの概要◆ 同時翻訳モデルに求められる要件（書き言葉の翻訳と比較）– 原文のスタイルに対応：話し言葉（非流暢、冗長）– 訳文のスタイルに対応：順送り形式、（時間的制約があれば省略も必要）– 同時性：原文の発話が終了する前に訳出を開始しなければならない◆ 構築した同時翻訳コーパスの特徴
1.
2.
3.
4.
5.

speech-to-speech 形式ではなくtext-to-text 形式の対訳（効率重視）
原文を話し言葉調のテキスト（ビジネス会話、講演）とした
通訳者により、原文にチャンク（一度に翻訳する単位）の情報を付与
通訳者により、先頭の原文チャンクから順に訳文チャンクを作成し、順送りの対訳とした通訳者が省略する・しない情報を区別できた方が良いと仮定し原文の内容の60-80%程度、100%を訳出した2段階の訳文を作成

入力＼出力
テキスト

音声

テキスト

音声

同時性

本コーパス

サイトラ

有

通常の翻訳

字幕

無

音声同時通訳

有

音声逐次通訳

無同時性あり：
原文のある部分と訳文の対応部分が時間的・空間的に近い位置に配置されることが望まれる場合
サイトラ: sight translation
テキストを前から順送りでチャンク単位で訳す

29同時翻訳コーパス構築作業の指示内容◆ 一次訳の作成– 原文が読み上げられる状況を想定し、先頭から意味的なまとまり（チャンク）に分割し、順送り式で訳した訳文を作成する– 原文の内容の60--80%程度を目安として訳出– 原文・訳文の分割した箇所に記号「|」を挿入する➡チャンクに相当➢ Though it seems really simple,(1) |it's actually pretty hard(2) |because it forces people to collaborate very quickly.(3)➢ 簡単そうですが、(1) |実はかなり難しいんです(2) |他の人と素早く協力しなければいけませんから。(3)◆ 二次訳の作成– 一次訳に対し、原文の内容の100%を含むように情報を補った訳文を作成する（例文中の の部分なども明示的に訳出する）※2021年度作業では、100%訳を作成→60--80%訳作成の作業順とした30同時翻訳コーパスの内容（2020年版）◆ データソース– BSD (中澤 2021)：シナリオ作成された日・英の原文とその対訳からなるビジネス対話コーパス。https://www.aclweb.org/anthology/D19-5204.pdf– JNPC (松下 2020)：日本記者クラブでの通訳付き記者会見の書き起こし。
https://www.gsk.or.jp/catalog/gsk2020-a/– SIDB (遠山 2004)：名大にて収録・書き起こしされた同時通訳コーパス。
http://sidb.jp/index.html– TED (Cettolo 2012)：TEDトークの原発話・翻訳からなる対訳コーパス。
IWSLT2017のコーパス
データ

日英35,673
1,298
2,327
39,298

BSD-ja
JNPC
SIDB
合計
データ

英日

文

BSD-enTED
合計

重複付与なし文字文字/文文

789,014
76,144
125,533
990,691

22.1
58.7
53.9

重複付与なし単語単語/文 文25,9788,146
34,124257,281
138,727
396,008

9.9
17.0

重複付与あり文
文字 文字/文
1,279
789
344
2,412

42,15426,266
21,58190,001

33.0
33.3
62.7

重複付与あり
単語
単語/文
1,040
1,194
2,234

15,636
20,36736,00315.0
17.1※重複付与あり：異なる3名によりチャンクと訳文を付与したデータ

31評価：作業者別チャンク長の分布（日本語）
BSD-ja

ビジネス会話% 10

Worker 1

Worker 18

Worker 20

8

文数764

単語/文20.59

文字/文33.08

64
2

1
2
3
4
5
6
7
8
910
11
12
13
14
15
16
1718
19
20
21
22
23
24
25
26
27
28
2930
31-40
41-50
51-600JNPC

講演

108

文数789

単語/文19.54

単語文字/文33.29

Worker 1

Worker 2

Worker 3

6421234
5678910111213
14
15
16
17
18
1920
21
22
23
24
25
26
27
28
29
30
31-40
41-50

0

文数
104

講演
単語/文47.8

文字/文79.02※単語分割は mecab-unidic を使用

11109876543210Worker 8

Worker 17

Worker 18

12
34
5
6
78
9
10
1112
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31-40
41-50
51-60
61-70

SIDB32

評価：作業者別チャンク長の分布（英語）BSD-en ビジネス会話
文数988

単語/文13.64% 14

Worker 10

Worker 20

Worker 29

121086421234
567891011121314151617181920212223
24
25
26
27
28
29
30
31-40
51-60

0

講演

14
12

文数
392

単語/文
12.82

Worker 9

Worker 28

Worker 30

1086
4
20

12345678
9101112
13
1415
16
1718
1920
21
22
23
24
26
27
29
30
31-40

TED

単語33

評価：一次(60-80%)・二次(100%)訳の差分の内容例◆ Insert– (“it’s out of question”, “its’ out of the question”)– (“I will have an hour”, “I will have an hour of your time”)– (“I mean”, “, to be more accurate, I mean”)◆ Delete– (“a part of”, “part of”)
– (“we will advertise”, “we advertise”)– (“we requested all employees to participate in”,
“we requested all employees participate in”)

◆ Replace– (“we hold”, “we are holding”)– (“you can also see them”, “you can also read about them”)– (“please receive them at the reception desk”,“please get them from the reception desk”)– (“potatochips”, “potato chips”)

34

④同時翻訳のこれまでの成果の概略
本プロジェクトにおけるNICTの同時翻訳の研究開発で2022年度までの成果

35

実験設定

1. 入力Xは、複数文（発話）を１行につなげたもの
2. 分割エンジンがXを翻訳単位Siに分ける
3. 翻訳エンジンがSiを翻訳→Yi
4. Yiをつなげて Y とする。
評価指標１．Siの平均長。これが短い方が遅れが短いので良い。
評価指標２．BLEU(Y,参照訳（X））。複数文を１文に見立る36入力例：日本語文（発話）を適宜連結して１入力とする• 議長 どうもありがとうございました。
• 只今ご紹介いただきました木村でございます。
• 本日はここ名古屋市に お招きいただきまして 環境問題の国際的動向と 地域からの取り組みについて報告する機会を与えられ 大変光栄に思っております。
• まず最初に 本会議のホストであります名古屋市長に 心から御礼を申し上げたいと思います。
• 昨日 来市長が 先頭に立たれまして 私どもいろいろと案内していただき そして 名
古屋市についてご説明いただきました。
• 非常にバイタリティ溢れ 若さと行動力と それから リーダーシップ大なりということで お見受けするところ 平成の徳川家康のような方ではないかと 密かに思っておる次第でございます。
• それから中村さんを始めとする 本会議主催者の皆様にも 御礼 申し上げたいと思います。
• 私 はこの度 名古屋市に初めて参りました。
• 従いまして あまり予備知識はございませんでした。
• 徳川家康のこと それから 小さい頃読みました童話集ですね そういった童話を読んだ記憶がかすかにございます。

SIDB (遠山 2004)から引用

37

入力例：英語文（発話）を適宜連結して1入力とする• You know, one of the intense pleasures of travel and one of the delights of
ethnographic research is the opportunity to live amongst those who have notforgotten the old ways, who still feel their past in the wind, touch it in stones
polished by rain, taste it in the bitter leaves of plants.
• Just to know that Jaguar shamans still journey beyond the Milky Way, or the mythsof the Inuit elders still resonate with meaning, or that in the Himalaya, theBuddhists still pursue the breath of the Dharma, is to really remember the central
revelation of anthropology, and that is the idea that the world in which we live
does not exist in some absolute sense, but is just one model of reality, theconsequence of one particular set of adaptive choices that our lineage made,albeit successfully, many generations ago.
• And of course, we all share the same adaptive imperatives.
• We're all born. We all bring our children into the world.
• We go through initiation rites.
• We have to deal with the inexorable separation of death, so it shouldn't surpriseus that we all sing, we all dance, we all have art.
• But what's interesting is the unique cadence of the song, the rhythm of the dancein every culture.
IWSLT2017 TEDコーパス (Cettolo 2012)から引用

38

同時翻訳コーパスでのBLEU比較
人手文分割 ＝～ 自動文分割> 人手チャンク分割 ＝～ 自動チャンク分割> >固定長分割(7単語)※文（発話）連結数1,3,5,7,10の平均値で評価

BLEUスコアで1.45ポイント劣化

BLEUスコア(有意水準5%)で4.60ポイント優れている
BLEUスコアで1.91ポイント劣化

同時通訳コーパス

BLEUスコア(有意水準5%)で5.78ポイント優れている

同時通訳コーパス

みんなの自動翻訳＠TexTraで公開している汎用翻訳エンジンをファインチューニングした翻訳エンジンを利用

39

翻訳単位の平均単語数の比較（同時翻訳コーパス）
翻訳単位長が大幅に短縮➡遅延の改善
一発話＞自動文分割＞自動チャンク分割※文（発話）連結数1,3,5,7,10の平均値で評価
翻訳単位の平均単語数
35.0

30.6

30.0
25.0

26.6
日本語発話
約40%短縮

20.0

15.0

24.8

23.5

12.6

10.0

14.8

英語語発話
約34%短縮ベトナム語発話
約31%短縮

9.1

8.4

7.3

中国語発話
約50%短縮14.1

13.213.1

11.0
7.6

韓国語発話
約36%短縮

7.0

5.0
0.0

jaen

一発話

ko

自動文vizh

自動チャンク

文分割エンジンを人手チャンク分割コーパスでファインチューニング

40

短文化エンジンの公開＠みんなの自動翻訳

左はSIDB (遠山 2004)から引用➡短文化

41

プロジェクト目標再掲：2025年における社会実装のイメージ• 実証結果に基づくアジャイルな研究開発と普及活動の両軸を推進し、社会実装を目指す。
• 2025年の大阪・関西万博をショーケースとして、日本の自動同時通訳技術を世界に発信。
令和2年～

令和7年（2025年）※出典：グローバルコミュニケーション計画2025 （2020年3月 総務省）

2025年における社会実装のイメージ（一例）

本委託研究開発
同時通訳技術の社会実装
美術館・博物館
イベント
教育連
携

自治体
応対
防災
講演

ショーケースとしての2025年日本国際博覧会（大阪・関西万博）における利活用例

国際会議
遠隔作業

等々

会場周辺

パビリオン内

GCP協議会
第1期研究成果を活用した製品・サービススマートグラス（眼鏡型ウェアラブル端末）

同時通訳システムによる来場者とのインタラクティブなプレゼンテーションの実現

会場への移動空間を利用した周辺観光地等への誘客や、会場内のイベント・スケジュールの紹介や告知

スマートフォン

会場周辺の宿泊施設受付

42