日本音響学会 編
The Acoustical Society of Japan

音響サイエンスシリーズ

18

社

音声言語の自動翻訳

ロナ

コンピュータによる自動翻訳を目指して
中村

哲

編著

コ

Sakriani Sakti
戸田智基

Graham Neubig
高道慎之介

共著

コロナ社

社

ロ
ナ

音響サイエンスシリーズ編集委員会
編集委員長

富山県立大学

コ

工学博士

平原

達也

編 集 委 員

熊本大学		

九州大学

博士（工学）

博士（芸術工学）

川井敬二

千葉工業大学		

小林理学研究所

博士（工学）

博士（工学）

苣木

禎史

河原

一彦

土肥

哲也

神奈川工科大学		

日本電信電話株式会社

工学博士

博士（工学）

西口

磯春

葊谷

定男

同志社大学		博士（工学）

松川真美（五十音順）（2017 年 6 月現在）

刊行のことば音響サイエンスシリーズは，音響学の学際的，基盤的，先端的トピックについての知識体系と理解の現状と最近の研究動向などを解説し，音響学の面白さ
を幅広い読者に伝えるためのシリーズである。
音響学は音にかかわるさまざまなものごとの学際的な学問分野である。音に社

は音波という物理的側面だけでなく，その音波を受容して音が運ぶ情報の濾過処理をする聴覚系の生理学的側面も，音の聴こえという心理学的側面もある。
物理的な側面に限っても，空気中だけでなく水の中や固体の中を伝わる周波数ロナが数ヘルツの超低周波音から数ギガヘルツの超音波までもが音響学の対象である。また，機械的な振動物体だけでなく，音を出し，音を聴いて生きている動物たちも音響学の対象である。さらに，私たちは自分の想いや考えを相手に伝えたり注意を喚起したりする手段として音を用いているし，音によって喜んだ
り悲しんだり悩まされたりする。すなわち，社会の中で音が果たす役割は大きコ

く，理科系だけでなく人文系や芸術系の諸分野も音響学の対象である。
サイエンス（science）の語源であるラテン語の scientia は「知識」あるいは「理解」を意味したという。現在，サイエンスという言葉は，広義には学問という意味で用いられ，ものごとの本質を理解するための知識や考え方や方法論といった，学問の基盤が含まれる。そのため，できなかったことをできるようにしたり，性能や効率を向上させたりすることが主たる目的であるテクノロ
ジーよりも，サイエンスのほうがすこし広い守備範囲を持つ。また，音響学のように対象が広範囲にわたる学問分野では，テクノロジーの側面だけでは捉えきれない事柄が多い。
最近は，何かを知ろうとしたときに，専門家の話を聞きに行ったり，図書館や本屋に足を運んだりすることは少なくなった。インターネットで検索し，リ

ii

刊

行

の

こ

と

ば

ストアップされたいくつかの記事を見てわかった気になる。映像や音などを視聴できるファンシー（fancy）な記事も多いし，的を射たことが書かれてある
記事も少なくない。しかし，誰が書いたのかを明示して，適切な導入部と十分な奥深さでその分野の現状を体系的に著した記事は多くない。そして，書かれてある内容の信頼性については，いくつもの眼を通したのちに公刊される学術
論文や専門書には及ばないものが多い。
音響サイエンスシリーズは，テクノロジーの側面だけでは捉えきれない音響学の多様なトピックをとりあげて，当該分野で活動する現役の研究者がそのトピックのフロンティアとバックグラウンドを体系的にまとめた専門書である。

社

著者の思い入れのある項目については，かなり深く記述されていることもある
ので，容易に読めない部分もあるかもしれない。ただ，内容の理解を助けるカラー画像や映像や音を附録 CD-ROM や DVD に収録した書籍もあるし，内容にロナ

ついては十分に信頼性があると確信する。

一冊の本を編むには企画から一年以上の時間がかかるために，即時性という点ではインターネット記事にかなわない。しかし，本シリーズで選定したトピックは一年や二年で陳腐化するようなものではない。まだまだインターネッ
る。

コ

トに公開されている記事よりも実のあるものを本として提供できると考えてい本シリーズを通じて音響学のフロンティアに触れ，音響学の面白さを知るとともに，読者諸氏が抱いていた音についての疑問が解けたり，新たな疑問を抱いたりすることにつながれば幸いである。また，本シリーズが，音響学の世界のどこかに新しい石ころをひとつ積むきっかけになれば，なお幸いである。
2014 年 6 月
音響サイエンスシリーズ編集委員会
編集委員長

平原

達也

ま

え

が

き

話した言葉をその場で相手の言語に翻訳して，あたかも母国語で話している
かのようなコミュニケーションを可能とするのが，自動音声翻訳あるいは音声
自動通訳システムと呼ばれるものである。すでに，種々の SF 映画や漫画では当たり前のように出てくる技術であるが，長い研究開発の末，ようやく実現が社近付いてきた。特に，日本人の外国語への苦手意識がきわめて高いことから，わが国では世界に先駆けて音声翻訳の研究が，1986 年に国際電気通信基礎技術研究所の中の自動音声翻訳研究所において開始された。筆者の中村はその発ロ
ナ

足から 3 年間プロジェクトに参加，さらに，2000 年から 2011 年までプロジェ
クトを率いる立場で参画した。その中で，コーパスベースの確率モデルによる
統計的な音声認識・合成や機械翻訳へのパラダイムシフト，多言語化のための国際共同研究，標準化，種々の実証実験，携帯電話による音声翻訳の実用化などを経験，主導した。本書ではこれらの活動を通した，これまでの自動音声翻コ

訳・自動音声通訳技術の研究開発について述べていく。
本書は，筆者の中村が 2011 年に奈良先端科学技術大学院大学に異動し，知能コミュニケーション研究室で，共著者の戸田，Sakti，Neubig とともに音声自動通訳の基礎研究を行ったことを機に執筆を決心した。それぞれ，音声翻訳のプロジェクトを率いてきた中村，音声合成および声質変換の専門家である戸田と高道，多言語音声認識の専門家である Sakti，そして，機械翻訳の専門家である Neubig という，執筆時点で研究の先端を行く筆者が本執筆を担当した。
本書の出版においては，音響サイエンスシリーズ編集委員会 委員長の富山
県立大学の平原達也教授に本書のご提案をいただいた。また，コロナ社には企画から原稿の出版まで長きにわたり大変ご尽力をいただいた。また，これまで
音声翻訳の研究開発をともに進めてきた株式会社 エイ・ティ・アール自動翻

iv

ま

え

が

き

訳電話研究所，音声翻訳通信研究所，音声言語通信研究所，株式会社国際電気
通信基礎技術研究所・音声言語コミュニケーション研究所，情報通信研究機構の共同研究者の皆様，音声翻訳の研究に継続的に資金提供していただいた総務省，文部科学省，内閣府の皆様，そして，奈良先端科学技術大学院大学情報科
学研究科知能コミュニケーション研究室のスタッフ，学生諸君に感謝する。
2018 年 3 月

コ

ロ
ナ

社

中村

執筆分担
中村

哲

1 章，2 章，3 . 1 節，3 . 2 節（日本語訳）
，4 章，5 . 1 節，6 章

Sakriani Sakti

3 . 2 節（英語原文）

Graham Neubig

3 . 3 節，5 . 2 節

戸田智基

3.4 節

高道慎之介

3.4 節

哲

目

第1章

次

音声翻訳の概要
1

1 . 2 自動音声翻訳のこれまで

2

引用・参考文献

5社

1 . 1 音声翻訳システム

第 2 章 話し言葉の異言語コミュニケーションロナ

2 . 1 話し言葉の性質

6
10

2 . 3 言語情報と非言語情報の役割

14

引用・参考文献15

コ

2 . 2 コミュニケーションとはなにか

第3章

自動音声翻訳の構成要素

3 . 1 音声翻訳モデル

17

3.2 音

18

声

認

識

3 . 2 . 1 音声認識システムの概要
3.2.2

音声認識技術のマイルストーン

3.2.3 音 声 認 識 技 術

3.3 機

械

翻

訳

3 . 3 . 1 人間の翻訳と機械の翻訳
3.3.2

18
20
23
43
43

機械翻訳の難しさ

45

3 . 3 . 3 翻訳システムの作り方

46

目

vi

次

3.3.4

対訳データの収集・対応付け

3.3.5

フレーズベース翻訳49

木に基づく翻訳

55

3.3.6
3.3.7

ニューラルネットに基づく機械翻訳

3.3.8

翻訳結果の評価

3.3.9

3.4 音

声

合

機械翻訳の現状と未解決問題

成

3.4.6

社

非言語情報およびパラ言語情報の制御
合成音声の評価

音声合成の現状と今後の課題

ロナ

引用・参考文献67

70

3 . 4 . 3 統計的パラメトリック音声合成方式
3.4.5

65

69

テキスト音声合成の仕組み

3.4.4

58

68

3 . 4 . 1 音声合成の歴史
3.4.2

47

77
86
90
91
93

第 4 章 音声翻訳の研究プロジェクトとシステム
4 . 1 ATR と NICT プロジェクト
4.1.1

ATR プロジェクト

NICT プロジェクト

コ

4.1.2

105
105
127

4 . 2 世界のおもな音声翻訳プロジェクト

130

4 . 3 国際共同研究と音声翻訳標準化

135

4.3.1

C-STAR

4.3.2

135

A-STAR

136

IWSLT

136

4.3.3
4.3.4

国 際 標 準 化

4.3.5

引用・参考文献

U-STAR

138
140
140

目

第5章

次

vii

音声同時通訳

5 . 1 同時通訳者の処理と認知モデル

144

5 . 2 コンピュータはいかに同時通訳者に迫るか

147

5 . 2 . 1 翻訳タイミングの決定
5.2.2

148

未発話内容の予測

152

5.2.3 表 現 の 工 夫

154

5.2.4

同時音声翻訳システムの評価

引用・参考文献156
158

6 . 1 理想的な音声翻訳モデル

ロナ

6 . 2 パラ言語音声翻訳

究極の音声翻訳

社

第6章

160
161

音声画像翻訳

163

6.4

speech-chain への挑戦

165

6.5

end-to-end 音声翻訳

166

6 . 6 音声翻訳の課題と今後

168

引用・参考文献

171

あ
索

コ

6.3

と

が

き 

172

引 

176

第１章
音声翻訳の概要

音声翻訳システム社

1.1

音声翻訳システムの全体像を図 1 . 1 に示す。音声翻訳は，大まかに言って入力音声の言語情報を認識する多言語音声認識，多言語機械翻訳，そして翻訳

ロナされたテキストを読み上げる音声合成から構成される。また，原言語の入力音
声に含まれる感情，発話スタイル，声質，韻律などは言語を変換しても目的言語で保持されるように保存，変換する必要がある。これらの処理は難易度が高
いため，どのような話題について話しているかの話題知識（ドメイン知識とも言う）と，対話履歴や知識で内容を補って認識，翻訳を行っていく。現状で

原言語

コ

は，文字化できる情報（言語情報）のみに注目し，話題を限定した状況で，多
目的言語
対話
知識

ドメイン
知識

音声信号
“to o kyo e i ku”

入力
音声

言語情報

音声認識

非言語情報

感情・スタイル
声質・韻律

声質，韻律

図 1.1

機械
翻訳
保存
変換

機械翻訳結果/I/go /to/ Tokyo/

音声合成結果“ai go tu tokyo /

音声合成

言語情報
非言語情報

声質，韻律

音声翻訳システムの構成図

感情・スタイル
声質・韻律

出力
音声

2

1.

音声翻訳の概要

言語の音声認識，機械翻訳，音声合成と，それらを統合した音声翻訳が動作可
能な状況になってきた。筆者の中村が研究を開始した 1980 年代前半は，音声認識で言えば 500 単語程度の特定話者の単語音声認識が動く程度のレベルでごいあった。いまでは不特定話者大語彙の統計的多言語音声認識，多言語の機械翻訳，統計モデルによる多言語音声合成が実用可能になり，30 年の間のインフラの進化を含めた飛躍的な技術の進化に感動を覚えざるを得ない。
一方で，未解決の課題も山積している。話し言葉である音声言語をいかに翻訳するか，人間の通訳のような五月雨式で内容を解した音声自動通訳をどう実現するか，文脈をどう考慮するか，照応，省略をどう補完するか，原言語で曖社

昧な表現を目的言語にそのまま訳せるか，文化・背景などの違いによって意味の異なる表現をどう訳すか，方言はどうするのか，イントネーションや声質，

ロナ

ジェスチャ，表情などはどう扱うのか，多くの課題が残されている。

1.2

自動音声翻訳のこれまで

わが国では，日本電気株式会社（以降 NEC と表記）が 1983 年の世界電気通信展示会で音声翻訳のデモンストレーションを行い世界の注目を集めた3）†。

コ

その後，1986 年に NTT の民営化に伴う NTT 株の売却益をもとに基盤技術研究を行う民間基盤技術促進制度と基盤技術促進センターが発足し，産学官が共同で研究を行う体制が整備され，多くの基盤研究を行う研究所が発足した5）。
日本人は外国語が苦手であることから，音声翻訳技術の研究開発がその一つに選ばれ，1986 年に株式会社国際電気通信基礎技術研究所（エイ・ティ・アー
ル，Advanced Telecommunication Research Institute International，ATR）と，実際の音声翻訳の研究開発を時限で行う会社である株式会社エイ・ティ・アー
ル自動翻訳電話研究所が創設され，国内外の多様な音声言語研究者が参画した。
1986 年当時は不特定話者・連続音声の認識もまだ十分にできない状況であ†

肩付数字は各章末の引用・参考文献番号を表す。

1.2

自動音声翻訳のこれまで

3

り，国際会議予約，ホテル予約，日常旅行会話に順次，研究開発の目標となる
話題とタスクを拡張しながら研究を進めた。1993 年には，自動翻訳電話研究所（日本），カーネギーメロン大学（アメリカ，略称 CMU），シーメンス社（ドイツ）の世界 3 地点を結んだ音声翻訳会話実験が行われた11）。この実験はニューヨークタイムズでも大きく取り挙げられた。これを機に国際的な音声翻訳研究コンソーシアム（Consortium for Speech Translation Advanced Research，
C-STAR）が発足し，日本，アメリカ，ドイツ，（後に，イタリア，フランス，
中国，韓国も参加）が音声翻訳の国際共同研究を開始した。ATR のプロジェ
クト開始の後，世界でもさまざまな音声翻訳のプロジェクトが開始された。対社

話 音 声 翻 訳 を 目 指 し て ド イ ツ で は Verbmobil プ ロ ジ ェ ク ト12）， 欧 州 でNESPOLE!4）が，アメリカでは TransTac プロジェクトが実施された1）。また，講演などの音声翻訳を目指して欧州で TC-STAR プロジェクト6），EU 会議の同ロ
ナ

時通訳を支援する EU-BRIDGE プロジェクトが実施された2）。アメリカでは，GALE プロジェクトが 2006 年から 5 年間実施された10）。GALE プロジェクト
は，アラビア語，中国語から英語への自動翻訳を目指したプロジェクトであり，これまで人間が行っていた多言語重要情報の抽出，翻訳，要約作業の自動化を目的にしている。

コ

自動音声翻訳の国際共同研究コンソーシアム C-STAR は，2004 年からより学術的な研究を中心にした組織に変わり，IWSLT（International Workshop on
Spoken Language Translation）という国際ワークショップとなった。この国際
ワークショップは，音声翻訳に関する性能評価トラックを中心としており，参加者は規定の学習データを用いてシステムを構築し，テストデータとして
IWSLT から供給されるデータの結果と論文を投稿する。会議はこれらのシステム論文と，一般の研究論文から構成される。
これらのプロジェクト等で研究開発された技術の実用化については，携帯電話の通信速度と帯域の向上により高度な計算がリモートのサーバ側で実施できるようになり，大量の音声・テキストデータの収集により，性能が飛躍的に向上し，スマートフォンを端末とした音声翻訳サービスの実用化，商用化が進ん1.

4

音声翻訳の概要

でいる。日本においては，世界に先んじて ATR の技術を元にした携帯電話を端末とし，分散音声認識のフレームワークを利用した音声翻訳サービス「しゃべって翻訳」が 2007 年に商用実用化され普及した。さらに，スマートフォン
を端末にした音声翻訳試験サービス VoiceTra を 2010 年にスタートさせ多くの利用者に使用していただいている7）～9）。海外では，アメリカで Google 翻訳，
さらに最近では Microsoft 社が無料通話アプリ Skype に音声翻訳を試験的に導入して話題となっている。音声翻訳の歴史を図 1 . 2 にまとめた。
音声 テ
-キスト
翻訳・要約
EU Verbmobil
1993-2000

EU NESPOLE!
2001-2003

C-Star I C-Star II C-Star III
1991
2000
-1992 1993-1999 -2003

US GALE
2006-2010

社

EU TC-STAR
2004-2006

US TransTac
2006-2010

US BOLT
2011-2015
EU-BRIDGE
2012-2014

音声翻訳

ロ
ナ

IWSLT
2004-

A-Star
2006-2010

U-Star
ITU-T
2010音声翻訳
NICT グローバル
プロ
トコル
NICT-MASTAR
コミュニケーション
標準化2008.4-2011
2014-2020

ATR フェーズ I ATR フェーズ II ATR フェーズ III ATR-NICT
フェーズ IV
1993-1999
2000-2005
1986-1992
2006-2007

音声翻訳
実用化

2000

コ

1990

2005

しゃべって
翻訳
（ATR-Trek）

VoiceTra（NICT）

VoiceTra4U VoiceTra+（NICT） （NICT）

GoogleJibbigoTranslate スタンドアローン
音声入力 音声翻訳

2007

2009

2011

Skype
Translator
ベータ版

2013

2014

2015

〔年〕
図 1.2

音声翻訳の歴史

任意の話題に対する自然な発話の音声翻訳は高度な課題であるため，特定の話題に音声翻訳の対象を絞り込むことにより音声認識や翻訳の精度を利用可能
なレベルまで向上させ実用化が試みられている。対象とする会話は，会議予
約，ホテル予約，旅行会話，多様な日常会話へと比較的容易な翻訳から順次高度な翻訳へ研究開発が進められてきた。現在は，5 章で述べるように，講演やビジネス会話を対象に，「自動翻訳」から「同時自動通訳」への研究が始まっている。

引 用 ・ 参 考 文 献5

引用・参考文献
1） N.Back, M.Eck, P.Charoenpornsawat, T.Köhler, S.Stüker, T.Nguyen, R.Hsiao, A.Waibel, S.Vogel, T.Schultz, and A.Black：The CMU TransTac 2007 Eyes-free andHands-free Two-way Speech-to-Speech Translation System, Proceedings of
IWSLT（2007）2） M. Freitag, et al.：EU-BRIDGE MT：Combined Machine Translation, Association
for Computational Linguistics（ACL）,June（2014）
3） Y.Kato：The future of voice-processing technology in the world of computers andcommunications, Proceedings of Natl. Acad. Sci. USA, 92, pp. 10060-10063（1995）

社

4） A.Lavie, F.Metze, R.Cattoni, and E.Costantini：A Multi-perspective Evaluation of
the NESPOLE! Speech-to-speech Translation System, Proceedings of the128（2002）

ロナ

Workshop on Speech-to-Speech Translation：Algorithms and Systems, pp. 1215） T.Morimoto：Automatic Interpreting Telephony Research at ATR, Proceedings ofa Workshop on Machine Translation,（1990）
6） D.Mostefa, O.Hamon, and K.Choukri：Evaluation of Automatic Speech
Recognition and Speech Language Translation within TC-STAR：Results fromthe first evaluation campaign, Proceedings of LRECʼ06（2006）
7） 中村

哲：音声翻訳技術の現状と今後の展開，文部科学省科学技術政策研究所

コ

科学技術動向研究センター 科学技術動向，89，pp. 8-19,（2008-08）
8） 中村

哲：話し言葉の音声翻訳技術，電子情報通信学会誌，96 11，pp. 865-873（2013）
9） 中村

哲：音声翻訳概観，電子情報通信学会誌，98，8，pp. 702-709（2015）10） H.Soltau, G.Saon, B.Kingsbury, H.Kwang, J.Kuo, and L.Mangu：Advances in Arabic
Speech Transcription at IBM Under the DARPA GALE Program, IEEE
Transactions on Audio, SPEECH, AND LANGUAGE PROCESSING, 17, 5, pp. 884894（2009）11） 谷戸文広，竹沢寿幸，嵯峨山茂樹，鷹見淳一，H. Singer, 浦谷則好，森元榑松逞，

明：自動翻訳電話国際共同実験，電子情報通信学会技術研究報告，93，

87（SP93 14-23）,pp. 73-80（1993）
12） W.Wahlster：Verbmobil：Foundations of Speech-to-Speech Translation, Springer（2000）

あ

と

が

き

音声翻訳の研究に出会って早 30 年になる。筆者の中村が音声認識の研究を始めたときは，音声の特徴量を線形予測の係数として抽出する手法，音声の発話ごとの声道の違いによるスペクトルの変動をマルチテンプレートで吸収し，時間変動を動的計画法で吸収する手法が主流で，それでも非常に巧妙であるこ社とに感動したものである。当時は日本の音声・言語処理技術は世界トップであった。しかし，その後，隠れマルコフモデルや N グラムのようなそれまでと異なる通信理論に基づく統計的なモデリング，さらには，深層学習による手ロ
ナ

法が登場し，まったく景色が変わってしまった。さらに，アメリカでは国防総省の DARPA プロジェクトのもと，共通タスクで性能競争するというフレームワークが始まり，必ずしも新しくない手法の組合せだが，少しずつ性能を向上させる，技術開発としての進め方を採用した。その結果，アメリカでは 1 000
単語の不特定話者連続音声認識システム（Sphinx）を生み，種々のプロジェ

コクトにより数々のシステムや人材を輩出した。これに続いて欧州でも，性能競争・評価型のプロジェクトとして TC-STAR や EU-BRIDGE などが実施された。それらに従事した学生，研究者が企業に参加し，スタートアップ企業を起業するなどして，現在の音声・言語処理サービスを提供している。日本においても ATR をはじめとする政府主導の研究開発プロジェクトが実施され，その成果として，携帯電話用のネットワーク型音声翻訳のサービスが実現された。
ATR の成果についても ATR が関連するいくつかのスタートアップ企業を生み成果展開が図られている。
ATR プロジェクトには，日本以外にも海外からの研究者も多く関与し，その数は膨大で，世界の音声・言語分野のシニアな研究者はなんらかの意味で
ATR に関わった経験があると言っても過言ではない。その意味で ATR は

あ

と

が

き

173

DARPA 主流のアメリカ標準から見ても十分に存在感を発揮した。
研究にはフェーズがあり，例えば，基礎研究，基盤研究，システム研究，応用研究のフェーズがある。DARPA は研究の状況を観測し，このフェーズにあったプロジェクト支援の形式として，性能競争・評価型をとっていたのではないかと思う。その点で，現在の日本の大学や研究機関は，基礎研究にとどまる傾向があり，また，それをよしとする傾向があるが，フェーズのシフトに応じて，基盤研究，システム研究，応用研究に合わせた進め方があるのではないかと思う。ほとんどの重要な技術の基礎研究フェーズでは，論文発表で日本の大学が先行しているが，基盤研究，システム研究，応用研究では，新規性が小社

さいため大学は機能を発揮できず，後塵を拝している。技術を確立していくにはフェーズをシフトしていく仕組みと人材が必要である。
音声翻訳は人類の夢である言葉の壁を越える技術である。5 章に述べたようロ
ナにいまだ解決できていない課題が山積しているが，通訳者のように，あるいは母語で話したときのように異なる言語を話せるような技術を研究開発していく
必 要 が あ る。 一 方， コ ミ ュ ニ ケ ー シ ョ ン の た め だ け で な く， ア メ リ カ のDARPA プロジェクトのように情報分析のために音声翻訳の研究開発を実施することも非常に重要である。すべての情報がインターネットにつながり，膨大コ

な情報が利用可能な（ビッグデータ）時代にこのような情報分析は音声翻訳研
究のパラダイムシフトとも言える。
1986 年に株式会社エイ・ティ・アール自動翻訳電話研究所が榑松 明氏を社長として発足し，産官学から筆者の中村を含め多くの研究者が研究に参加した。音声情報処理では，カーネギーメロン大学滞在から NTT の鹿野清宏博士が戻り，室長として参加した。そして，カーネギーメロン大学や IBM で進んでいた隠れマルコフモデル，N グラム，MIT の Zue 博士らが進めていたスペ
クトログラムリーディングによる音声認識，ニューラルネットワークによる音声認識を立ち上げ，その後の日本の音声認識研究に貢献した。また，NTT から同様に参加した匂坂芳典博士も素片接続型音声合成をはじめ音声合成の研究に貢献した。ATR では同年，エイ・ティ・アール視聴覚機構研究所も発足し，

174

あ

と

が

き

聴覚，音声生成の基礎研究が行われた。人間の機能に関する基礎研究と音声翻訳を目指した目的指向型研究の協力関係は相互に補完関係にあり非常に役立ったと感じている。
1987 年には，現在，カーネギーメロン大学とカールスルーエ工科大学の教授をしている Alexander Waibel 博士が ATR に滞在された。Waibel 博士は，
ニューラルネットワークで音声認識を行うという先験的な研究に挑戦され，時間遅れニューラルネットワークを提唱し後に IEEE 論文賞を受賞された。この
時間遅れニューラルネットワークは , 現在のたたみこみニューラルネットワー
クの原型である。

社

筆者の中村は Waibel 博士と，ほぼ同じ年代であった，武田一哉氏（現，名古屋大学教授），阿部匡伸氏（現，岡山大学教授）らと研究や生活をともにした。当時，英語があまり得意でなかったが，日々の暮らしで英語を使うことはロ
ナ

コミュニケーション力と自信を付けてくれた。また，Waibel 博士やその後の多くの国際人脈は研究の実施をおおいに助けてくれた。このような国際的なヒューマンネットワークや，異文化交流が非常に役立っている。
2010 年以降，そのニューラルネットワークが再来し，音声認識，機械翻訳のいずれにも大きな性能改善をもたらしている。音声認識では switchboard タコ

スクという電話会話音声の認識で，人間が聞き取って書き起こした際の単語誤り率 6％に匹敵する性能が自動音声認識により達成されている。膨大な学習データ，多数の隠れ層，いろいろな学習アルゴリズム，高速化アルゴリズム，
高速計算ハードウェアの賜物である。
40 歳代にいくつかの書籍の執筆に参加させていただいた。その際に感じたことは自らの能力が書籍を執筆するに値しないので，55 歳になるまで止めよ
うということだった。ところが，時間はあっという間に過ぎてしまい，55 歳
を回ってしまっていた。日本音響学会

音響サイエンスシリーズ委員長の平原先生から本書の執筆を引き受けてからも，奈良先端科学技術大学院大学の研究室の立ち上げ，音声自動通訳をはじめとする数々の新たな研究テーマの立ち上げ，研究資金獲得に奔走し，時間がとれず，予定を大幅に遅れてしまった。ま

あ

と

が

き

175

た， 執 筆 中 に， 准 教 授 だ っ た 戸 田 博 士 が 名 古 屋 大 学 教 授 に， 助 教 だ っ た
Neubig 博士がカーネギーメロン大学のテニュアトラック助教に転出されてしまった。本当に，人生のよい時期は一瞬だと痛感させられた瞬間であった。
最後に，音声や言葉は人間の認知プロセス，創造活動の核心である。その認知活動の核心を解き明かしていくのが言語研究の醍醐味であると思う。読者の皆様には新たな時代へ向けて，夢を信じて既成概念にとらわれない研究開発に打ち込んでいただきたいと思う。
2018 年 4 月

コ

ロ
ナ

社

中村

哲

176

索

引

索

14, 71
アクセント
74
アクセント成分アライメントアルゴリズム
42

い
意味的妥当性
イントネーション
韻律生成

66
12, 1472

えエイリアシング
エンコーダ
エンコーダ・デコーダ

22
ガウス混合モデル
6
書き言葉
31
確率的オートマトン
38
確率的勾配変分ベイズ
隠れマルコフネットワーク
107
モデル
隠れマルコフモデル 21, 30
27
カットオフ周波数
可変長素片接続型音声合成
111
完全結合型深層ニューラル
38
ネットワーク
24
観測空間

ロ
ナ

27
き
37
63 機械翻訳
43
8
記号間翻訳
お
33
木構造
37 木構造クラスタリング 114
オートエンコーダ
91 規則ベース音声合成方式 69
オピニオン評定55
木に基づく翻訳
重み付き有限状態トランス
73
22 基本周波数パターン
デューサ
91
54 客観評価尺度
重みの調整
29
74 逆フーリエ変換
音韻生成
48
20 共起回数
音響音韻論
37
21 教師あり学習
音響管
36
38 教師なし学習
音響モデリング
69
27, 30 共振付与部
音響モデル
19
29 強 勢音 源
32
68 共分散行列
音声合成
21
79 共 鳴音声特徴量抽出
18
音声認識
く
88
音声表情制御1 クラウドソーシング66
音声翻訳18, 27音 素け
19
音素コンテキスト
11 継続長モデリング
81
音素体系70, 72
形態素解析
か
24
決定空間
28
12 ケプストラム解析
外 言
30
ケフレンシ
階層的フレーズベース翻訳
8
57 言語間翻訳

コ

言語情報
言語内翻訳
言語モデル

14
8
27, 34, 50

こ52
語彙化翻訳確率45
語彙選択誤り56, 71
構文解析
55
構文木
56
構文情報に基づく翻訳
91
合文法無意味文
88
声を操る
88
声を混ぜる
88
声を真似る
個体内コミュニケーション
12
コネクショニスト時系列
40
分類
コーパスベース音声合成 69
コミュニケーションの
13
数学的モデル
10
コムニカチオ19
コンテキスト
コンテキスト82
クラスタリング70
コンテキスト情報

社

あ

引

さ
35
最大事後確率
13雑音源
13雑音のある通信路
27, 33
サブワード
サポートベクトルマシン 72
20
残響環境
三者二言語コミュニケー
ションシステムモデル 927, 38
サンプリング

し時間遅れニューラルネット
37, 108
ワーク
40
シグモイド活性化関数

索

す

た
32
大語彙連続音声認識
66
対比較
110
対話翻訳システム
80
多空間確率分布 HMM
22
多層パーセプトロン
29
たたみこみ
38
たたみこみ型
たたみこみニューラルネット
37, 109
ワーク
22
探 索
35
探索アルゴリズム

ち

20
72
54
50
111
19
30

コ

数字認識
数量化 I 類
スコア関数
素性関数
素性構造伝搬パーザ
ストレススペクトル包絡線

せ

87
声質変換
正則化オートエンコーダ 3784
静的・動的特徴量
29
声道フィルタ
制約付きボルツマンマシン
37
28
線形予測係数そ
双方向リカレントニューラル
40
ネットワーク
ソースフィルタモデル
69, 7938
ソフトマックス層69
素片選択型音声合成

並べ替えモデル喃 語て177
50, 52
11に
日英独音声言語翻訳実験
106
システム
ニューラルネットに基づく
58
機械翻訳
ニューラルネットワーク 22
認識／探索アルゴリズム 27

は
34
バイグラム
20
背景ノイズ
ハイブリッド深層ネット
37
ワーク
76
波形合成
波形素片接続の音声合成 113
23
パターン認識27, 33
発音辞書
バックプロパゲーション 40
19
発話者間の異なり
19
発話スタイル
19
発話速度
6
話し言葉
9
パラ言語
14, 86
パラ言語情報84パラメータ生成社

28
知覚線形予測107, 114
逐次状態分割21
知識ベース
注意型ニューラルネットに
64
基づく翻訳

テキスト音声合成評価会 90
86
敵対的学習
37
デコーダ
53
デコーディング
データに基づく機械翻訳手法
47
デノイジングオート
ひ
37
エンコーダ
20 非言語情報
12, 14, 86
伝達特性72
非線形モデルと28
ビットレート28
39 非定常過程
投影層
47 非定常雑音抑圧フィルタ 120
統計的機械翻訳46
統計的パラメトリック音声合 人手規則に基づく翻訳
65
69, 77 人手による評価
成方式
54
ビーム探索
統計的フレーズベース
120
機械翻訳
ふ
115
統計翻訳
統計モデルフレームワーク
ファジィベクトル量子化 107
21 フィードフォワード型
39
21 フォルマント
21
動的プログラミング
26, 27 フォルマント周波数 19, 21
特徴抽出
28 藤崎モデル73
特徴ベクトル34 部分翻訳113
トライグラム29
フーリエ変換な
18
フレーズ
71
27 フレーズ境界
ナイキスト基準74
12 フレーズ成分
内 言
49
45 フレーズベース翻訳
並べ替え誤り

ロ
ナ

25
事後確率
38
事前学習
34
事前確率
58
事前並べ替え10
自動音声翻訳
66
自動評価
91
主観評価尺度
113
主語補完
106
主辞駆動句構造文法
13
受信機
28
準定常
72
条件付き確率場82
状態継続長
82
状態系列確率82
状態遷移確率22, 36
深層学習
37
深層識別学習37
深層信念ネットワーク
深層双方向 LSTM リカレン
トニューラルネットワーク
40
深層ニューラルネットワーク
37, 8637
深層ボルツマンマシン

引

索

178

引

フレーム
フレーム分析
分散型音声認識28
ま79
126 マイクロフォンアレー 120
21
マルコフ連鎖へ
マルコフ連鎖モンテカルロ
38
88
平均声モデル
ベイジアンネットワーク 121
む
36
ベイズ則
32 無声音79
ベクトル量子化
113, 115
変換主導翻訳め
変調フィルタスペクトロ
28 メル周波数ケプストラム係数
グラム
28
変分ベイズオートエンコーダ
37♢A
adequacyF

132 fine tuning
fluencyコ

BBakis モデル
BLEU

C

31
66 GMM
GMM-HMM

G

H

38
CLDNN
37 HMM-LR
CNN
connectionist temporal
HMM 音声合成
23, 40 HPSG
classification
23
CTC

D

E
end-to-end

I

IWSLT

22
29
37, 86 Kirchhoff
38

decoding
DFT
DNN
DNN-HMMれ22 励振源生成部
79 連続 HMM
連続音声認識連続ガウス混合モデル
113
ろ
115
ローパスフィルタ

社

ボイスバンク
母 語
ボコーダ
ボーダ
翻訳結果の探索
翻訳の適切さ翻訳の流ちょうさ
翻訳編集率
翻訳モデル

リカレントニューラルネット
62
リカレントニューラルネット
22, 37
ワーク
リカレントニューラルネット
40
ワーク言語モデル
29
リフター
66
流ちょう性
27
量子化
40
履歴ベクトル系列
74
臨界制動応答ゆ

有限状態オートマトン
92 有声音11よ69
69 用例主導翻訳
53 用例ベース機械翻訳
132
ら
132
67 ランダムプロセス
50

ロ
ナ

ほ

り

K
L

38

69
80
21
32
27

わ

話者内の異なり19♢
long short term memory
22, 382838 LPC
106
132 LR パーザ
110
LR 文法
22, 38, 86
LSTM
3232 LVCSR
22

M

METEOR
110 MFCC
77 MSG
106, 111

67
28
28

N

NIST スコア
68 noise source
noisy channel
N グラム言語モデル
9

PLP
Levensthein アルゴリズム 42 pretraining
41
38, 40, 41 listen, attend and spell

67
13
13
39, 59

P

28
38

索
8
Seleskovitch
13
Shannon107
38 SSS
RBM
13
receiverT
restricted boltzman machine
38 TDMT113
67 TDNN37, 108
RIBES
22 TOEIC 音声翻訳評価法 117
RNN
40 TOEIC 換算値による翻訳出
RNNLM
66
力文の評価法S
56
tree-to-string 翻訳
92
SampleRNN

引

R

V
44
Vauquois の三角形
Voice Conversion Challenge
90111v-TalkW
WaveNetWeaver
WFST
WMT

社
ロ
ナ
コ

179

92
13
22
68

―― 編著者・著者略歴 ――

Graham Neubig（グラム ニュービッグ）
2005 年 イリノイ大学工学部コンピュー
ターサイエンス学科卒業
2005 年 兵庫県立但馬農業高等学校勤務
2006 年 兵庫県庁勤務〜08 年
2010 年 京都大学大学院修士課程修了（情報学専攻）2012 年 博士（情報学）（京都大学）
2012 年 奈良先端科学技術大学院大学助教
2016 年 カーネギー・メロン大学助教
現在に至る

コ

ロ
ナ

Sakriani Sakti（サクリアニ サクティ）
1999 年 バンドン工科大学情報学科卒業
2000 年 Sumarno Pabotingi Associate
Junior IT Consultant
2001 年 ダイムラー・クライスラー株式会〜02 年 社勤務
2002 年 ウルム大学大学院修士課程（通信技術）修了
2003 年 株式会社国際電気通信基礎技術研〜09 年 究所勤務
2006 年 情報通信研究機構〜11 年
2008 年 ウルム大学大学院博士課程（工学）修了
Dr.Ing.
2011 年 奈良先端科学技術大学院大学助教
2018 年 奈良先端科学技術大学院大学特任准教授
理化学研究所革新革新知能統合研究センター研究員兼任
現在に至る

社

中村 哲（なかむら さとし）
1981 年 京都工芸繊維大学工芸学部電子工学科卒業
1981 年 シャープ株式会社勤務（研究員）
1986 年 株式会社エイ・ティ・アール自動翻訳電話研究所勤務
1992 年 博士（工学）（京都大学）
1994 年 奈良先端科学技術大学院大学助教授
2000 年 株式会社国際電気通信基礎技術研究所
音声言語コミュニケーション研究所室長，所長
2003 年 カールスルーエ工科大学客員教授
2006 年 情報通信研究機構グループリーダー，
上席研究員，センター長，けいはんな研究所長
2007 年 ATR フェロー2011 年 奈良先端科学技術大学院大学教授
2016 年 IEEE フェロー2017 年 奈良先端科学技術大学院大学データ駆動型サイエンス創造センターセンター長
2018 年 奈良先端科学技術研究科情報科学領域教授（兼務）
現在に至る

社

高道 慎之介（たかみち しんのすけ）
2009 年 熊本電波工業高等専門学校電子工学科卒業
2011 年 長岡技術科学大学工学部電気電子情報工学課程卒業
2013 年 奈良先端科学技術大学院大学情報科学研究科博士前期課程修了（情報処理学専攻）
情報通信研究機構短期間研究員
2014 年 カーネギー・メロン大学言語技術研究所客員研究員
日本学術振興会特別研究員（DC2）2016 年 奈良先端科学技術大学院大学情報科学研究科博士後期過程修了（情報処理学専攻）
博士（工学）
2016 年 東京大学大学院特任助教
現在に至る

コ

ロ
ナ

戸田 智基（とだ ともき）1999 年 名古屋大学工学部電気電子・情報工学科卒業
2001 年 奈良先端科学技術大学院大学情報科学研究科博士前期課程修了（情報処理学専攻）
2001 年 株式会社国際電気通信基礎技術研〜06 年 究所 研究員
2003 年 奈良先端科学技術大学院大学 情報科学研究科 博士後期課程修了（情報処理学専攻）
博士（工学）
2003 年 日 本 学 術 振 興 会 特 別 研 究 員-PD
〜05 年 （名古屋工業大学大学院工学研究科）
2005 年 奈良先端科学技術大学院大学助手
2007 年 奈良先端科学技術大学院大学助教
2011 年 奈良先端科学技術大学院大学准教授2015 年 名古屋大学教授
現在に至る

社
ロ
ナ

音声言語の自動翻訳――コンピュータによる自動翻訳を目指して――
Introduction of Speech―to―speech Translation
初版第 1 刷発行

コ2018 年 7 月 10 日

検印省略

Ⓒ 一般社団法人 日本音響学会 2018

編
者
発 行 者
印 刷 所
製 本 所

一般社団法人 日本音響学会
株式会社
コ ロ ナ 社
代 表 者
牛 来 真 也
萩 原 印 刷 株 式 会 社
有限会社
愛千製本所

112 0011 東京都文京区千石 4 46 10発 行 所 株式会社 コ ロ ナ 社
CORONA PUBLISHING CO., LTD.
Tokyo Japan
振替 00140 8 14844・電話（03）3941 3131（代）
ホームページ http://www.coronasha.co.jp
ISBN 978 4 339 01338 2

C3355

Printed in Japan（宝田）

本書のコピー，スキャン，デジタル化等の無断複製・転載は著作権法上での例外を除き禁じられています。
購入者以外の第三者による本書の電子データ化及び電子書籍化は，いかなる場合も認めていません。
落丁・乱丁はお取替えいたします。