INTE

RV I E W

次世代音声自動翻訳への新たな挑戦

中村哲さん（奈良先端科学技術大学院大学・教授）に聞く
今回は，日本の音声自動翻訳研究を第一線で牽引してきた中村哲教授の研究室を訪ねました。人とコンピュータのコミュニケーションを支援する多様な技術の教育・研究に取り組んでおられる奈良先端科学技術大学院大学データ駆動型サイエンス創造センター（DSC）センター長の中村先生にお話を伺いました。
インタビュアー：CIEC 会誌編集長 横川博一（神戸大学）時）のプロジェクトとして行っていたんですね。そこに自動翻訳の夢希望して入れていただきました。そうしているうちに，横川（編集長） 今日はどうぞよろしくお願い致します。

1896 年に ATR が発足し自動翻訳電話を研究開発する研早速ですが，中村哲先生と言えば，音声自動翻訳のご研究所に出向することになり，音声認識に携わることにな究を長らくされてきておられますね。私も大学院生の，りました。そこがきっかけなんですね。実際には翻訳の情報処理学会や言語処理学会などにも出かけていたんで研究を当時はしていませんでした。3 年で出向が終わりすけども，機械翻訳のブームが来ていた時期でした。先シャープに戻って，1994 年に奈良先端大に移ったあと生が自動翻訳とか翻訳システムに興味をもたれたきっか2000 年に ATR に戻る誘いがあり，それで ATR に戻りけはどのようなことだったのでしょうか。

ました。音声処理研究の室長をしたあと，2005 年から自動音声翻訳の研究所の所長として全体の研究を担当す

中村哲先生 どこからお話をすればいいでしょうかね。

ることになりました。私個人としては先程言ったように翻訳に関しては，1986 年に当時の郵政省の支援で，音声理解の研究をしたかったので，自然言語の勉強や研ATR 国際電気通信基礎技術研究所で自動翻訳の研究が究もフォローしていたのですが，翻訳の分野も面倒をみ始まったのがきっかけです。私は当時はシャープの研究るようになってそこから，自動音声翻訳や通訳とはなに所にいたんですけれども，そこからの出向という形で自かを深く考えるようになりました。

動翻訳の研究に携わることになったんです。当時は音声認識の研究をしていました。大学では画像系の研究をし横川 音声認識に対する関心が ATR での自動翻訳プロていたんですが，卒業して会社で研究開発をしていくのジェクトの中で化学反応を起こして，日本の自動翻訳技にどういうテーマがいいのかなと当時いろいろと考えて術の発展を牽引されてきたということがよくわかりましいて。音声理解，つまり話したことを理解するっていうた。しかし，私たちは「翻訳」って簡単に言いますけ

ことがいったいどういうことなのか，そういうことが使ど，相当なご苦労があったのではないかと思うのです

えるよう技術を作るということに興味を持ったんです。

が。

いろいろと調べたんですけども，当時シャープの研究所
ではワープロっていうのを作っていましたが，声での入中村 そうですね。機械翻訳というのはテキストをテキ力を可能にする音声入力ワープロの研究を通産省（当ストに変換する技術です。書かれたものは誰が書いてもコンピュータ＆エデュケーション VOL.47 2019003-009_CIEC47_028_インタビュー_下版_四校_三校_再校_初校.smd Page 1

3

19/11/22 15:53 v3.60

I N T E R V I E W

同じテキストなんですけども，音声言語の場合，声は話すたびに微妙に違い，コンディションによっても違います。また，人や地方によっても違います。そのあたりのことを吸収して，文字化していくというのが音声認識の難しいところです。
横川 音声認識というのは，最初に商品化された時にはその人の声を記憶させて認識するようなシステムでしたよね。
中村 昔はそうでした。話者を決めてその人の声だけで発展しましたので，それによって各モジュールの性能が動くような音声認識だったんです。しかし，2000 年ご飛躍的に向上して，今までよりもさらに性能がよくなっろからは，誰の声でも認識できるようになってきた。てきました。

2005 年ぐらいには誰の声でも音声認識がかなり動くようになってきました。機械翻訳と音声合成を上手く統合

横川 なるほど。私が大学院生だった 90 年代くらいにし，いろいろな実データを集め性能改善を行ったところは「事例ベースの翻訳」というような考え方が出てきまから，段々音声翻訳っていうものがリアリティを持ってしたね。それまでは文法規則を 100 も 200 も機械に入れきました。てなんとか文を解析しようというようなやりかたのパラダイムが変わりましたね。

自動翻訳を可能にした新技術
横川 それは社会的な高まりといいますか，ニーズがあ中村 そうですね。ルールやパターンをベースに翻訳すったからでしょうか。

る技術ですね。当時，京都大学の長尾真先生がまず提唱されたのが，用例を使って翻訳する方法です。ルールで中村 ひとつはハード面の進化です。大規模データと機はなくて，たとえば英語のこのパターンが日本語のこの械学習などの技術により性能が上がってきて，小型化もパターンに対応するというのが見つかれば，それを入れできるようになってきました。もうひとつは，ネット替えて翻訳ができるというものです。こういったことをワークの進化です。携帯電話が進歩して，それを端末にベースにパターンを統計的に学習する技術ができて，してサーバーリモートにおいて，あるサーバで複雑な計2000 年代の主流の技術になりました。これがフレーズ算をするということが実際にできるようになったんです

ベース統計翻訳という技術です。その技術ができたおかね。

げで，対訳ペアを大量に集めればそこから翻訳ができるようになったわけです。

横川 それが商品化されて普及していったということで横川 同じようなことが，人間の言語処理でも統計的学しょうか。

習の役割の重要性が言われだしていますが，やはり機械
中村 2007 年には携帯電話でそのサービスを入れて，も人間と同じような性質をもつことができれば翻訳精度軽い前処理をしたあとそのデータをサーバに送って，認も上がるということですね。

識翻訳あるいはその音声合成の処理をしてまた端末に返すといったようなサービスができるようになったんで

中村 そうですね。どれぐらいの頻度でこのフレーズのす。そこからかなり実際に商品化・商用サービスが始まペアが対応しているかっていうのが分かればその確率をったんですけど，かなりそこでリアリティができて実際求め，あとは翻訳語の文の単語列の自然性の確率を統合に使ってもらう方々が急激に増えていきました。

することで翻訳することができようになりました。それが 2000 年代の技術で，我々はいち早くその方向に切り横川 それは今も発展し続けているわけですね。

替えて翻訳の性能を高めることができました。

中村 2010 年ぐらいからですかね，深層学習の技術が横川 それが今はもっと進歩してきているわけですね。

4

コンピュータ＆エデュケーション VOL.47 2019003-009_CIEC47_028_インタビュー_下版_四校_三校_再校_初校.smd Page 2

19/11/22 15:53 v3.60

I N T E R V I E W

れている部分を見つけて，相手の言語，つまり対象言語
中村 今はその延長上ですが，統計ベースではなく，深で強調する部分を，決めていくわけですが，1 単語が 1

層学習ベースで高性能な翻訳ができるようになってきま

単語に対応するとはかぎらないんですよ。ここら辺もすした。性能はかなり上がってきています。ルールベース

ごく面白くって，すごく重要な技術です。また，原言語や用例のルールベースがあって，そこからフレーズベーで強調あるいは感情が付加されても，対象言語では，そス統計翻訳になり，そして深層学習に基づく機械翻訳へれを音声で強調しなくても文字で強調してもいいわけでと進んできています。

す。だから表現をそのままじゃなくて，いろんな形で表現し得るので，それをどういう風に組み合わせを選んでニューラル機械翻訳って？

いくのかっていう問題もあります。今，そういうことも横川 中村先生のホームページを拝見しますと，音声同研究しています。文字と音声のパラ言語との関係を，全時通訳，ニューラル機械翻訳っていうキーワードが出て体として人間が伝えたい情報として捉えて，それを相手きますね。それに，アフェクティブとか感情とか，パラ言語でどう組み合わせて表現するのかっていうのがすご言語処理といったキーワードも。ニューラルっていうのく重要でおもしろい課題だと思っています。

が機械翻訳とどう結びつくのか興味深く感じたんです横川 実際のコミュニケーションでは，いわゆる字面だが。

けではない部分の役割が大きいですね。ほかにもチャレ
中村 まず，音声翻訳について話します。音声から音声ンジングな面はあるのでしょうか？に翻訳するっていうことがどういうことなのかを考えてみましょう。書き言葉で文字になったものを文字に翻訳

中村 深層学習です。つまり，ニューラルネットワークするのに比べて，話し言葉の音声を通訳することは非常です。ニューラルネットワークっていうのは基本的にに難しいんです。どういうものかって言うと，今は音声は，現在は多層型のニューラルネットワークを指してい認識して翻訳して音声合成するっていうような形のものて，層が “入力に入れる層” とそれから複数の中間的なが多いんですけども，話し言葉と書き言葉には違いがあ層があって，それをまとめる出力層から出力が出てくるって，話し言葉にはその強調とかイントネーションとんですが，その中間的な層に非線形な関数が埋め込まれか，あるいは感情とか。それからその人の声の個人性とています。入力を入れて与えられた出力が出るようにニか，そういうものがあって，そういうものが相手のそのューラルネットワークのパラメーターを学習するという翻訳された声にそのまま対象言語に乗っていくっていうような構成になっています。1987 年に ATR にいた際のが，一番自然なコミュニケーションですよね。怒ったに，ニューラルネットワークの第 2 次ブームが来て，私ら怒ったままの自分の声で相手に伝える。そういうこともその研究をしていたのですが，当時の計算機ではなかをやるっていうのが speech to speech のゴールになる

なかうまく学習することができなかったり，その学習をんですね。だから，そういった感情を抽出して，その感するためのデータが足りなかったりしました。

情を翻訳語の音声に乗せていくとか，あるいは，“あなた” と “わたし” などで，“あなた” の部分に強調があっ

横川 その後，計算機は発展したわけですね。

たら，その “あなた” の “You” の部分を強調するとかですね，そういったことが音声から音声の翻訳の場合にはとても重要になるんですね。ですから，そういう意味で，感情とか強調とかといった情報をどう相手の言語で表現していくのか，どう変換していくのかってのがすごく重要になると考えています。そこが文字から文字の翻訳にはない部分になると思うんですね。
横川 興味深いですが，それってすごくチャレンジなことですよね？
中村 そうですね。まあ今ちょっと僕らが音声で強調さコンピュータ＆エデュケーション VOL.47 2019003-009_CIEC47_028_インタビュー_下版_四校_三校_再校_初校.smd Page 3

5

19/11/22 15:53 v3.60

I N T E R V I E W

中村 2010 年以降になると計算機も速くなり，実際にすね。そうすると日英翻訳の場合は，動詞が現れる文末性能がすごく改善しました。ニューラルネットワークの近くまで待たなければ翻訳できないということになるん

中心人物はジェフリー・ヒントンという先生なんですで す が，人 間 の 通 訳 者 は 途 中 で あ る 程 度 予 測が，データ量と理論と計算機の能力がうまくフィットし（anticipation）して訳したり，長い文章だと思うと 1 回て，音声認識，機械翻訳，画像処理の分野で画期的な性文を止めたりするんですね。そういった機能を機械で実能改善をもたらしました。その技術をさらに発展させて現できないかということをやってきています。また，そいろいろな研究を進めています。の良し悪しは別として，通訳者は重要なことだけ訳して，全部は訳さないですね。これは興味深い行動で，機同時通訳者の行動に学ぶ械翻訳でもそういう不要な部分を落としていく，そうい横川 なるほど。どう関連しているかがだんだんわかっうこともやるということもやってみたい。てきました。それに加えて，同意通訳となると，さぞ大横川 人間の通訳者の行動というのもおもしろいです

変なんだろうなと感じ始めました。

ね。
中村 同時通訳ですが，これまで音声翻訳っていうと，一つの文章，一つの文，あるいは一つの発話を入力して中村 こんなこともあります。通訳者が実際に通訳をしそれを音声認識して翻訳して合成して出すという形でしている中で，通訳者を支援するようなシステムっていうた。つまり一つの発話を文末まで待ってから翻訳して音のもあるんです。実際には通訳者は 2 名セットでやられ声合成するという処理でした。ですから，講演のようにていて，一人は休憩している間にも聞いていて，たとえ何秒も何十秒も続くような発話については翻訳出力が出ば数字とか重要なワードをメモに残しています。そういてくるまですごく時間がかかります。当然のことながらったことも自動でできるようにするとおもしろいのではすばやく出力するようにしたいですよね。また，目標とと考えています。

しては，人間の通訳者のような高度な処理を目指した
い。どんな処理をしているのか，計算機でどのぐらい真横川 先生のお話を伺っているとワクワクします。機械似ができるのか，人間の通訳者には記憶の限界があるので同時通訳がほぼ可能な時代にもなってきていると言っで機械が上手に支援できないか，あるいは，人間を超えていいのでしょうか。

る同時通訳ができないか，そういうことを目指して同時通訳の研究を科研費などをいただいて進めています。

中村 まだだと思いますね。同時に，なるべく遅れなく翻訳するっていう研究は難しい研究課題であることは確

横川 具体的にはどんなふうに研究を進めておられるのかです。ただ，世界の何か所かで先進的な研究がなされでしょうか。ています。そこではより性能の高い新しいアルゴリズムを生み出すために激しい競争が繰り広げられている状況

横川 TED Talk というプレゼンテーションがありますね。英語でも日本語でも行われていますが，同じプレゼンテーションに対していろんなレベルの通訳の方にしてです。

機械翻訳のリアリティもらって，そのデータを比較したり，データ使って遅れ横川 1980 年代にも，そういった具合に機械が翻訳しの少ない通訳の方法の研究，深層学習によるシステムをてくれるといいなあとみんな思っていました。当時はど作ろうと考えています。通訳データ構築の目標としてはういったことを目指して機械翻訳のシステム開発に当た400 時間分くらい集めたいと思っています。

られていたのでしょうか。最近なら東京オリンピックに向けて自動翻訳研究が盛り上がりをみせているように思横川 大量のデータから何らかの要素を抽出するっていいますが（笑）
。

うことになるかと思いますが，なにか「あたり」をつけ
中村 当時（2000 年代）は，まだ，当然オリンピックて要素を抽出していくのでしょうか。

も決まっていませんでした（笑）
。私たちの ATR のプロ
中村 そうですね。たとえば日本語から英語の通訳の場

ジェクトは 2008 年から NICT（情報通信研究機構）の合は，日本語の動詞が一番後にきますよね。英語は後でプロジェクトとして引き継がれました。当初から，実際

6コンピュータ＆エデュケーション VOL.47 2019003-009_CIEC47_028_インタビュー_四校_三校_再校_初校.smd Page 4

19/11/20 19:34 v3.60

I N T E R V I E Wになるべくたくさんの人たちに使ってもらえる音声翻訳装置システムを作ろうということで，旅行での利用を目標としました。日本人が海外に行く場合と海外の人が日本に来る，そういう場合に使われるような音声翻訳装置です。そういった時に出てくる発話っていうのは比較的短い発話ですし，音声認識もしやすいし，機械翻訳もしやすい。本語では You とか He や She といった主語が抜けますが，旅行という場面では基本的に 1 対 1 で発話が行われますので，だいたい You でいけるわけです。
横川 なるほど。そうしますと，旅行会話の音声翻訳，のはまだまだ足りません。実際の通訳者は，翻訳する対言うなれば旅行会話を中心に音声翻訳システムの開発を象の発話を理解しながら，発話者はまだ喋っていないの進められたんですね。それはその後どのように展開されに通訳者がその先を翻訳しているといったようなことがていったのでしょうか。

結構頻繁に起こっていますが，やはり中身を理解してこその翻訳であるという点も見逃せません。

中村 2010 年には iPhone や Android でそういう基本的な音声翻訳のトライアルサービスを無料で公開してデー

横川 人間は，これまでの経験にもとづいて，常に先予タを集めさせてもらいました。そして今，オリンピック測しながら相手の発話を処理していますね。それも効率が決まりましたから，そういう技術を実際に使ってもら性を図る意味では，重要な性質ですね。

えるチャンスが実際に来たわけです。ただ，私は 2011
年から大学に戻りましたので，この仕事は NICT にいる

中村 そうですね。そういう状況までもっていくとなる仲間が頑張って進めてくれています。と，内容の理解とか背景知識など，発話者が喋っていること以外の情報も使いながら通訳していかなくてはいけ

横川 海外でももちろんこのような動きはあるのでしょませんから，そこまでやろうとすると，まだまだやらなうか。

いといけないことがたくさんあります。今，そういう研究を頑張って進めています。実際にいつできるのかを言中村 海外でも，外国語の翻訳という意味では非常に盛い当てるのは難しいですが，これから，今まで難しかっり上がっていまして，日本では我々の技術をベースにたようなことがいろいろとできるようになったりしてい2007 年に携帯電話の通信ネットワーク音声翻訳の商用くと思います。大量のデータが必要になりますが，いまサービスが始まりました。その後，2008 年でしたか，収集しているデータを利用していろいろとおもしろいこ

Google は音声入出力の Google Translation をリリースとができると思います。そういう時代になってきたと思しました。実は日本の方が早いんです。現在では，マイいます。

クロソフトや中国の企業がサービスを始めています。海外の人が日本で，音声翻訳サービスをよく使っているの英語教育は要らない？
！
横川 ちょっとお決まりの質問になって恐縮ですが，ひを見かけます。

とつ先生のお考えをお聞かせください。私は外国語教育
横川 先ほど先生が言われておられた，短い文章で，同を専門としていますので，新聞の取材も受けたこともあ

時的に機械翻訳・音声翻訳をするという課題はどう進んるんですが，こういう翻訳システムが進歩してきて，外でいくことになるでしょうか。

国語教育・外国語学習が要らなくなるんじゃないかと。
こういう問いに対しては，先生のようなお立場からは，中村 短い文章で翻訳するというのは，現状すでにかなどのようにお考えでしょうか。

り確立された技術で，あとは語彙などのデータを集めることで課題はかなり解消されると思っています。です中村 たしかによく尋ねられます（笑）
。音声翻訳シスが，同時通訳，これは私たちの最終的なゴールだと思っテムがあったらもう英語は勉強しなくてもいいんですかているんですが，同時通訳のような状況の技術っていうって。学会などでいろいろな国に行きますが，自分が言コンピュータ＆エデュケーション VOL.47 2019003-009_CIEC47_028_インタビュー_下版_四校_三校_再校_初校.smd Page 5

7

19/11/22 15:53 v3.60

I N T E R V I E W

いたいことをきちんと伝えるためには英語なりその言語をきちんと勉強して，face-to-face でリアルタイムで伝えるようになってもらいたいと思います。そして，音声翻訳技術は，英語を勉強するとき，英語以外の中国語やドイツ語とかフランス語など第二，第三の外国語を勉強するのがちょっと大変だなというところで利用する，あるいは，内容の難しい講演や会議の同時通訳として利用するのがよいと思います。心を割って話すということは機械ではやはり難しいですから，自分でその外国の人と本当に親しくなろうなどと思うときには，やはり自分で話すことが重要です。少なくとも現状ではこのようなこムの開発が進んでいます。現在は，テキストレベルで対とが言えると思いますし，しばらく先もそうだろうと思話応答するものが多いですが，今度は，人間が音声で表います。ですから，こういう技術を使いながらその外国出した強調とか感情，そして言葉の内容を理解するとい語を勉強していくというのが私は理想だと思っていまうことができるようになり，対話システムの方は究極のす。

人工知能のような技術になっていくと考えています。
田中先生と一緒に進めているのは，自閉症の子供達に横川 私も同じ考えです。こういう技術は増々発展したコミュニケーションの仕方を教える人間のカウンセラー方がいいと思っています。学習ツールとして使えますかの作業を，対話技術を使って行う技術です。これをソーら。みんな，英語が嫌いだと言っている人も含めて，密シャルスキルトレーニングといいます。自閉症の方たちかに力を付けたいと思っていますからね。こういう技術

は，比較的機械とコミュニケーションする方が得意だとが発達してくると，夜中でも早朝でも（笑）
，自分で勉いうこともあって，比較的抵抗なく使ってもらえます。

強して，今度実際に自分で喋ってみようというモチベー

普段なかなか SST のトレーニングを受けられないけどションにつながっていくといいなと思いますね。

も，家でゲーム的にやることでコミュニケーションスキルを上げるという，そういう研究ができるんじゃないか

コミュニケーションを支える技術と思っています。基本的なコミュニケーションとか人間

横川 これまで先生のお話を伺っておりますと，事例の言葉や非言語の情報を扱う技術，それからそれらを使ベースの翻訳あたりから，かなり人間がやっていることって自閉症の方々のトレーニングに役立つ技術を作るとに近い形で翻訳システムを作っていこうとしているよういうことに取り組んでいます。に思います。ですから，話者の感情を理解したり，意図を理解したりということがとても重要になってきます横川 教育にも，たぶんに応用できることがありそうでね。翻訳システムも，もはや単なるツールではなく，先すね。

生の研究室のキーワードのトップに挙がっている「コミュニケーション」そのものと言えるように思います。先中村 はい，先程の英語教育の話もありますし，今の自生の研究室では，助教の田中宏季先生らと一緒に，コミ閉症の方々への教育とか，健常者でもコミュニケーショュニケーション支援の研究にも取り組んでおられるようンが苦手な大人もたくさんいますので，そういうところですが，そのあたりのこともご紹介いただけないでしょに，英語も第二言語も含めて教育の場面に私たちの研究うか。

は使ってもらえると思っています。

中村 対話の音声翻訳は翻訳機を通して異なる言語を話

横川 この学会の中には教育に携わっている小学校の先す人々のコミュニケーションを実現する技術です。一生もおられたり，中学校の先生もおられたりするんです

方，最近では，機械が人間の代わりに応答する対話シス

けど，最後に，そういう方々にメッセージをいただけまテムの技術の研究も進んできました。人間が何か問いかせんでしょうか。

けをした時に適切な応答をするような対話システム，これは人工知能そのものと言えます。具体的には，情報提中村 まだ完全ではないんですけれども，人間が言った供をする対話や，高齢者との傾聴対話を目指したシステことを聞きとってそれに対して適切なアクションをする

8

コンピュータ＆エデュケーション VOL.47 2019003-009_CIEC47_028_インタビュー_下版_四校_三校_再校_初校.smd Page 6

19/11/22 15:53 v3.60

I N T E R V I E W

ような技術の研究が進んでいます。今後，教育への応用放し，より本質的な教育に携わる時間が増えると素晴らもある程度できるようになってくると思います。これかしいと思います。

らやはり子供たちそれぞれに合わせた課題提示，子供達が回答した内容の自動的な理解，それに応じた回答，ま横川 今までの学習ソフトとは全然違う，もっと対話的た，成長に合わせた教育などができるとよいと思いまに，ゲーム的に学べるような時代がもうそこまで来ていす。また，ゲーミフィケーションと言って教育の中にるということですね。子供達も先生方ももっと楽しい教

ゲーム性をいれて効果を高める要素なども，宿題の中に育現場を創ることができたらいいですね。今日はお忙しとり入れて，楽しみながら勉強ができるようになるとよい中，お時間を割いてくださり，ありがとうございましいと思います。そして，このような技術により，教育にた。

携わっておられる先生を多忙なルーティンワークから解コンピュータ＆エデュケーション VOL.47 2019003-009_CIEC47_028_インタビュー_四校_三校_再校_初校.smd Page 7

919/11/20 19:34 v3.60