中 谷 智 広 上席特別研究員 NTTコミュニケーション科学基礎研究所
研究は子育てと同じ．いくつもの失敗の中にある「研究のタネ」
音声認識を入力に用いるインタフェース．いまや「当たり前」の存在となってきました．しかし，現在，一般的に使われている技術では，周囲が騒がしかったり話者とマイクが離れていたりするとその認識性能が下がってしまうため，音声処理要素技術の高精度化に期待が集まります．適切に動作する音声認識の実現をめざし，昨年，世界一の技術を生み出した
NTTコミュニケーション科学基礎研究所の中谷智広上席特別研究員に，最新の研究成果と研究者としての姿勢を伺いました．

あらゆる環境で人の会話を理解する音声入力インタフェースの実現●現在手掛けていらっしゃる研究についてお聞かせくだ

単で便利です．最近では，声で操作できるスマートフォンやタブレット端末が普及したこともあり，音声入力インタフェースの有用性が広く知られるようになりました．しかし，現在のスマートデバイスを用いた場合，マイクを話し手の近くに寄せて，丁寧に話さなければなりません．とこさい．

ろが，日常ではマイクの存在などを気にすることなく，人私は，ナチュラル音声入力インタフェースについて研究

どうしは自由にコミュニケーションを図っています．

をしています（図 1 ）．例えば，スマートフォン等を音声

このような機器等を意識せずに話す場合でも情報にア認識によって操作をした経験はありませんか．音声認識はクセスできたり，ロボット等と話せたりする仕組みをつ

従来のようにキーボードを打って情報を入力するよりも簡くりたいと，私はNTTに入社以来ずっとこの分野の研究

スマホなどの情報機器への直感的なアクセス方法の 1 つとして
音声認識の技術開発・普及が急速に進んでいる
現在

今後

対話エージェント

手持ちのスマホによる音声検索等，マイクの近くで，丁寧に話すマイクの存在を意識しないで良い
究極のナチュラル音声入力インタフェースへ

図144

NTT技術ジャーナル 2016.9

会話アシストロボットとの会話等，より自由な状況，話し方での利用に期待が高まる

ナチュラル音声入力インタフェース

6 ch(収録音声)

音声強調部（強調音声）

歪みなし音声強調･ 残響除去独自（WPE法）･ 雑音除去（CGMMMVDR法）

How much wood
would a woodchuck
chuck ...
（単語列）

ディープラーニング音声認識･ Network-in-network型
新
畳み込みニューラル
ネット音響モデル･ RNN言語モデル
1 passデコーダ

独自

図₂

音声認識部

独自

NTTシステムの特徴を続けてきました．
研究が進んだ結果，現段階ではリビングの中に置かれたたちの技術を用いれば，騒がしい環境において人間よりも聞き取れるという裏付けになりました．

マイクに語りかけるとその指示どおりに家電が動く，とでは，技術について分かりやすくお話しします．複数のいったスマートホームが現実味を帯びてきました．この仕人が，室内で自由に会話をしている状況を思い浮かべてみ組みのカギとなるのが，マイクから離れた場所で話してもてください．マイクを近くに置かずに録音を試みた場合，音声を認識する技術です．日常的に複数の人がテーブルをこのような状況では音声認識の精度が低くなります．その囲んで会話をする場合でも正確にコンピュータが音声や情要因は大きく分けて2つです．

報を認識する時代はまもなく到来します．

1つは空調などの雑音や，壁などに反射した音声が少し遅れてマイクに届く残響の影響が大きくなることで，マイ世界一の技術を生んだエキスパートたちの新しい試みと切磋琢磨●私たちの生活に大きくかかわる技術なのですね．

クで収録される音声の品質は低下します．また，ほかの人の声が重なり合って収録されることもあります．もう1つは，話し手がマイクを意識せずに自由に話すため，発音がぼやけたり，言葉を省略したりすることも多くなります．
このようなさまざまな要因に対処するためには，雑音や実は，NTTはすでに周囲の雑音や残響の中にあっても，残響，ほかの人の話し声の影響を低減する「雑音除去」「残より正確に音声を認識し，処理する高い技術を開発してい響除去」「音源分離」等のそれぞれの音声強調技術，そしるのです．そして，その技術に関して，NTTは世界を牽て自由な話し言葉を正確に認識するための「話し言葉音声引しています．昨年，公共エリア雑音下でのモバイル音声認識技術」といった技術が求められるのです．この中で，認識国際技術評価（CHiME-3）で，2位と大きく差を付

私の主な担当は音を聞き分ける「音声強調技術」です．

けて世界1位の音声認識精度を達成しました．これは，音CHiME-3では，結果的に1位になりましたので今となっ声認識性能を劣化させる雑音や残響を，音声を歪ませるこては明るく振り返れるのですが，技術を出す前はどんな評となく低減する技術や，雑音の影響を受けても精緻に音声価を受けるのか，正直，恐かったです．しかし，NTTのをモデル化するディープラーニング音声認識技術の開発に名前を背負って勝負するのだから何としても1位を獲得し成功した結果です（図 ₂ ）．世界1位となったこの技術評

たい．自分たちなりに8％以内の誤認識率という目標を立価において，私たちの誤認識率は約5％でした．ちなみに，て，新しく難しいタスクにチャレンジしつつ，何とか実績従来の標準的DNN（Deep Neural Network：人間の脳ををあげることができたのです．

模した機械学習技術）音声認識の誤認識率は33％，そして，●こうした技術が誕生するまでにはどんなドラマがあった

人間が聞いたらどれくらい間違うかを中国の大手検索エンのでしょうか．

ジン会社が調べた結果が約11％ですので，かなり優れてさまざまなドラマがありますが，最初にそのドラマの舞いることがご理解いただけると思います．この結果は，私台となった，私が現在グループリーダを務めている信号処NTT技術ジャーナル 2016.945

理研究グループのことについて触れさせてください．このピュータで認識するデモシステムも体験していただけるまグ ル ー プ は，NTTの 再 編 が 行 わ れ た 翌 年 の2000年 にでになりました（図 3 ）．実際に聞いてみてください．

NTTコミュニケーション科学基礎研究所（CS研）に設置●雑音や残響が消えて，音声がクリアに聞こえますね．

されました．この設置は，当時，CS研所長だった故東倉これらの発展を支えた1つの原動力，そして特徴として，洋一先生や，初代のグループリーダの片桐滋先生（現同志

私たちのグループには，音響処理と音声認識の2つの異な社大学教授）らのご尽力によります．このグループの目標

る分野の研究者が在籍し，席を並べ研究を進めてきたことは，音声処理技術を基礎からつくり直すことで，従来の限があげられます．一般の方にはこれら2つの技術の違いが界を超える新しい可能性を切り拓くことでした．グループ

よく分からないかもしれませんね．これらの技術分野は，には，音響処理と音声認識の2つの異なる技術の基礎研究一見近いと思われがちですが，基本技術や応用先が大きく者の精鋭が集められました．私は2001年にこのグループ異なっていて，それぞれ別々に発展してきたものです．実に一研究員として加わりました．

はこの2つの研究を一緒に進めているグループは，世界的当初から，このグループの目標はナチュラル音声入力イにもほとんど例がありません．製品としても学術発表の場ンタフェースの実現でした．その実現には，さまざまな挑でも，両者が交流することはあまりありませんでした．世

戦的な課題を解かねばならず，かなりの時間を要する夢の界に先駆けて，この境界領域に重点化し研究に取り組んで技術と考えられていました．例えば，複数の人が同時に話きたことで，今までになかった新しい考えが次々と生ましていても聞き分けることができる音源分離技術，響く部れ，NTTの音声研究の躍進につながりました．

屋で収録された音声から残響を取り除き音声を聞き取りやこの2つの分野の出会いの何が大切だったかについて，すくする残響除去技術，雑音が混ざった収録音から音声の私が一番深くかかわってきた残響除去技術を例にとりお話

発話区間を検出する音声区間検出技術，多人数会話の中でしします．残響除去などの研究が古くから進められてきた

誰がいつ話したかを推定するダイアライゼーション技術，音響処理の研究分野では，部屋の中をどのように音が伝播雑音が混ざった音声でも正確にモデル化し分類できる音響するかを数理的にモデル化し，そのモデルに基づいて，収モデル技術，1000万語以上の超大語彙をリアルタイムで録音から残響などの不要音を取り除く研究が行われてきま

処理できる音声認識高速デコーダ技術など，多くの課題をした．しかし，どんな部屋で音が収録されたかが分からな乗り越える必要がありました．

い未知の状況では，この方法を用いてもうまく残響を取りそれから約15年，挑戦的だとされていたこれらの多く除くことができませんでした．一方，音声認識では，音声の課題が解決されました．先日の「NTT コミュニケーショ信号が取りやすい値の傾向をパターンとして学習し区別す

ン科学基礎研究所 オープンハウス2016」にて披露したるパターン処理の手法（これは，今風にいうと，機械学習ように，テーブルに座ってお話しいただいた会話をテーブの枠組みといえるかもしれません）が広く利用されていまルの中央におかれたマイクで収録し，その場においてコンした．そこで私たちは，この音声認識で培われたパターン処理の考え方を音響処理に取り込んだ「パターン指向音響処理」の枠組みを提唱し，さまざまな新しいアルゴリズムの開発に挑んだのです．これにより未知の状況における収録音の中で何が起きているかを自動で認識しながら，音響処理で用いられる数理的なモデルを用いて，所望の音の特徴を正確に分析できる技術が生まれました．こうした一連の流れの中で，残響除去の新しいアルゴリズムが，ここ京阪奈の地で2006年ごろに集中的に研究され，世界初の技術として実現されたのです．
信号処理研究グループがこれだけの成果をあげることができたもう1つの背景として，多くのNTTの偉大な先輩たちが切り拓いてきた基礎研究の道を引継ぎ，その延長線上で研究を続けてきたことがあげられます．NTTには，電電公社時代から，携帯電話の符号化方式の発明をはじめと図3収録した会話がその場で認識されるデモの様子して，世界の音声研究を牽引してきた歴史があります．また，NTT研究者と世界の研究者との間には過去から築か46

NTT技術ジャーナル 2016.9

れてきた強い信頼関係があります．これら偉大な先輩たちと（部分的にでも）世界観を共有しながら研究を進めてきたことは，私たちが基礎研究を進めるうえでとても大きな力になりました．

●現役の研究者として成果を出すために大切なこと，若い研究者の皆様にも一言お願いします．
自分の期待を裏切る結果だったらそれを徹底的に検証することで，次の「研究のタネ」が見つかります．多くの失敗は面白いものですよ．なぜこうなるのだろうというきっ多くの失敗を検証して，「研究のタネ」を見つけよう●研究を手掛けるときの着想，発想において大切なことをかけをくれるからです．いつも失敗ばかりするという点で，研究と子育てはとても似ていると感じることがあります．私には小学校3年生と5年生の息子がいます．例えば，私が子どもたちに「もっと時間を守れるようになってほしい」と思ったら，決めたルールを守れたらご褒美をあげる

教えてください．と約束します．しかし，決めたルールを1回目はうまく守次の3点を知っておいてほしいと思います．まず，未経れても，2回目はもう全然ダメなんてことはしょっちゅう

験のことを始めるときは思うようにいかないものだと心構あります．そんなときに，自分が期待していたことと実際えをしておくこと．そして，自分の期待を裏切るような場に起きたことが違ってしまった原因は何だろうかと考えま面に直面しても，その結果は何らかのかたちでその後の研す．この感覚が研究で失敗したときに何が原因であったか究に活かせるということ．最後に，散々悩んだ挙句にアッを探るのと同じなのです．これをしっかり考えると，次はという瞬間に求めていた結果が得られるということです．

どうしようというアイデアが出てくる．そのアイデアを例えば，京阪奈において世界で初めて実現された残響除使ってうまくいけば良いし，ダメでもまた，次のアイデア

去技術の研究も，はじめは失敗の連続でした．残響除去は，を出せば良いのです．失敗とともに，少しずつですが前進

音響信号処理の分野ではかなり古くから重要課題とされてしていくことですね．逆に失敗するのは当たり前で，失敗きたのにずっと解決することができなかった問題でした．

してからが本当の勝負くらいに考えると，研究も子育て同

その長い歴史の中で，残響除去を実現するためには，処理様に楽しくやれるのではないかなと思います．の結果，音声のスペクトルが平坦になって音声らしさが損経験を積んでいないときは，検証をする材料が乏しい状なわれてしまう現象（音声の白色化と呼ばれます）が起き況ですから判断をするのに難しいと感じるかもしれませ

るのをどうやって防ぐかということが最大の課題と信じらん．単に失敗をどんどんすれば良いわけではなく，成功しれていました．私たちもこれを解決するためにあれこれアたとしてもなぜ成功したのかと，結果と向き合い考えていイデアを出して試していました．しかし，音声の白色化をく経験を増やしていってほしいと思います．

対策することで残響除去への多少の改善効果はあるもの

そして，興味の持てるものを見つけ出す努力をしてくだの，なかなか根本的な解決には至らない．本当に暗闇の中

さい．月並みな言葉ですが，興味のないことは長く続けでの一歩一歩でした．

られません．研究者として成功するためには自分が何にそんな中で，私たちの研究の羅針盤になったものが，先興味を持っているのか，自分の強みを知っているかが大ほどもお話ししました「パターン指向音響処理」でした．

切です．

音声認識では常識であった，音の時間変化をパターンとし●今後はどのように挑まれますか．て学習し区別する手法を導入し，残響除去の課題にアプ

今回ご紹介した技術を用いれば，カフェや空港などの公ローチしていきました．最初は幼稚な試みから始め，実験共エリアでの音声インタフェースや，オフィスや家庭のリしては失敗を繰り返しているうちに部分的に成功するもの

ビングでの会話認識など，騒がしい場所で多くの人が話すが出てきては，少しずつ発見を積み重ねていきました．そ場面でも快適に動作する音声認識が実現できます．これして，長い間の試行錯誤の結果，ある日，突然，重要な発は，スマホの音声エージェントやコミュニケーションロ見にたどり着きました．「スペクトルの平坦化を防ぐことボットの利用シーンの拡大に大きく貢献すると期待されてよりも，音声の時間構造が壊れないようにすることが大切います．例えば，耳の不自由な方や異なる言語を話す方々なんだ」．これは，私の研究者経験の中でも，本当に目かが今までできなかったコミュニケーションを支える技術でらうろこが落ちるような体験でした．この発見に従って，あったり，人と人をつなげるような技術として成長させて音声の時間構造を壊さずに残響を除去する仕組みづくりにいきたいと考えています．そう遠くはありません．これら研究がシフトし，残響除去の研究の急速な発展が始まりまはほんの数年先の未来の姿だと考えながら今後も研究に挑した．

んでいきます．
NTT技術ジャーナル 2016.947