特集

いまあす

変化する現在，持続する未来

音声強調

マイクロホン
アレイ

遠方マイク
収音

あなたの声を「すぐそば」品質で聴く AI──遠くからでも近接マイク品質で混ざった音を聞き分ける革新的音響処理技術
話者から離れたマイク（遠方マイク）で音声を収録すると，残響や他の話者の音声，背景雑音などが混在するため，音声は聞き取りにくくなり，音声認識などの性能も劣化します．本稿では，複数の遠方マイクで収録した音から，話者の近くのマイク（近接マイク）で収録したような高品質な音声を取り出す音声強調の最新技術を紹介します．残響抑圧，音源分離，雑音抑圧を全体最適かつ高速に実現する「統一モデル」，少数マイクで高品質な処理が可能な「スイッチ機構」，さらに，深層学習に基づく音声強調（SpeakerBeam など）との連携について述べます．

はじめに
近年，スマートフォンによる音声認
識やヘッドセットを用いたリモート会
議など，話者の口元近くにおかれたマイク（近接マイク）で収録した高品質な音声に基づく音声アプリケーション

36

なかたにともひろ

いけしたりんたろう中谷智広

池下林太郎

かもなおゆききのしたけいすけ

加茂直之

木下慶介

あらきしょうこ

さわだひろし荒木章子

澤田宏

NTT コミュニケーション科学基礎研究所

では，単一マイクよりも高品質な処理

1（a））．具体的には，残響が壁や天井が可能な複数マイクを用いる音声強調に反射してマイクに到達する過程，複（複数マイク音声強調）の最新技術を数の音声が各方向から到来し混合する

紹介します．

過程，雑音が全方向から到来し重畳す

近接マイク品質の実現のための課題る過程をそれぞれ推定し，各逆変換を行っていました．
例えば，世界で初めて NTT が実現が広く利用されています．一方，今収録音から近接マイク品質の音声をし た 残 響 抑 圧 法 WPE（Weighted

後，AI（人工知能）が，より深く私た抽出するには，残響抑圧，音源分離，（1）を用いれば，収Prediction Error）

ちの生活に溶け込み，身近（＝「すぐ雑音抑圧の 3 つの処理を行うことが必

録音中に雑音が含まれていない前提のそば」）な存在になるためには，日常要です．残響抑圧により，遠くで響い下，どんな環境で収録されたかを知ら生活の中で，必ずしもマイクの「すぐている印象のぼやけた音声を，すぐ近なくても（すなわち，ブラインド処理そば」で話されていない音声をも同等くにいる印象のはっきりした音声に変で）収録音の残響過程を高精度に推定の品質で扱えるようになることが求めえます．さらに，複数の音声や背景雑し，ほぼ完璧な残響抑圧を実現できてられます．しかし，話者から離れたマ音が混在している場合は，音源分離やいました．また，NTT をはじめ世界イク（遠方マイク）では，壁や天井か雑音抑圧により個々の音に分解しま

中で活発に研究が進められてきた独立らの反射である残響，複数の話者の音す．これら 3 つの処理を同時に高精度成分分析（2），（3）を用いれば，収録音中声，背景雑音などが混ざってしまうたに行うことで，近接マイク品質の 1 人に残響が含まれていない前提の下，ブめ，収録音声の品質は著しく劣化し，ひとりの音声に分けることができます．

ラインド処理により高精度な音源分離

音声アプリケーションの性能も大きく従来の複数マイク音声強調では，こ低下します．この課題を解決するための残響抑圧，音源分離，雑音抑圧の各

しかし，従来技術では，この 3 つのに，遠方マイクで収録した音から，近課題に対し，音が音源からマイクに伝処理を同時に行えないという問題があ

接マイクで収録したかのように高品質播し混合する各過程（収録音の生成過りました．つまり，雑音，残響，複数な各話者の音声を抽出する音声強調技程）を推定し，その逆変換を適用する音声が混在する収録音からその生成過術の研究を進めています．特に，本稿ことで，各処理を実現していました（図程のすべてを同時に推定し，その全過2022.8が実現できていました．

特集（a） 従来の複数マイク音声強調（b） 統一モデルに基づく複数マイク音声強調（提案法）

図１

複数マイク音声強調の従来法と提案法

程の逆変換を行うことはできませんで最適なかたちで実現することは，音響改善できるようになりました（図 2（a）

した．その結果，各処理を順番に適用処理における重要な未解決課題でした．

〜（c））．

するしかなく，例えば，最初の残響抑圧では，雑音が含まれていないという前提で処理されるため，高精度な処理

図 3 に，近接マイクで収録した 2 つ

残響抑圧，雑音抑圧，音源分離のの音声と雑音，およびそれらを遠方マ

統一モデル

イクで収録した音のスペクトログラムはできませんでした．また，音源分離

これに対し，私たちは， 3 つの処理を示します．図から分かるように，近や雑音抑圧では，残響が完全に抑圧さを全体最適なかたちで実現できる統一

接マイクで収録した音声は，局所的なれているという前提で処理されるため，（4）（5）,モデルを考案（世界初）しました．

領域に音が集中するスパース（疎）な最善の処理性能を得ることはできませ統一モデルでは，まず，近接マイク品信号で，かつそれらが時間的に変化すんでした．このため，全処理を組み合質の音声や雑音が満たすべき一般的なる非定常信号です．また，雑音は音がわせたうえでベストの性能を引き出す性質を数理的にモデル化します．そしより広いエリアに広がったデンス（密）こと，すなわち，全体として最適な処て， 3 つの処理を組み合わせた結果とな定常信号です．これに対し，遠方マ理を行うことはできませんでした．

して得られる音がこの性質をもっともイクで収録した音声は，雑音，残響，私たちの日常生活環境において遠方よく満たすようにするという「統一基複数音源が混ざったことで，近接マイマイクを用いて収録した音声には，必準」に基づき各処理を最適化することクで収録した音声と比べると，よりデずといっていいほど，残響，複数音源，で，全体最適な処理を実現します（図ンスな非定常信号になるという特徴を雑音のすべての問題がつきまといま．その結果，例えば，遠方マイ1（b））

持っています．

す．このため，この 3 つの処理を全体クで収録した音声の認識性能を大幅に統一モデルでは，これらの音の特徴

2022.837特集いまあす

変化する現在，持続する未来図2

図3382022.8

複数マイク音声強調による認識率の改善

近接マイクと遠方で収録した音のスペクトログラム

特集

区間ア

区間イ

区間ウ

区間イ

区間ア

話者A
話者B
話者C

時間
ア，イ，ウの各区間では、話者数は2以下になっている

図4

3 人の会話における各者発区間の例の違いを利用します．すなわち，残響組込みデバイスを用いる場合でも，リしています．これに対し，図で示した

抑圧，音源分離，雑音抑圧を適用した

図4アルタイム処理が可能な程度まで計算
3人の会話における各話者の発話区間の例

短時間区間に分けると，全体では 3 人結果の音が，近接マイク品質の音声や雑音の特徴を最大限に満たすように各処理を制御します．例えば，残響抑圧
では，音源分離や雑音抑圧と組み合わ量を削減することができます．の話者がいるにもかかわらず，各時間少数マイクで高精度な推定を可能にするスイッチ機構

区間は 2 人しか話していないようにすることができます．そして，話者数が少なくなった短時間区間ごとに処理をせた結果の音がもっとも近接マイク品統一モデルを応用して，比較的少数切り替えて（スイッチして）複数マイ質を満たすように，残響の生成過程とのマイクでも高精度な推定を可能にす

ク音声強調を適用することで，少数のその逆変換を推定し，適用します．音る技術がスイッチ機構です．従マイクでも比較的高精度な処理が実現

源分離や雑音抑圧も，同様に，他の処来，高精度な複数マイク音声強調を実理と組み合わせた結果，もっとも近接現するためには，収録音に含まれる音統一モデルに基づく音声強調にス

マイク品質を満たすように音の生成過源の数と比較して十分に多くのマイクイッチ機構を導入する場合，上記の時程とその逆変換を推定し，適用しまを用いることが必要でした．これは，間区間分けを含んだ処理の全体を最適す．その結果，近接マイク品質を実現

複数マイク音声強調を現実の問題に適化できるという特長があります．すなするという目的において，すべての処用するのを難しくする課題でした．こわち，短時間区間に分ける処理と、区理を組み合わせたうえで，全体最適なの課題を解決するために，スイッチ機間ごとに複数マイク音声強調を行う処処理が行えるようになりました．

構を導入することで，少数のマイクで理に対し，それらを組み合わせた結果も比較的高精度な処理が実現できるよ

得られる音声が近接マイク品質を最大うになります．

限に満たすように，スイッチ機構と複統一モデルに基づく複数マイク音声強調の処理の高速化についても，これ（8），（9）できるようになります．

までに，多くの成果が得られていま

スイッチ機構のアイデアを説明しま．例えば，図 2 の実験の処理す．スイッチ機構では，収録音に多く（ 8 本のマイクを用いて残響抑圧，音の音源が含まれる場合でも，収録音を源分離，雑音抑圧の全体最適化）は，短い時間区間に分ければ，同時に音をLinux 計算機を用いて実時間以内で完発している音源の数を少なくできるこ了できるところまで高速化されていまとに着目します．これを，図 4 を用い前述したように，統一モデルを用いす．また，残響が少ない環境で，背景て説明します．図 4 は，横軸を時間にることで，これまで試行錯誤的に組み雑音から １ 人の話者の音声をブラインとって， 3 人の話者のそれぞれがいつ合わされてきた音声強調の 3 つの処理ド処理で抽出する問題に限定すれば，話していたかを各色付きの横バーで表に対し，理論的にも実用的にも優れた

す

（6）
，
（7）

数マイク音声強調の両方を同時に最適化することができます．

音響処理の基礎技術としての統一モデル

2022.8

39

特集

いまあ

統合指針を与えることができます．まようになります（図 2（d））．今後，両た，スイッチ機構のように，より複雑者の最適な統合方法を構築することな処理を組み合わせていくうえでも，で，より高機能で高品質な音声処理が統一モデルは，全体最適化を実現する実現されていくと考えています．

仕組みを与えることができます．統一モデルは，今後，音響処理技術がさらに発展していく中で，その基礎を与える技術として広く利用されていくことが期待されます．

今後の発展：深層学習との最適な統合
複数マイク音声強調が発展していく
うえで，音声強調のもう 1 つの重要なアプローチである深層学習との連携はと て も 大 切 で す． 深 層 学 習 で は，SpeakerBeam（10）が実現した声の特徴に基づく選択的聴取や単一マイクによる音声強調など，複数マイク音声強調では困難な処理が実現できる一方で，残響があると処理音質が悪くなる，音声認識性能の改善は限定的であるな
どの課題があります．これらの特徴
は，複数マイク音声強調と相補的であり，どちらも欠くことができない技術です．例えば，複数マイク音声強調では，たくさんの音が混ざっているなかから目的話者のみを抽出することは困難ですが，深層学習の力を借りることでその課題を乗り越えることができます．一方，深層学習音声強調が推定した音声は，そのままでは音質が悪く，音声認識の性能もあまり改善できませんが，複数マイク音声強調を用いて近接マイク品質にすることで，複数マイク音声強調単体で処理する場合よりもさらに性能を向上させることができる

40

す

変化する現在，持続する未来2022.8

Processing, Vol. 30, pp.1032-1047, 2022.
（10） Delcroix ・ Zmolikova ・ 木 下 ・ 荒 木 ・ 小
川 ・ 中谷：“SpeakerBeam: 聞きたい人の声に耳を傾けるコンピュータ──深層学習に基づく音声の選択的聴取 ,” NTT 技術ジャー
ナル , Vol. 30, No. 9, pp. 12-15, 2018.

■参考文献（1） T. Nakatani, T. Yoshioka, K. Kinoshita, M.
Miyoshi, and B. H. Juang：“Speechdereverberation based on variancenormalized delayed linear prediction,”
IEEE Trans. on Audio, Speech, andLanguage Processing, Vol. 18, No. 7, pp.
1717-1731, 2010.
（2） N. Ono and S. Miyabe：“Auxiliary-functionbased independent component analysis forsuper-Gaussian sources,” Proc. of LVA/ICA 2010, pp. 165-172, Springer, St. Malo,France, Sept. 2010.
（3） H. Sawada, S. Araki, and S. Makino：“Underdetermined convolutive blind source
separation via frequency bin-wise clusteringand permutation alignment,” IEEE Trans.
Audio, Speech, and Language Processing,Vol. 19, No. 3, pp. 516-527, 2011.
（4） T. Nakatani, C. Boeddeker, K. Kinoshita, R.
I k e s h i t a , M . De l c r o i x , a n d R . H a e b U m b a c h：“ J o i n t l y o p t i m a l d e n o i s i n g ,dereverberation, and source separation,”
IEEE/ACM Trans. Audio, Speech, andLanguage Processing, Vol. 28, pp. 22672282, 2020.
（5） R. Ikeshita and T. Nakatani：“Independentvector extraction for fast joint blind source
separation and dereverberation,” IEEE
Signal Processing Letters, Vol. 28, pp. 972976, 2021.
（6） R. Ikeshita, T. Nakatani, and S. Araki：“Block coordinate descent algorithms for
auxiliary-function-based independent vector
extraction,” IEEE Trans. Signal
Processing, Vol. 69, pp. 3252-3267, 2021.
（7） T. Ueda, T. Nakatani, R. Ikeshita, K.
Kinoshita, S. Araki, and S. Makino：“Lowlatency online source separation and noise
reduction based on joint optimization withdereverberation,” Proc. of EUSIPCO 2021,
pp. 1000-1004, Dublin, Ireland, Aug. 2021.
（8） R Ikeshita, N. Kamo, and T. Nakatani：“Blindsignal dereverberation based on mixture ofweighted prediction error models,” IEEE
Signal Processing Letters, Vol. 28, pp. 399403, 2021.
（9） T. Nakatani, R. Ikeshita, K. Kinoshita, H.
Sawada, N. Kamo, and S. Araki：“Switchingindependent vector analysis and its extension
to blind and spatially guided convolutional
beamforming algorithms,” IEEE/ACM
Trans. Audio, Speech, and Language（上段左から）中谷  智広/ 池下 林太郎/
加茂  直之（下段左から）木下  慶介 / 荒木  章子 /澤田   宏
私たちは，ロボットやコンピュータなどが人間と同様に私たちの会話を理解できるようになるための研究を進めていま
す．複数マイク音声強調は，その重要な要素技術です．信号処理と深層学習を連
携 ・ 発展させていくことで，未来の AI の耳を創造していきたい．

◆問い合わせ先NTT コミュニケーション科学基礎研究所
メディア情報研究部
信号処理研究グループ
TEL 0774-93-5020
E-mailcs-liaison-mlhco.ntt.co.jp