深層学習

コミュニケーション科学のさらなる深化

目的話者抽出SpeakerBeam

SpeakerBeam: 聞きたい人の声に耳を傾ける
コンピュータ──深層学習に基づく音声の選択的聴取†1†2

Marc Delcroix /Katerina Zmolikova
パーティ会場などの騒がしい環境の中でも，人は，聞きたい人（目的話者）の声に注目して，その声を聞き取ること（選択的聴取）ができます．一方，従来のコンピュータでも，話者の位置が分かっていれば，その位置から来る音だけを抽出することはできました．これに対し，本稿では，目的話者の声の特徴だけが分かっているときに，深層学習技術を用いて，その特徴に合致する声を抽出する新しい技術SpeakerBeamを紹介します．

はじめに

木下 慶介
小川 厚徳

†1

†1/荒木 章子
/中谷 智広†1†1

NTTコミュニケーション科学基礎研究所†2
Brno University of Technology†1

話者の位置に注目して声を聞き取る技の機能を実現できる技術を，コンピュー術は，すでにコンピュータでも実現さタを用いて世界で初めて実現しました．しかし，これらの（図 2 ）．この技術を，SpeakerBeamと認識技術が急速に発展し，スマート従来技術でも，目的話者の位置が不明呼びます．SpeakerBeamでは，複数のフォンやスマートスピーカなどの音声であったり，話者の位置が動いたりす

人の声の中でどれが目的話者の声であインタフェースで利用されるようにる場合には，目的話者の声の抽出は困るかを定めるために，事前に収録したなってきました．しかし，日常のさま難でした．このため，従来技術で対処約10秒程度の目的話者の声（適応発ざまな場面では，複数の人が会話をしできる状況は，大きく制限されていま話）を手掛かりとして利用します．そていたり，TVの音声が背景で流れてした．

して，適応発話から抽出した声の特徴

近年，コンピュータによる自動音声（1）（，2）れていました

いたりするなど，目的話者以外の声がこれに対し，私たちは，人間の聴覚に基づき，その特徴に合致した音声だ混ざって収録されることが，しばしばによる選択的聴取の能力のうち，目的けを取り出すことで，目的話者の音声起きます．現在の音声認識技術では，話者の声の特徴に基づき，その声だけを抽出します．この方法を用いること目的話者だけに注目してその声を聞きを聞き取る能力に関して，それと同等で，目的話者がどの場所で話すか分か取ることができないため，このような状況にうまく対応することができませんでした．
一方，音声認識技術と違い，人間の聴覚は，複数の人の声やほかの音が聞こえている状況でも，目的話者の声の特徴（声の高さ，声質，抑揚，強勢，音長，リズムなど）やその音の到来方向に注目して，その他の音を無視して，目的の音声だけを聞き取ることができます（図 1 ）．これは，人間の聴覚の優れた能力の 1 つで，選択的聴取と呼ばれます．この能力のおかげで，騒がしい環境の中でも，人間は，特定の話し相手と話を続けることができます．
これまで，選択的聴取の能力のうち，12

NTT技術ジャーナル 2018.9

聞きたい人の声の特徴（声の高さ，声質など）と音の到来方向に注目し，その声のみを聞くことができる

図1

人間の聴覚による声の選択的聴取

特 集せる利点がある一方で，それを実現す目的話者
事前に収録した聞きたい話者の音声（約10秒）を適応発話として与える
補助
情報混ざった声

SpeakerBeam
マイクを用いた収録

図2

るためには，すべての音の詳細な状態を推定する必要があるという問題がありました．具体的には，例えば，何人の話者が同時に話しているかの数の情報が必要，すべての話者の位置や雑音抽出された
目的話者の統計量の推定が必要，分離音のどれが目的話者かの推定が必要などの課題がありました．このため，現時点で，目的話者の声を抽出

SpeakerBeamによる声の選択的聴取

音源分離の適用範囲は必ずしも大きくありません．

SpeakerBeamの特長
すべての音を分解する音源分離のアプローチと違い，SpeakerBeam では，らないような状況などでも，その声の特徴に注目することで，目的話者の声を抽出することができるようになりま

選択的聴取と関連の深い従来技術：
音源分離

目的話者の音声のみを抽出します．そのため，SpeakerBeamでは，同時に話している話者の数や，その位置，ます．このため，SpeakerBeamは，今後，コンピュータを用いて騒がしい環境た背景雑音の統計量を推定する必要が人の会話を理解する音声認識 ･ ロボッの中で目的話者の声を抽出する選択的ありません．収録音の中で，目的話者

ト技術の新しい可能性を拓く技術にな聴取の実現のために，これまで，数多以外にどのような音が含まれているかると期待されます．

くの研究が行われてきました．
しかし，によらず，目的話者の声の特徴に合致

本稿では，選択的聴取と関連の深その中で，実際に行われてきた研究のする音声に注目して，その音を抽出す

い従来技術として音源分離について

ほとんどは，混ざった音声を個々の音るというシンプルな処理を行うだけ

最初に簡単に紹介したのちに，音源声に分解する，音源分離に関するもので，選択的聴取を実現することができ

（1）
（，2）

分離との対比で，SpeakerBeamの特でした．音源分離は，選択的聴取ます．しかも，10秒程度の発話を適応

長 を 説 明 し ま す． さ ら に， 現 在 のとよく似ているけれども異なる機能を発話として与えるだけで目的話者の声SpeakerBeamの性能を実験結果を用実現する技術です．音源分離では，収の特徴を得ることができるため，現実いて示します．最後に，SpeakerBeam

録音に含まれている話者の数が既知での多くの収録環境で，目的話者の抽出の将来の利用シーンを概観するとともあるとの前提の下で，何らかの音の特を行うことができます．に，今後の研究の方向性について述べ徴（音の到来方向など）に基づき，収SpeakerBeamのためのニューラルます．

録音を話者数と同じ数の音に分解しま

ネットワークの構造を図 3 に示します．音源分離は，すべての音を取り出す．
主ネットワークと，補助ネットワー

NTT技術ジャーナル 2018.913コミュニケーション科学のさらなる深化

クの構成と学習の手続きに関する詳細
目的話者
補助情報補助ネットワーク
話者
特徴量
適応層2つのネットワークが協調して選択的聴取を実現

は，文献（5）でご確認いただけます．

SpeakerBeamによる音質改善と音声認識精度の改善

主ネットワーク

SpeakerBeamによる，音声抽出性抽出された目的話者混ざった声能と音声認識に与える影響を実験により確認しました．英語新聞の読み上げ
音声からなる音声データベースを用いて， 2 人の話者をコンピュータ上で混ぜた音声を作成し，入力音として用い

図3

SpeakerBeamのための深層学習の新技術ました．SpeakerBeamは 1 つのマイクでも動作しますが，より多くのマイクを用いる場合のほうがより高い性能

クの 2 つで構成されており，それぞれ，応発話として受け取り，多層のを実現できます．実験では， 8 個のマ以下の機能を担当します．

ネットワークを用いて，その声のイクを用いて，SpeakerBeamによる特徴を抽出して出力します．

処理とマイクアレイによる処理（ビーが混ざった入力音声を受け取り，これら 2 つのネットワークは，相互ムフォーマ処理）を組み合わせて目的その中に含まれる目的話者の音声に結合された状態で，音声抽出の精度を抽出して出力します．多層のを最大化するように学習されます．主SpeakerBeamで処理した結果の音ネットワークで構成されており，ネットワークと同時に補助ネットワー

声波形の例と，SpeakerBeamを用いと呼ばれるクを学習することで，目的話者の音声たときと用いないときの音声認識精度特別な層を含みます．適応層は，を抽出するために必要な音声の特徴がを図 4 に示します．波形の例より，ネットワークの制御情報として，何であるかを，データから自動的に学

SpeakerBeamは，適切に目的話者を抽補助ネットワークが抽出した目的習できます．その結果，最適な特徴を，出できていることが確認できます．ま

話者の声の特徴を受け取り，その人手で見つけ出すというような面倒なた，音声認識結果より，SpeakerBeam特徴に合わせて，ネットワーク全作業を行う必要がありません．
さらに，により，約60％の音声認識精度改善が体として目的話者の声の抽出がでさまざまな話者の声や背景雑音を含ん得られたことが確認できます．

きるように，適応層の中のネットだ大量の学習データを用いてネットさらに，SpeakerBeam は人が音声ワークの重みを修正できる仕組み

ワ ー ク を 学 習 す る こ と で，を聞く場合の聴感上の音声品質を改善を持っています．

SpeakerBeam は，学習に含まれていする目的でも利用することができま② 補助ネットワーク：入力音声とない目的話者に対しても，選択的聴取す．実際の環境（残響や背景音楽があは別に収録した目的話者の声を適が行えるようになります．ネットワー

る環境での実録音）で，SpeakerBeam① 主ネットワーク：さまざまな音（3）（4）,その中に，適応層14

NTT技術ジャーナル 2018.9

音声の抽出を行いました．

特 集

2人の声が混ざった音声から抽出された目的音声を評価
話者①（%）

話者②

100

混ざった声
音声認識率

抽出した
話者①の声

8060

混ざった声

40

抽出した声

20（参考）
話者①の正解の声

0（a）SpeakerBeamで処理した結果の音声波形

図4（4） M. Delcroix, K. Kinoshita, A. Ogawa, C.
Huemmer, and T. Nakatani：“ContextAdaptive Neural Network Based Acoustic
Models for Rapid Adaptation,” IEEE/ACM
Trans. Audio, Speech and Lang. Proc.，
Vol.26，No.5，pp.895-908，2018．
（5） K. Zmolikova, M. Delcroix, K. Kinoshita, T.
Higuchi, A. Ogawa, and T. Nakatani：“Learning speaker representation for neuralnetwork based multichannel speakerextraction,” Proc. of ASRU 2017，Okinawa，Japan，Dec. 2017．
（6） https://youtu.be/BM0DXWgGY5A（b）目的音声の音声認識率

SpeakerBeamによる音質改善と音声認識精度改善

が，どのように目的話者の声の抽出を（6）

SpeakerBeamを実際の状況で利用実現できるかについては，ビデオ でできるようにするためには，まだいくご確認いただけます．

つかの課題が残されています．
例えば，

今後の展開

現在の技術では，声の似た人が同時に話す場合に，話者抽出性能が低下する（後列左から）小川 厚徳/ 中谷 智広/

SpeakerBeamはコンピュータによ問題があります．この問題を解決する

る選択的聴取を実現する新しい技術でために，より正確に話者の区別を行う（前列左から）荒木 章子/ Marc Delcroix/

す．従来から広く研究が行われてきたことができる特徴抽出の方法，音の到木下 慶介

音源分離の技術と比べて，背景でどん来方向などの話者の位置情報を，声のな音が聞こえているか（同時に話して特徴と組み合わせて目的話者抽出を行いる人の数やその位置，背景雑音の種う方法などについて，研究を進めてい類など）によらず，目的話者の声の抽く予定です．

出を行うことができます．今後，この技術は，多人数会話の音声認識，スマー
トスピーカのようなアシスタントデバ
イスの音声インタフェース，目的話者の声のみを抽出できるICレコーダや補聴器など，さまざまな新しい音声インタフェース技術を実現する要素技術として利用が期待されます．

■参考文献（1） 堀 ･ 荒木 ･ 中谷 ･ 中村：“みんなの会話を聞き取るコンピュータを目指して,” NTT技術
ジャーナル，Vol.25，No.9，pp.18-21，2013．
（2） 牧野 ･ 荒木 ･ 向井 ･ 澤田：“ブラインドな処理が可能な音源分離技術,” NTT技術ジャー
ナル，Vol.15，No.12，pp.8-12，2003．
（3） Delcroix ･ 木 下 ･ 小 川 ･ 苅 田 ･ 樋 口 ･ 中 谷：
“コンテキスト適応型ニューラルネットワー
クを用いた音声インタフェースのパーソナラ
イ ズ 化,” NTT技 術 ジ ャ ー ナ ル，Vol.29，No.9，pp.25-28，2017．

Katerina Zmolikova（右上）ロボットやコンピュータなどが，今までより自然に，私たちの音声を理解できるようになるよう，日々研究進めています．その要素技術として，SpeakerBeamが，さまざまな話者や雑音環境に対応できるよう検討を進めていきます．是非ビデオ（6）も見てください！

◆問い合わせ先

NTTコミュニケーション科学基礎研究所
メディア情報処理研究部
信号処理研究グループ
TEL 0774-93-5030
FAX 0774-93-5026
E-mail cs-liaison-ml hco.ntt.co.jp

NTT技術ジャーナル 2018.915