送受協調型画像音響センサフュージョンによる音声強調
Vision Referential Speech Enhancement Combining an Acoustical Sensor and a Vision Sensor
ことで処理を実現するため、原理的にシステムの小型化が難しく、処理のために特別な装置を必要とする。
災害現場や工事現場など多数の人や騒音源が混在する環境ではマイクロホンアレイでの音声強調技術でしばしば利用される定常性、独立性、スパース性などを仮定できないため、音声などで有用な独立成分分析(4)*1やバイナリマスク(5) *2 を利用した音源分離などを利松本 光春 ( Mitsuharu MATSUMOTO, Ph. D.)

用することは困難である。従来型の音声強調で前処理

電気通信大学 情報理工学研究科 情報学専攻 准教授として必要となる雑音方向の推定も難しい。

(Professor, University of electro-communications, Graduate
School of Informatics and Engineering, Department ofInformatics)

このような状況のなか、話者同士の会話の補助のため、現在、多くの人が利用しているスマートフォンやIEEE 電子情報通信学会 他
受賞：エリクソン・ヤング・サイエンティスト・アワード (2009 年). FOST
熊田賞 ( 2011 年) Outstanding paper award in IEEE International
Conference on Consumer Electronics (2016 年) Best paper award in25th International Symposium on Artificial Life and Robotics (2020 年)
他
著書：図解入門 よくわかる最新センサ技術の基本と仕組み, 秀和システム(2020 年) 電子部品が一番わかる(しくみ図解), 技術評論社 (2013 年) 他
研究専門分野：知覚情報処理 知能ロボティクス

タブレットが利用できないかと考えたことが本研究の基本的な着想の開始点である。標準的なスマートフォ
ンやタブレットでは従来型の音声協調技術で必要となる多数のマイクロホンが装備されていることはまれであり、１つないし、多くても２つ程度のマイクロホンとカメラが装着されている。このスマートフォンの持つ標準的な装備で実現できる音声協調技術として話し手と聞き手がスピーカーとマイクロホンだけでなく、ディスプレイとカメラをそれぞれ携帯または装着し、マイクロホンからの音と同時に、音声強調のための補あらまし助情報を画像情報として聞き手に送信することで、外本研究は公共の場所での講演や集会での利用など騒部雑音の種類に影響されず、一般的なスマートフォン音環境下での不特定多数に向けた情報伝達を想定したやタブレットで利用可能な音声強調技術の実現を目指音声強調に関する研究である。本研究は現在広く普及している。

しているスマートフォン/タブレットでの利用を想定し、単一のマイクロホンとカメラを組み合わせたセン

２．提案手法の概要

サフュージョンによる音声強調を行う。
話し手と聞き手の間でスピーカー・マイクロホンだけでなく、ディスプレイ・カメラをそれぞれ携帯・装着し、マイクロホンからの音と同時に、音声強調のための補助情報を画像情報として聞き手に送信することで、外部雑音の種類に影響されない頑健な音声強調が可能となることが期待される。
１．研究の目的
音声強調にはマイクロホンアレイと呼ばれる複数のマイクロホンを用いた処理系を用いるのが一般的である(1)-(3)。しかし、マイクロホンアレイは互いに異なっ図1

提案手法の概要図た場所にマイクロホンを置き、その位相差を利用する

1

TELECOM FRONTIER No.116 2022 SUMMER

送受協調型画像音響センサフュージョンによる音声強調
Vision Referential Speech Enhancement Combining an Acoustical Sensor and a Vision Sensor
図 1 に本研究で構想した音声強調手法の概念図を示

図 2、図 3 に話し手側、聞き手側の処理プロセスをす。この手法では、話し手はスピーカーを通した音声それぞれ示す。

信号だけでなく、ディスプレイを通した画像信号とし通常、話し手はマイクを通して録音した音声をスピて音声の情報を発信する。聞き手はスマートフォンやーカーから音声として流し、聞き手側はマイクロホンタブレットなどに搭載された標準的なカメラとマイクを用いてその音声を録音する。この枠組みでは話し手

ロホンを通して受信した画像、音声信号から目的信号から聞き手に提供される情報は音声情報のみであるたを強調する。この枠組みは従来の音声強調技術では難め、周囲に雑音が生じている状況では話し手側の音声

しかった外部雑音の種類に影響されない音声強調を実をうまく聞き取ることが難しくなる。

現可能にする送受協調型のセンサフュージョンの枠組

これに対し、提案手法では話し手側が音声だけでなみである。

く画像情報も積極的に利用することで話し手に自分の音声を提供し、聞き手側は得られる音声、画像情報を合成することでより高品質な音声を取得する。
話し手側は図 2 に示すように音声をスピーカーから音声として流すだけでなく、その情報をフーリエ変換し、周波数空間上での音声の有無を検出する。この処理によって得られた周波数空間上での音声の有無に関する情報をバイナリマスクとして記録する。聞き手側にバイナリマスク情報を適切に伝えるため、時間ごとのバイナリマスク情報を QR コードとしてコーディングし、その QR コードをディスプレイ上に表示する。
聞き手側はマイクロホンを通して話し手からの音声を録音するだけでなく、カメラを用いて話し手から提供される QR コードを取得する。次に得られた QR コ
図2

話し手側の処理プロセスードをデコードして得られた音声に対応するバイナリマスクを取得する。その後、録音された音声をフーリエ変換し、バイナリマスクをかけた後、逆フーリエ変換して音声を取得することで目的音声が強調される。
公共の場においては話し手の音響信号は不特定多数の雑音によって妨害されるため従来手法を用いて目的信号を復元することは難しい。これに対し、提案手法を用いると画像情報としてマスク情報が提供されるため、聞き手は雑音に妨害されることなく、直接マスク情報を得ることができる(6)。
３．研究の方法
提案手法の有効性を確認するため、複数の強度を持つ白色雑音を用いて音声強調実験を行った。
目的信号には ATR 新聞読み上げデータベースから

図3

聞き手側の処理プロセス

男性 1 名、女性 1 名の音声を選択した。雑音信号としては 4 種類の白色雑音を用意した。雑音レベルは
2

TELECOM FRONTIER No.116 2022 SUMMER

送受協調型画像音響センサフュージョンによる音声強調
Vision Referential Speech Enhancement Combining an Acoustical Sensor and a Vision SensordBFS(decibels relative to full scale)を用いて示している。

供するため、周波数軸上で音声と雑音に重なりがあっ

表 1 に実験に用いた目的信号と雑音信号の詳細を示ても重なりのない部分についてバイナリマスクを実施す。また、図 4 に実験結果の一例を示す。

することが可能であることが確認できた。
さらに提案手法で利用する各種パラメータの変化に目的信号と雑音信号対する提案手法の頑健性を調査した(7)(8)。サンプリン

目的信号

ATR 新聞読み上げデータベース

グ 周 波 数 は 22050Hz に 設 定 し 、 FFT(Fast Fourier

雑音信号

白色雑音Transform)の窓サイズを 128 から 8192 まで変化させ雑音レベル-10, -15, -20, -25 (dBFS)た。提案 手法の 有効性を 定量的に 評価す るため 、

表1NRR(Noise reduction ratio)*3 を計算した。
音声波形

スペク ト ロ グラ ム

10.80.60.4

音声信号Amplitude

0.2
00.20.4

NRR (dB)

0.60.810246Time (s)810120246Time (s)8101210.80.60.4

Amplitude

0.2

混合信号

00.2
0.4
0.6

00.8
1201816141210864201

2000

4000
6000
Window size (point)-10dB

0.8-15dB

-20dB

8000

10000

-25dB

0.6

図50.4

Amplitude

0.2

出力信号

FFT の窓幅と NRR の関係

00.20.4

図 5 は雑音レベルが-10dBFS、 -15dBFS、 -20dBFS、

0.60.810

図4246Time (s)81012-25dBFS の 時 の 窓 幅 に 応 じ た NRR(Noise reduction

音声波形とスペクトログラムの例ratio)*3 の値である。図 5 に示すように全体として比較的高い音声強調性能が確認できるが、特に窓幅が 1000-

図 4 左はそれぞれ上から目的音となる音声の波形、2000 程度のときに音声強調性能が高く、窓幅により音混合音の波形、処理後の音声の波形である。また、図声強調性能に違いがあることが確認できる。

4 右はそれぞれ上から目的音となる音声のスペクトロ

また、提案手法のさらなる性能向上のため、バイナグラム、混合音のスペクトログラム、処理後の音声のリマスクとスペクトルサブトラクション*4 を組み合わスペクトログラムを示す。

せた雑音除去の枠組みについても検討した。スペクト

図 4 に示すように信号が雑音に埋もれてしまうようルサブトラクションを用いて周波数軸上で信号と雑音な大きな雑音が混合された時であっても提案する処理が重なっている部分への雑音除去を行うことでさらなを行うことで目的音の特徴が復元され、雑音が取り除る NRR の向上が行えることも確認した(9)。

けていることが確認できる。
先に記述した通り、通常のバイナリマスクを用いた

４．将来展望手法では周波数軸上で重なりのある雑音に対してバイ異なるセンサを組み合わせることで目標となる音声ナリマスクを推定することが難しく、雑音を取り除くを強調し、不要な雑音を抑制するセンサフュージョンことが難しい。これに対し、提案する手法では周波数技術は従来型の雑音抑制技術では難しい様々な問題に軸上での音声情報を画像情報として聞き手側に陽に提対する可能性を秘めている。提案された手法はバイナ

3

TELECOM FRONTIER No.116 2022 SUMMER

送受協調型画像音響センサフュージョンによる音声強調
Vision Referential Speech Enhancement Combining an Acoustical Sensor and a Vision Sensor
リマスクを用いているが、話し手の時間周波数軸上で強調後の SIR(Signal-to-interference ratio）を示す。SIR はの音声位置を画像情報として明示的に送信しているた

以下により定義される．

め、周波数軸上に重なりのある雑音に対しても音声強‖ ( , ) ( , )‖=‖

調が可能である。また、重なりのある雑音についても( , ) ( , )‖ここで N( ,スペクトルサブトラクションのような処理を行うことでさらなる音声強調性能の向上を行うことができる。

............................................(２))は雑音信号の和 n(t)の時間周波数領域での表現であり以下のように記述される。
( )=∑現在、本研究の枠組みを応用し、マイクロホンとカ( ) ...............................................(３)メラの組み合わせではなく、マイクロホンと骨伝導マ*4 スペクトルサブトラクション：周波数軸上の信号とイクの組み合わせにより、雑音除去を行う枠組みにも雑音の混合がその和であると近似し、雑音部分を減算取り組んでおり、その有効性を示唆する結果を得始めすることで目的信号を強調しようとする手法のこと。ている(10)。
参考文献[1] J. Benesty, M. Souden and Y. Huang, “A Perspective on

おわりに
本研究は単一のマイクロホンとカメラを組み合わせ

Differential Microphone Arrays in the Context of Noise

たセンサフュージョンによる音声強調について検討しReduction,” IEEE Transactions on Audio, Speech, andた。話し手と聞き手がスピーカーとマイクロホンだけ

Language Processing, Vol.20, No.2 pp.699-704 (2012)

でなく、ディスプレイ・カメラをそれぞれ携帯・装着[2] M. Matsumoto, S. Hashimoto “Blind identification of

し、マイクロホンからの音と同時に、音声強調のためaggregated microphones in time domain,” Journal of theの補助情報を画像情報として聞き手に送信することで、

Acoustical Society of America, Vol.121, No.5, pp.2723-

外部雑音の種類に影響されない音声強調の可能性を確

2730, (2007)

認した。

[3] K. Kumatani, J. McDonough and B. Raj, “Microphone

また、同枠組みをマイクロホンと骨伝導マイクの組

Array Processing for Distant Speech Recognition: From

み合わせに適用する新たな枠組みを提案し、その有効

Close-Talking Microphones to Far-Field Sensors,” IEEE性を確認している。これらの結果を踏まえ、提案手法

Signal Processing Magazine, Vol.29, No.6, pp.127-140の応用範囲の拡大に向けさらなる展開を検討している。

(2012)[4]

C.

Ghita,

R.

D.

Raicu

andB.

Pantelimon,

用語解説“Implementation of the FastICA algorithm in sound source*1 独立成分分析：混合された複数の信号のそれぞれseparation,” Proc. 2015 9th International Symposium on

が統計的に独立であると仮定することで混合信号

Advanced Topics in Electrical Engineering, pp.19-22 (2015)

を混合前の複数の信号に分離するブラインド信号[5] S. Richard and O. Yilmaz, On the approximate W-disjoint

分離技術のこと。

orthogonality of speech, Proc. 2002 IEEE International*2 バイナリマスク：周波数軸上で信号を除去するか

Conference on Acoustics, Speech, and Signal Processing，否かを決定するために利用される。0、1 の情報を

pp.529-532 (2002)

持ち、0 である部分の信号は取り除かれ、1 である[6] M. Matsumoto, "Vision-referential speech enhancement部分の信号は残される。というような処理を行うたof an audio signal using mask information captured as visual

めに利用する。

data," Journal of the Acoustical Society of America, pp.338-*3 NRR: Noise reduction ration のこと。ここでは以下の348, Vol.145, No.1, 2019.

ように定義する。

[7] M. Matsumoto, "Performance evaluation of=−speech enhancement of single acoustic signal............................ (１)referring

ここで SIRbefore，SIRafter はそれぞれ音声強調前，音声
4

toimage

information,"

2021

Fifth

TELECOM FRONTIER No.116 2022 SUMMER

送受協調型画像音響センサフュージョンによる音声強調
Vision Referential Speech Enhancement Combining an Acoustical Sensor and a Vision Sensor
International

Conference

onImaging,Signal

Processing and Communications (ICISPC2021),
pp.62-66, Online, July 23 - July 25, 2021.
MS 明朝 10/Century10[8] 松本光春、 "送受協調型画像音響センサフュージ
ョンによる音声強調、" 2019 年 電気学会 電子・情報・システム部門大会、 pp.1181-1182、 沖縄、 2019 年
9 月 4 日-7 日。
[9]M.

Matsumoto,"Vision-referential

speechenhancement with binary mask and spectral
subtraction," The 6th International Workshop on
Signal Processing and Machine Learning (SiPML2020), pp.420-428, Online, Oct. 28 - Oct. 30, 2020.
[10] 川口純輝、 松本光春、 "骨伝導マイクとマイクロホンの組み合わせによる雑音除去" 計測自動制御学会
システム・情報部門 学術講演会 2021、 pp.154-155、
オンライン、 2021 年 11 月 20 日-22 日。
この研究は、平成３０年度ＳＣＡＴ研究助成の対象として採用され、平成元年～令和３年度に実施されたものです。

5TELECOM FRONTIER No.116 2022 SUMMER