(57)【要約】  事前情報を用いずに雑音が含まれる音響信号から目的音響信号を高い精度で復元することができる音声信号復元システム及び方法を提供する。Ｍチャネルの振幅スペクトログラムを入力として、Ｍチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース時間周波数成分を含む共通スパース成分を推定する共通スパース成分推定部７を設ける。位相復元部９は、共通スパース成分の位相を復元して目的音響複素スペクトログラムとする。目的音響信号変換部１３は、目的音響複素スペクトログラムを時間信号である目的音響信号に変換する。
2017204226.tif 000002
【特許請求の範囲】
【請求項１】
Ｍ本（Ｍは２以上の整数）のマイクロホンによって採取したＭチャネルの音響信号に含まれる目的音響信号を復元する目的音響信号復元システムであって、
前記Ｍ本（Ｍは２以上の整数）のマイクロホンによって採取した前記Ｍチャネルの音響信号を時間周波数解析してＭチャネルの複素スペクトログラムを得る時間周波数解析部と、
前記Ｍチャネルの複素スペクトログラムからＭチャネルの振幅スペクトログラムを抽出する振幅成分抽出部と、
前記Ｍチャネルの振幅スペクトログラムを入力として、前記Ｍチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース時間周波数成分を含む共通スパース成分を推定する共通スパース成分推定部と、
前記共通スパース成分の位相を復元して目的音響複素スペクトログラムとする位相復元部と、
前記目的音響複素スペクトログラムを時間信号である前記目的音響信号に変換する目的音響信号変換部とからなる目的音響信号復元システム。
【請求項２】
前記共通スパース成分推定部は、前記Ｍチャネルの振幅スペクトログラムからそれぞれ反復推定ｉ−１回目（ｉは２以上の正数）の低ランク成分を除いて得たＭ個のスパース成分を含む残余の総和を、前記共通スパース成分に前記Ｍ個のスパース成分が含まれている含有比率の総和で除算して得た結果を反復推定ｉ回目の前記共通スパース成分として推定する請求項１に記載の目的音響信号復元システム。
【請求項３】
前記共通スパース成分推定部は、
前記Ｍチャネルの振幅スペクトログラムに含まれる低ランク成分の比率を演算する低ランク成分比率演算部と、
前記低ランク成分の比率に基づいて前記Ｍチャネルの振幅スペクトログラムに含まれるＭ個の低ランク成分を演算する低ランク成分演算部と、
前記Ｍチャネルの振幅スペクトログラムに含まれるスパース成分の比率を演算するスパース成分比率演算部と、
前記スパース成分の比率に基づいて前記Ｍチャネルの振幅スペクトログラムに含まれるＭ個のスパース成分を含む残余成分を演算する残余成分演算部と、
前記Ｍ個のスパース成分を含む残余成分と前記共通スパース成分とに基づいて、前記共通スパース成分に前記Ｍ個のスパース成分が含まれている含有比率を前記Ｍ個のスパース成分の音量として演算する音量演算部と、
前記Ｍ個のスパース成分を含む残余成分の総和を前記Ｍ個のスパース成分の音量の総和で除算して前記共通スパース成分を演算する共通スパース成分演算部とを備えて、
前記低ランク成分比率演算部、低ランク成分演算部、スパース成分比率演算部、残余成分演算部、音量演算部及び前記共通スパース成分演算部において反復演算を行うことにより前記共通スパース成分を推定する請求項２に記載の音声信号復元システム。
【請求項４】
前記共通スパース成分推定部は、変分ベイズＥＭ法または逐次変分ベイズEM法により前記共通スパース成分をベイズ推定するベイズ推定器によって構成されている請求項１に記載の音声信号復元システム。
【請求項５】
コンピュータを用いて、Ｍ本（Ｍは２以上の整数）のマイクロホンによって採取したＭチャネルの音響信号に含まれる目的音響信号を復元する目的音響信号復元方法であって、
前記Ｍ本（Ｍは２以上の整数）のマイクロホンによって採取した前記Ｍチャネルの音響信号を時間周波数解析してＭチャネルの複素スペクトログラムを得る時間周波数解析ステップと、
前記Ｍチャネルの複素スペクトログラムからＭチャネルの振幅スペクトログラムを抽出する振幅成分抽出ステップと、
前記Ｍチャネルの振幅スペクトログラムを入力として、前記Ｍチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース時間周波数成分を含む共通スパース成分を推定する共通スパース成分推定ステップと、
前記共通スパース成分の位相を復元して目的音響複素スペクトログラムとする位相復元ステップと、
前記目的音響複素スペクトログラムを時間信号である前記目的音響信号に変換する目的音響信号変換ステップとからなる目的音響信号復元方法。
【請求項６】
前記共通スパース成分推定ステップでは、前記Ｍチャネルの振幅スペクトログラムからそれぞれ反復推定ｉ−１回目の低ランク成分を除いて得たＭ個のスパース成分を含む残余の総和を、前記共通スパース成分に前記Ｍ個のスパース成分が含まれている含有比率の総和で除算して得た結果を反復推定ｉ回目の前記共通スパース成分として推定する請求項５に記載の目的音響信号復元方法。
【請求項７】
前記共通スパース成分推定ステップは、
前記Ｍチャネルの振幅スペクトログラムに含まれる低ランク成分の比率を演算する低ランク成分比率演算ステップと、
前記低ランク成分の比率に基づいて前記Ｍチャネルの振幅スペクトログラムに含まれるＭ個の低ランク成分を演算する低ランク成分演算ステップと、
前記Ｍチャネルの振幅スペクトログラムに含まれるスパース成分の比率を演算するスパース成分比率演算ステップと、
前記スパース成分の比率に基づいて前記Ｍチャネルの振幅スペクトログラムに含まれるＭ個のスパース成分を含む残余成分を演算する残余成分演算ステップと、
前記Ｍ個のスパース成分を含む残余成分と前記共通スパース成分とに基づいて、前記共通スパース成分に前記Ｍ個のスパース成分が含まれている含有比率を前記Ｍ個のスパース成分の音量として演算する音量演算ステップと、
前記Ｍ個のスパース成分を含む残余成分の総和を前記Ｍ個のスパース成分の音量の総和で除算して前記共通スパース成分を演算する共通スパース成分演算ステップを備えて、
前記低ランク成分比率演算ステップ、前記低ランク成分演算ステップ、前記スパース成分比率演算ステップ、前記残余成分演算ステップ、前記音量演算ステップ及び前記共通スパース成分演算ステップにおいて反復演算を行うことにより前記共通スパース成分を推定する請求項６に記載の音声信号復元方法。
【請求項８】
Ｍ本（Ｍは２以上の整数）のマイクロホンによって採取したＭチャネルの音響信号に含まれる目的音響信号を復元する目的音響信号復元方法を、コンピュータを用いて実現するためにコンピュータ読み取り可能な記憶手段に記憶されたコンピュータプログラムであって、
前記Ｍ本（Ｍは２以上の整数）のマイクロホンによって採取した前記Ｍチャネルの音響信号を時間周波数解析してＭチャネルの複素スペクトログラムを得る時間周波数解析ステップと、
前記Ｍチャネルの複素スペクトログラムからＭチャネルの振幅スペクトログラムを抽出する振幅成分抽出ステップと、
前記Ｍチャネルの振幅スペクトログラムを入力として、前記Ｍチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース時間周波数成分を含む共通スパース成分を推定する共通スパース成分推定ステップと、
前記共通スパース成分の位相を復元して目的音響複素スペクトログラムとする位相復元ステップと、
前記目的音響複素スペクトログラムを時間信号である前記目的音響信号に変換する目的音響信号変換ステップを前記コンピュータで実現するための目的音響信号復元用コンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、低ランク性雑音により妨害された目的音響信号を、観測した複数チャネルの音響信号から復元する目的音響信号復元システム及び方法に関するものである。
【背景技術】
【０００２】
非特許文献１には、雑音と目的音響信号の混合音を観測した多チャネル音響信号から、目的音響信号のみを分離できる技術が開示されている。【０００３】
非特許文献２には、複数のマイクロホンによって採取した複数チャネルの音響信号に含まれる音声信号を復元する技術が開示されている。具体的には、マイクロホンアレイを搭載した柔軟索状ロボットで収録した音響信号の音声強調のために、RPCA（ロバスト主成分分析）をマイクロホンアレイに適用する雑音抑圧法が開示されている。この技術では、まず各チャネルにそれぞれRPCA を適用し、各チャネルの共通成分を抽出するために中央値を取って統合している。【０００４】
また非特許文献３に記載の技術では、雑音の事前情報無しで雑音の低ランク性と音声のスパース性から音声強調を行う。【０００５】
さらに特許文献１（特許第5752324号公報）に記載の技術では、単チャネル音響信号からインパルス性(突発的) 雑音を除去する。この技術は、インパルス性雑音を除去する性能は高いが、一方で想定しない持続的な非定常雑音（低ランク雑音) では性能が劣化する。【０００６】
また特許文献２（特開2009-116275公報）に記載の技術では、単チャネル音響信号から平均二乗誤差最小法(MMSE) に基づいて雑音を抑圧する。MMSE は、雑音の定常性を仮定するため非定常雑音の抑圧では性能が劣化する。【０００７】
特許文献３（特開2014-503849公報）に記載の技術では、雑音源の近くに子機マイクを配置し、本マイクの情報を積極的に利用して音声強調を行う技術が開示されている。本技術では、雑音源の位置が特定されており、また子機マイクをその雑音源近くに配置する必要がある。【０００８】
特許文献４（特開2015-095897公報）には、ビデオ信号に対し低ランク成分とスパース成分を抽出することで、背景映像と移動する物体の映像を分離する技術が開示されている。本手法を音声強調へ応用することは可能であるが、一部のマイクが障害物等で音声を十分録音出来なかったときに性能が大きく劣化する。【０００９】
特許文献５（特開2014-058399公報）に記載の技術では、任意の数の音源信号の混合音を観測した多チャネル音響信号から各音源信号を分離抽出する。本技術では、各マイクロホンの位置および音源位置が固定であると仮定されており、これらが動く場合性能が劣化する。
【先行技術文献】
【非特許文献】
【００１０】
【非特許文献１】高田一真，北村大地，中嶋広明，小山翔一，猿渡洋，小野順貴，牧野昭二，"教師あり多チャネル NMF と統計的音声強調を用いた柔軟索状ロボットにおける音源分離，"日本音響学会 2016年春季研究発表会 （2016年3月9日〜11日），3-3-2
【非特許文献２】坂東宜昭，糸山克寿， 昆陽雅司，田所諭， 中臺一博， 吉井和佳  及び奥乃博「ロバスト主成分分析を用いた動作雑音抑圧に基づく柔軟索状ロボットのための音声強調」第33回日本ロボット学会学術講演会（2015年9月3日〜5日）
【非特許文献３】C. Sun, Q. Zhang, G. Wang, & J. Xie, "Noise reduction based on robust principal component analysis," Journal of Computational Information Systems, vol. 10, no. 10, pp. 4403-4410, 2014
【特許文献】
【００１１】
【特許文献１】特許第5752324号公報
【特許文献２】特開2009-116275公報
【特許文献３】特開2014-503849公報
【特許文献４】特開2015-095897公報
【特許文献５】特開2014-058399公報
【発明の概要】
【発明が解決しようとする課題】
【００１２】
しかしながら、非特許文献１に示された技術では、雑音を抑圧し音声を強調するには事前に雑音の音色情報の収録が不可欠であり、雑音がシステムの使用環境に依存して変化する場合などでは使用が困難だった。【００１３】
また非特許文献２に示された技術では、多チャネル音響信号から雑音の低ランク性と音声のスパース性を用いて目的音声を強調する。本技術では、各チャネルの振幅スペクトログラムに対し個別にロバスト主成分分析を用いて低ランク成分とスパース成分の分離を行い、その後マイクロホンごとのスパース成分について各時間周波数点で中央値を選択して音声を強調していた。本技術では、複数のマイクロホンが中央値で全マイクの信号を統合するため、一部のマイクが障害物等で音声を十分録音出来なかったときに性能が大きく劣化する問題があった。【００１４】
また非特許文献３に示された従来の技術では、実数値行列の解析に特化しており、音響信号の振幅スペクトログラムである非負値行列の解析には不向きで、音響信号処理のための多チャネル拡張や信頼度推定機能の実現が困難だった。【００１５】
従来、多チャネルのマイクロホンにより音声を集音した場合に、一部のマイクロホンが障害物等で音声を十分大きな音量で収録できない場合でも頑健に音声を強調できる技術は提案されていない。例えば、瓦礫の狭い隙間に侵入し被災者を捜索する柔軟索状レスキューロボットでは、自身の動作雑音により被災者の声を聞き取りづらくなる問題があった。【００１６】
本発明の目的は、事前情報を用いずに雑音が含まれる音響信号から目的音響信号を高い精度で復元することができる音声信号復元システム及び方法を提供することにある。
【課題を解決するための手段】
【００１７】
本発明は、Ｍ本（Ｍは２以上の整数）のマイクロホンによって採取したＭチャネルの音響信号に含まれる目的音響信号を復元する目的音響信号復元システムを対象として、時間周波数解析部と、振幅成分抽出部と、共通スパース成分推定部と、位相復元部と、目的音響信号復元部とを備えている。時間周波数解析部は、Ｍ本のマイクロホンによって採取したＭチャネルの音響信号を時間周波数解析してＭチャネルの複素スペクトログラムを得る。振幅成分抽出部は、Ｍチャネルの複素スペクトログラムからＭチャネルの振幅スペクトログラムを抽出する。共通スパース成分推定部は、Ｍチャネルの振幅スペクトログラムを入力として、Ｍチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース周波数成分を含む共通スパース成分を推定する。ここで「Ｍチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラム」の代表的な例としては、Ｍ本のマイクロホンのうち例えば２本のマイクロホンが音響信号を殆ど採取していなかったとすると、この２本のマイクロホンからの音響信号から得た２チャネルの振幅スペクトログラムは、「最も多くのチャネルの振幅スペクトログラム」には含まれない。そして残りのＭ−２本のマイクロホンが採取した音響信号から得たＭ−２チャネルの音響信号から得たＭ−２チャネルの振幅スペクトログラムが「最も多くのチャネルの振幅スペクトログラム」になる。位相復元部では、共通スパース成分の位相を復元して目的音響複素スペクトログラムとする。位相は、Ｍチャネルの振幅スペクトログラム、共通スパース成分等から推定すればよく、位相を求める方法は任意である。そして目的音響信号変換部は、目的音響複素スペクトログラムを時間信号である目的音響信号に変換する。【００１８】
本発明において、共通スパース成分推定部では、「各チャネルの音響信号が低ランク成分とチャネル間共通の共通スパース成分に分解される」と仮定して共通スパース成分を推定し、この共通スパース成分の位相を復元し、且つ復元した目的音響複素スペクトログラムを目的音響信号に変換することにより、雑音抑圧を行う。そして共通スパース成分は、共通スパース成分に含まれている各チャネルのスパース成分の含有比率（本願明細書では、この含有比率を「音量」ということがある。）のみ違うものとモデル化することにより、この含有比率（音量）の推定により目的音響信号を十分に収録できないマイクロホンが存在しても頑強な目的音響信号強調を実現する。【００１９】
具体的に、本発明では、雑音の事前情報無しで雑音の低ランク性と目的音響信号のスパース性から音声強調を行う。本発明においては、Ｍチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース周波数成分を含む共通スパース成分を推定するため、低ランク成分の影響を極力受けることなく目的音響信号を復元することができる。その結果、復元の精度を従来よりも高くすることができる。【００２０】
本発明では、非負実数値行列である振幅スペクトログラムの解析に特化しており、マイクロホンの配置などのシステムの使用環境に依存せず、マイクロホンアレイの周囲に障害物が多い環境や、事前に雑音に関する情報を得られない場合でも頑健に動作する目的音響信号強調を実現できる。さらに一部のマイクロホンが障害物等で音声を十分大きな音量で収録できない場合でも頑健に目的音響信号を強調できる。例えば、瓦礫の狭い隙間に侵入し被災者を捜索する柔軟索状レスキューロボットでは、自身の動作雑音により被災者の声を聞き取りづらくなる問題があったが、本発明により瓦礫内でも頑健に音声を強調することができる。【００２１】
共通スパース成分推定部は、Ｍチャネルの振幅スペクトログラムからそれぞれ反復推定ｉ−１回目の低ランク成分を除いて得たＭ個のスパース成分を含む残余の総和を、共通スパース成分にＭ個のスパース成分が含まれている含有比率(音量)の総和で除算して得た結果を反復推定ｉ回目の共通スパース成分として推定する。この含有比率は、変分ベイズＥＭ法や逐次変分ベイズEM法等の反復推定法を用いた反復推定の過程で徐々に収束することになる。【００２２】
反復推定法を用いる場合の共通スパース成分推定部は、Ｍチャネルの振幅スペクトログラムに含まれる低ランク成分の比率を演算する低ランク成分比率演算部と、低ランク成分の比率に基づいてＭチャネルの振幅スペクトログラムに含まれるＭ本の低ランク成分を演算する低ランク成分演算部と、Ｍチャネルの振幅スペクトログラムに含まれるスパース成分の比率を演算するスパース成分比率演算部と、スパース成分の比率に基づいてＭチャネルの振幅スペクトログラムに含まれるＭ個のスパース成分を含む残余成分を演算する残余成分演算部と、Ｍ個のスパース成分を含む残余成分と共通スパース成分とに基づいて、共通スパース成分にＭ個のスパース成分が含まれている含有比率をＭ個のスパース成分の音量として演算する音量演算部と、Ｍ個のスパース成分を含む残余成分の総和をＭ個のスパース成分の音量の総和で除算して共通スパース成分を演算する共通スパース成分演算部とを備える。そして低ランク成分比率演算部、低ランク成分演算部、スパース成分比率演算部、残余成分演算部、音量演算部及び共通スパース成分演算部において反復演算を行うことにより共通スパース成分を推定する。このような構成で、反復推定法を用いると、適宜の反復演算を所定回数繰り返すことにより、高い精度で共通スパース成分を推定することができる。【００２３】
共通スパース成分推定部は、例えば、変分ベイズＥＭ法や逐次変分ベイズEM法により共通スパース成分をベイズ推定するベイズ推定器によって構成することができる。ベイズ推定器を用いると、簡単に共通スパース成分を推定することができる。【００２４】
本発明は、コンピュータを用いて、Ｍ本（Ｍは２以上の整数）のマイクロホンによって採取したＭチャネルの音響信号に含まれる目的音響信号を復元する目的音響信号復元方法としても特定することができる。この方法では、Ｍ本のマイクロホンによって採取したＭチャネルの音響信号を時間周波数解析してＭチャネルの複素スペクトログラムを得る時間周波数解析ステップと、Ｍチャネルの複素スペクトログラムからＭチャネルの振幅スペクトログラムを抽出する振幅成分抽出ステップと、Ｍチャネルの振幅スペクトログラムを入力として、前記Ｍチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース時間周波数成分を含む共通スパース成分を推定する共通スパース成分推定ステップと、共通スパース成分の位相を復元して目的音響複素スペクトログラムとする位相復元ステップと、目的音響複素スペクトログラムを時間信号である目的音響信号に変換する目的音響信号変換ステップとがコンピュータで実施される。【００２５】
共通スパース成分推定ステップでは、Ｍチャネルの振幅スペクトログラムからそれぞれ反復推定ｉ−１回目の低ランク成分を除いて得たＭ個のスパース成分を含む残余の総和を、共通スパース成分にＭ個のスパース成分が含まれている含有比率の総和で除算して得た結果を反復推定ｉ回目の共通スパース成分として推定する。【００２６】
共通スパース成分推定ステップは、Ｍチャネルの振幅スペクトログラムに含まれる低ランク成分の比率を演算する低ランク成分比率演算ステップと、低ランク成分の比率に基づいてＭチャネルの振幅スペクトログラムに含まれるＭ個の低ランク成分を演算する低ランク成分演算ステップと、Ｍチャネルの振幅スペクトログラムに含まれるスパース成分の比率を演算するスパース成分比率演算ステップと、スパース成分の比率に基づいてＭチャネルの振幅スペクトログラムに含まれるＭ個のスパース成分を含む残余成分を演算する残余成分演算ステップと、Ｍ個のスパース成分を含む残余成分と共通スパース成分とに基づいて、共通スパース成分にＭ個のスパース成分が含まれている含有比率をＭ個のスパース成分の音量として演算する音量演算ステップと、Ｍ個のスパース成分を含む残余成分の総和を前記Ｍ個のスパース成分の音量の総和で除算して共通スパース成分を演算する共通スパース成分演算ステップとからなる。そして低ランク成分比率演算ステップ、低ランク成分演算ステップ、スパース成分比率演算ステップ、残余成分演算ステップ、音量演算ステップ及び共通スパース成分演算ステップにおいて反復演算を行うことにより共通スパース成分を推定する。【００２７】
本発明は、Ｍ本（Ｍは２以上の整数）のマイクロホンによって採取したＭチャネルの音響信号に含まれる目的音響信号を復元する目的音響信号復元方法を、コンピュータを用いて実現するためにコンピュータ読み取り可能な記憶手段に記憶されたコンピュータプログラムとしても特定することができる。このコンピュータプログラムは、Ｍ本のマイクロホンによって採取したＭチャネルの音響信号を時間周波数解析してＭチャネルの複素スペクトログラムを得る時間周波数解析ステップと、Ｍチャネルの複素スペクトログラムからＭチャネルの振幅スペクトログラムを抽出する振幅成分抽出ステップとＭチャネルの振幅スペクトログラムを入力として、Ｍチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース時間周波数成分を含む共通スパース成分を推定する共通スパース成分推定ステップと、共通スパース成分の位相を復元して目的音響複素スペクトログラムとする位相復元ステップと、目的音響複素スペクトログラムを時間信号である目的音響信号に変換する目的音響信号変換ステップとをコンピュータで実現する。
【図面の簡単な説明】
【００２８】
【図１】本発明の目的音響信号復元システムの実施の形態の一例の構成を示すブロック図である。
【図２】図１の共通スパース成分推定部を、コンピュータを用いて反復推定法により実現する場合に用いるコンピュータプログラムのアルゴリズムを示すフローチャートである。
【図３】マイクロホンアレイを搭載した柔軟索状ロボットの写真である。
【図４】ロボットと音声を再生するスピーカ（音源）の配置条件１と条件２を説明するために用いる図である。
【図５】（Ａ）及び（Ｂ）は、条件１と条件２の配置条件及びSNR 条件での音声強調性能を信号対歪比(SDR)で示す図である。
【図６】多チャネルの振幅スペクトログラムの８チャネル中４チャネルを抜粋した図である。
【図７】８チャネル中４チャネルの低ランク成分Ｌm を抜粋した図である。
【図８】８チャネル中４チャネルの共通スパース成分での音量ｇm を示した図である。
【図９】共通スパース成分を示す図である。
【図１０】MNMF での強調結果を示す図である。
【図１１】Med-RPCA での強調結果を示す図である。
【図１２】RPCA での強調結果を示す図である。
【図１３】共通スパース成分の位相を復元して、目的音響複素スペクトログラムとし、この目的音響複素スペクトログラムを時間信号である目的音響信号に変換した結果を示す図である。
【発明を実施するための形態】
【００２９】
以下図面を参照して本発明の実施の形態を詳細に説明する。
【００３０】
（実施の形態の構成）
図１は、コンピュータまたは複数のプロセッサと複数のメモリを用いて実現される本発明の目的音響信号復元システムの実施の形態の一例の構成を示すブロック図である。本実施の形態では、具体的に、低ランク性雑音により妨害された音声を観測した多チャネル音響信号から、目的音響信号として音声信号を抽出する。そして各マイクロホンが移動し、一部のマイクロホンが障害物により音声を十分大きな音量で観測出来なくても、頑健に音声信号を抽出することを可能にする。本実施の形態の目的音響信号復元システム１は、Ｍ本（Ｍは２以上の整数）のマイクロホンによって採取したＭチャネルの音響信号に含まれる目的音響信号を復元する。
【００３１】
本実施の形態の目的音響信号復元システム１は、コンピュータによってそれぞれ実現されるか、１以上のプロセッサと１以上のメモリを用いてそれぞれ実現される、時間周波数解析部３と、振幅成分抽出部５と、共通スパース成分推定部７と、位相復元部９と、位相成分抽出部１１と、目的音響信号変換部１３とを備えている。時間周波数解析部３は、例えば、非特許文献２「ロバスト主成分分析を用いた動作雑音抑圧に基づく柔軟索状ロボットのための音声強調」に示された柔軟索状ロボットに設けられたＭ本（Ｍは２以上の整数）のマイクロホンによって採取したＭチャネルの音響信号を時間周波数解析してＭチャネルの複素スペクトログラムを得る。振幅成分抽出部５は、Ｍチャネルの複素スペクトログラムからＭチャネルの振幅スペクトログラムを抽出する。共通スパース成分推定部７は、Ｍチャネルの振幅スペクトログラムを入力として、Ｍチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース周波数成分を含む共通スパース成分を推定する。位相復元部９では、共通スパース成分の位相を復元して目的音響複素スペクトログラムとする。本実施の形態では、位相情報を、時間周波数解析部３から位相成分抽出部１１により抽出している。なお位相は、Ｍチャネルの振幅スペクトログラム、共通スパース成分等から推定すればよく、位相を求める方法は任意である。したがって本発明は、位相成分抽出部１１を設けることに限定されるものではない。そして目的音響信号変換部１３は、目的音響複素スペクトログラムを時間信号である目的音響信号に変換する。
【００３２】
本実施の形態では、共通スパース成分推定部７で、反復推定法を用いる。そのため共通スパース成分推定部７は、低ランク成分比率演算部７１と、低ランク成分演算部７２と、スパース成分比率演算部７３と、残余成分演算部７４と、音量演算部７５と、共通スパース成分演算部７６とを備える。低ランク成分比率演算部７１は、Ｍチャネルの振幅スペクトログラムに含まれる低ランク成分の比率を演算する。低ランク成分演算部７２は、低ランク成分の比率に基づいてＭチャネルの振幅スペクトログラムに含まれるＭ個の低ランク成分を演算する。スパース成分比率演算部７３は、Ｍチャネルの振幅スペクトログラムに含まれるスパース成分の比率を演算する。そして残余成分演算部７４は、スパース成分の比率に基づいてＭチャネルの振幅スペクトログラムに含まれるＭ個のスパース成分を含む残余成分を演算する。音量演算部７５は、Ｍ個のスパース成分を含む残余成分と共通スパース成分とに基づいて、共通スパース成分にＭ個のスパース成分が含まれている含有比率をＭ個のスパース成分の音量として演算する。この含有比率は、例えば、変分ベイズＥＭ法や逐次変分ベイズEM法等の反復推定法を用いる際に、反復推定の過程で求める。共通スパース成分演算部７６は、Ｍチャネルの振幅スペクトログラムからそれぞれ反復推定ｉ−１回目の低ランク成分を除いて得たＭ個のスパース成分を含む残余の総和を、共通スパース成分にＭ個のスパース成分が含まれている含有比率の総和で除算して得た結果を反復推定ｉ回目の共通スパース成分として演算する。
【００３３】
そして低ランク成分比率演算部７１、低ランク成分演算部７２、スパース成分比率演算部７３、残余成分演算部７４、音量演算部７５及び共通スパース成分演算部７６において反復演算を行うことにより共通スパース成分を推定する。
【００３４】
本実施の形態では、共通スパース成分推定部７では、「各チャネルの音響信号が低ランク成分とチャネル間共通の共通スパース成分に分解される」と仮定して共通スパース成分を推定し、この共通スパース成分の位相を位相復元部９で復元し、復元した目的音響複素スペクトログラムを目的音響信号変換部１３で変換することにより、雑音抑圧を行う。本実施の形態では、共通スパース成分は、共通スパース成分に含まれている各チャネルのスパース成分の含有比率（音量）のみ違うものとモデル化することにより、この含有比率（音量）の推定により目的音響信号（音声等）を十分に収録できないマイクロホンが存在しても頑強な音声強調を実現する。
【００３５】
具体的に、本発明では、雑音の事前情報無しで雑音の低ランク性と目的音響信号（音声等）のスパース性から目的音響信号（音声等）強調を行う。本発明においては、Ｍチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース周波数成分を含む共通スパース成分を推定するため、低ランク成分の影響を極力受けることなく目的音響信号を復元することができる。その結果、復元の精度を従来よりも高くすることができる。
【００３６】
本実施の形態では、非負実数値行列の解析に特化しており、雑音信号の音色情報を事前に収録しなくても、雑音の低ランク性と音声等の目的音響信号のスパース性から頑健に目的音響信号強調を実現できる。本特徴により、マイクロホンアレイの周囲に障害物が多い環境や、事前に雑音に関する情報を得られない場合でも頑健に動作する目的音響信号（音声等）強調を実現できる。さらに一部のマイクロホンが障害物等で音声を十分大きな音量で収録できない場合でも頑健に目的音響信号（音声等）を強調できる。
【００３７】
（生成モデルの説明）
本実施の形態で採用する生成モデルについて説明する。なお以下の説明では便宜上目的音響信号を音声信号ということがある。この生成モデルで扱う音声強調の問題は以下で定義される。
【００３８】
入力：Ｍチャネルの振幅スペクトログラム
【００３９】
【数１】
2017204226.tif 000003
出力：目的音声の振幅スペクトログラム
【００４０】
【数２】
2017204226.tif 000004
ここで、
【００４１】
【数３】
2017204226.tif 000005
は非負実数値を表す。また、ＦおよびＴはそれぞれ周波数ビン数、時間フレーム数を表す。以下の説明では、チャネルの振幅スペクトログラムのことを音響信号と呼び、ｆおよびｔを周波数ビン、時間フレームのインデックスとする。
【００４２】
本実施の形態では、音声信号Ｓ = [ｓ1，・・・，ｓT ]とそのマイクロホンでの観測Ｙ´m＝［y´m1，・・・，y´mT ]の関係は、周波数非依存時変線形変換であると仮定する。
【００４３】
【数４】
2017204226.tif 000006
ここで、
【００４４】
【数５】
2017204226.tif 000007
は本線形変換の係数（各マイクロホンでの音声の音量：各マイクロホンにおけるスパース成分の含有比率) を表す。本音声伝達モデルを用いて、マイクロホンの観測ｙmt は以下のように分解されると仮定する。
【００４５】
【数６】
2017204226.tif 000008
ここで、Ｌm = [ｌm1，・・・，ｌmT ]およびＳ =[ｓ1，・・・，ｓT]はそれぞれ各マイクロホンに混入した低ランク雑音と、音声を表すスパース成分を表す。本低ランク成分は更にＫ個の基低Ｗm = [ｗm1，・・・，ｗmK]（基低行列) および、各基低の各時刻での音量Ｈm = [ｈm1，・・・，ｈmT ] （アクティベーション行列) の積で表現する。
【００４６】
【数７】
2017204226.tif 000009
以降では、各チャネルの低ランク成分の低ランクらしさ及び、共通スパース成分のスパースらしさをモデル化するためのベイズ生成モデルについて説明する。
【００４７】
（尤度モデル）
本モデルでは入力振幅スペクトログラムの近似誤差をKullback-Leibler (KL) 擬距離を用いて評価する。ベイズ生成モデルではKL 擬距離の最小化は、Poisson 分布尤度の最大化に対応するので、本モデルでは尤度モデルを以下のように定義する。
【００４８】
【数８】
2017204226.tif 000010
ここで、P(x｜k) はパラメータ
【００４９】
【数９】
2017204226.tif 000011
を持つPoisson 分布を表す。（４）式において、ＹmはＭチャネルの振幅スペクトログラムのm番目の振幅スペクトログラム，Ｈmは各基底の各時刻での音量、ＷmはK個の基底、Ｓは共通スパース成分、Ｇｍはスパース成分の各マイクロホンにおける含有比率である。ｓft，ｇmt，ｗmfk，ｈmkt はそれぞれ、Ｓ、Ｇｍ、Ｗm、Ｈmの要素を表し，ｙmft は，観測の複素スペクトログラムを表す。
【００５０】
（低ランク成分の事前分布）
低ランク成分の基底行列とアクティベーション行列の事前分布は、Poisson 分布の共役事前分布であるGamma 分布を用いて定式化する。
【００５１】
【数１０】
2017204226.tif 000012
ここで、G(x｜α，β) はshapeパラメータα およびrate パラメータβを持つガンマ分布を表す。また、
【００５２】
【数１１】
2017204226.tif 000013
および
【００５３】
【数１２】
2017204226.tif 000014
は基底とアクティベーションの超パラメータを表す。本モデルでは、shape パラメータを１以下に設定することで基底とアクティベーション行列をスパースに制限でき、これによって低ランク成分Ｌは低ランク行列に制限される。
【００５４】
（スパース成分の事前分布）
従来法の一つであるBayesian RPCA の生成モデルでは、スパース成分の表現にGaussian 事前分布を置き、その精度パラメータにJeffreys 超事前分布を置くことでスパース成分を表現していた。本実施の形態では、非負値行列である振幅スペクトログラムを表現するためにスパース成分の事前分布にはGamma 分布を置き、Gauss 分布における精度パラメータに対応するGamma 分布のrate パラメータにJeffreys 超事前分布を置くことでスパース成分をモデル化する。
【００５５】
【数１３】
2017204226.tif 000015
ここで、
【００５６】
【数１４】
2017204226.tif 000016
はガンマ分布の超パラメータを表す。提案モデルでは、スパース成分のスパース度をこの超パラメータの値で調節する。
【００５７】
（音量変数の事前分布）
各マイクロホンのスパース成分の音量（含有比率）ｇmtには、Poisson 分布の共役事前分布であるGamma 分布を置く。
【００５８】
【数１５】
2017204226.tif 000017
ここで、αg は各マイクロホンでのスパース成分の音量のばらつきを調整する超パラメータである。
【００５９】
（変分ベイズEM 法によるベイズ推論）
入力多チャネル振幅スペクトログラムが得られたときの本モデルの事後分布を解析的に導出することは困難なので、変分ベイズEM 法により近似推論を行う。以下では
【００６０】
【数１６】
2017204226.tif 000018
を全てのパラメータの集合を表し、q（・）を変分事後分布とする。変分近似では事後分布を以下のように分解近似し、真の事後分布とのKL 擬距離を最小化することで推論を行う。
【００６１】
【数１７】
2017204226.tif 000019
本実施の形態のモデルでは、共役指数分布族上でモデル化されているため、各更新則はJensen の不等式とLagrange 未定乗数法を用いることで容易に導出できる。〈・〉 を確率変数の平均とするとき、各辺分事後分布は以下の更新則を他のパラメータを固定して反復更新することで得られる。
【００６２】
【数１８】
2017204226.tif 000020
ここで、s´mft は低ランク成分の残余を表し、
【００６３】
【数１９】
2017204226.tif 000021
および
【００６４】
【数２０】
2017204226.tif 000022
はそれぞれ低ランク成分が含まれている比率及びスパース成分が含まれている比率を表す。
【００６５】
図２には、図１の共通スパース成分推定部７をコンピュータを用いて反復推定法により実現する場合に用いるコンピュータプログラムのアルゴリズムを示すフローチャートを示してある。図２には、上記（１１）式〜（１８）式までが使用されるステップに、各式の表示を付してある。反復推定の終了条件は、２００回繰り返し、または各推定値のデータＹm，Ｈm、Ｗm、Ｓ、βs，ｇmについて、前回処理時との比較を行い、比較結果が近似になったら終了するものとした。なお図２においても、ＹmはＭチャネルの振幅スペクトログラムのm番目の振幅スペクトログラム，Ｈmは各基底の各時刻での音量、ＷmはK個の基底、Ｓは共通スパース成分、βsはベイズ推定の係数，ｇmはスパース成分の含有比率である。
【００６６】
共通スパース成分演算部７６で行う、Ｍチャネルの振幅スペクトログラムからそれぞれ反復推定ｉ−１回目の低ランク成分を除いて得たＭ個のスパース成分を含む残余の総和の演算は、式（１３）で更新される変分事後分布の平均を計算する上で、式（１３）中の「，」の前の式を用いて実施される。そして残余の総和を、共通スパース成分にＭ個のスパース成分が含まれている含有比率（音量）の総和で除算する演算は、式（１３）で得られる変分事後分布の平均を計算するときに実施される。この結果を、反復推定ｉ回目の共通スパース成分として推定する。含有比率の総和［式（１３）中のΣ（gmt）］は、変分ベイズＥＭ法等の反復推定法を用いる際に、反復推定の過程で徐々に収束することになる。式（１３）中のβsftはベイズ推定の係数である。
【００６７】
図２の場合、終了条件が成立したら位相復元器９に、共通スパース成分Sが与えられ、位相復元器９は式（１９）で目的音響スペクトログラムｓ´ft（出力）を計算する。
【００６８】
【数２１】
2017204226.tif 000023
なお上記式において、ｓft はそれぞれ、Ｓの要素を表し，ｙ′mft は，観測の複素スペクトログラムの要素を表す。
【００６９】
また位相復元部９は、共通スパース成分Sの他に、各基底の各時刻での音量Ｈm、K個の基底Ｗm、スパース成分の含有比率ｇmを含めて目的音響スペクトログラムｓ´ft（出力）を復元してもよい。この場合、位相復元部９は式（２０）で目的音響スペクトログラムSftを計算する。
【００７０】
【数２２】
2017204226.tif 000024
なお上記式において、ｓft，ｇmt，ｗmfk，ｈmkt はそれぞれ、Ｓ、ｇm、Ｗm、Ｈmの要素を表し，ｙ′mft は，観測の複素スペクトログラムの要素を表す。
【００７１】
［評価実験］
駆動機構とマイクロホンアレイを有する柔軟索状ロボットの動作雑音を用いて本実施の形態の音声強調性能を評価した。
【００７２】
（使用した柔軟索状ロボット）
図３に、マイクロホンアレイを搭載した柔軟索状ロボットの写真を示す。本体は、直径３８ｍｍのコルゲートチューブからなり、全長３ｍである。８本のマイクロホンアレイ（Ｍ＝８） をロボット表面に４０ｃｍ間隔で９０度ずつ回転して装着した。両端のマイクロホン間の距離は２．８ｍである。マイクロホンは手元から順番にインデックスｍで区別する(m = 1，・・・，M)。本ロボットは、Namari らのTube-type Active Scope Camera [J. Fukuda, et al. Remote vertical exploration by active scope camera into collapsed buildings. In IEEE/RSJ IROS, pp. 1882-1888, 2014.] と同様、繊毛と振動モータを用いた駆動で前進する。振動モータはロボット内に４０ｃｍ間隔で７個直列に装着されている。
【００７３】
（実験設定）
（録音条件）
柔軟索状ロボットを用いて音声と動作雑音を個別に録音し、ＳＮＲを−２０dB から＋５dB まで５dB 分ずつ変化させて混合し、音声の強調性能を評価した。図４に示すように、ロボットと音声を再生するスピーカ（音源）の配置条件を条件１と条件２のように定めた。
【００７４】
条件１：ロボットは自由空間に配置され、音源はロボットの正面に配置されている。部屋の残響時間(RT60) は750 ms だった。
【００７５】
条件２：ロボットはドアの隙間に配置され、音源はロボットの正面に配置されている。４つのマイクロホンがドアにより音源から遮られている。残響時間(RT60)は990 ms だった。
【００７６】
ロボットを駆動させ、手と振動モータを使って左右にロボット振りながら、60 秒の動作雑音を録音した。目的音である音声は、ノイズを軽減するために、ロボットが静止時のインパルス応答に60 秒の録音音声を畳み込んで作成した。録音音声は男声２種、女声２種の計４種(240 秒) を用いた。これらの録音は８ｃｈ同期、２４ bit 量子化、16 kHz サンプリングで行った。
【００７７】
（比較手法）
実験では、本実施の形態の実施例と、Multi-channel non-negative matrix factorization (MNMF) [D. Kitamura, et al. Efficient multichannel nonnegative matrix factorization exploiting rank-1 spatial model. In IEEE ICASSP, pp. 276-280, 2015. ]及びrobust principal component analysis (RPCA) [C. Sun, et al. Noise reduction based on robust principal component analysis. JCIS, Vol. 10, No. 10, pp.4403-4410, 2014.2] による比較例とを比較した。RPCAは先端のマイクの結果を使用した。更に、全マイクのRPCA の結果を中央値で統合した結果(Med-RPCA) とも比較した。本実施の形態の実施例では、従来法[坂東宜昭ほか.ロバスト主成分分析を用いた動作雑音抑圧に基づく柔軟索状ロボットのための音声強調. In RSJ2015] のオフライン実装となっている。
【００７８】
（評価尺度）
評価尺度には、信号対歪比(SDR) を用いた。信号対歪比(SDR)は総合的な分離精度を表す。
【００７９】
（実験結果）
図５には、条件１と条件２の配置条件及びSNR 条件での音声強調性能を信号対歪比(SDR)で示してある。各配置・SNR 条件での音声強調性能をSDR で示した場合、SDR が高いほど、音声強調性能が良いことを表す。すなわちSNRが高いほど音声が多く含まれていることを意味する。条件では、SNR が0 dB 以下のとき、条件２ではSNR が−15 dB 以上で0 dB 以下のときに本実施の形態（提案法）の実施例では性能が最も高い。これに対して、条件１及び条件２のいずれにおいても、２番目に性能が高いMed-RPCA の比較例では、一部のマイクロホンが隠れている条件２では性能が大きく劣化している。一方、条件２で３番目に性能が高いRPCA は条件２では、Med-RPCA や提案法より性能が低い。これらに比べて、本実施の形態の実施例（提案法）は両方の条件で高い性能を示しており、環境への依存性が低いことがわかる。
【００８０】
図６乃至図１３には、本実施の形態の実施例（提案法）による音声強調結果および、従来法による強調結果を波形で示す。これらの波形をみれば、本実施の形態の実施例が、最も雑音を抑圧し、音声を強調できていることがわかる。図６は、多チャネルの振幅スペクトログラムＹm(m = 1，・・・，8)の８チャネル中４チャネルを抜粋したものである。図７は、８チャネル中４チャネルの低ランク成分Ｌm を抜粋したものである。図８は、 ８チャネル中４チャネルの共通スパース成分での音量ｇm を示したものである。図９は、 共通スパース成分を示したものである。そして図１０は、MNMF での強調結果を示しており、図１１はMed-RPCA での強調結果を示しており、図１２はRPCA での強調結果を示している。そして図１３は、共通スパース成分の位相を復元して、目的音響複素スペクトログラムとし、この目的音響複素スペクトログラムを時間信号である目的音響信号に変換した結果を示している。
【産業上の利用可能性】
【００８１】
本発明では、雑音の事前情報無しで雑音の低ランク性と目的音響信号のスパース性から音声強調を行うため、Ｍチャネルの振幅スペクトログラムのうち最も多くのチャネルの振幅スペクトログラムに共通に含まれている可能性が高いスパース周波数成分を含む共通スパース成分を推定する。そして共通スパース成分の位相を復元し、且つ復元した目的音響複素スペクトログラムを目的音響信号に変換することにより、雑音抑圧を行う、そのため低ランク成分の影響を極力受けることなく目的音響信号を復元することができ、復元の精度を従来よりも高くすることができる。
【符号の説明】
【００８２】
１  目的音響信号復元システム
３  時間周波数解析部
５  振幅成分抽出部
７  共通スパース成分推定部
９  位相復元部
１１  位相成分抽出部
１３  目的音響信号変換部
７１  低ランク成分比率演算部
７２  低ランク成分演算部
７３  スパース成分比率演算部
７４  残余成分演算部
７５  音量演算部
７６  共通スパース成分演算部
【図１】
2017204226.tif 000025
【図２】
2017204226.tif 000026
【図３】
2017204226.tif 000027
【図４】
2017204226.tif 000028
【図５】
2017204226.tif 000029
【図６】
2017204226.tif 000030
【図７】
2017204226.tif 000031
【図８】
2017204226.tif 000032
【図９】
2017204226.tif 000033
【図１０】
2017204226.tif 000034
【図１１】
2017204226.tif 000035
【図１２】
2017204226.tif 000036
【図１３】
2017204226.tif 000037
【国際調査報告】
2017204226.tif 000038
2017204226.tif 000039
2017204226.tif 000040
2017204226.tif 000041