(57)【要約】  本技術は、より低い計算コストで音源を分離することができるようにする音源分離装置および方法、並びにプログラムに関する。通信部は、マイクアレイが音源からの音声の平面波を収音することで得られた収音信号の空間周波数スペクトルを受信し、空間周波数マスク生成部は、その空間周波数スペクトルに基づいて、空間周波数領域における所定領域の成分をマスクする空間周波数マスクを生成する。音源分離部は、空間周波数マスクに基づいて、空間周波数スペクトルから所望音源の成分を抽出し、推定音源スペクトルとする。本技術は空間周波数音源分離器に適用することができる。
2016152511.tif 000002
【特許請求の範囲】
【請求項１】
マイクアレイにより収音して得られたマルチチャネルの音声信号の空間周波数スペクトルを取得する取得部と、
前記空間周波数スペクトルに基づいて、空間周波数領域における所定領域の成分をマスクする空間周波数マスクを生成する空間周波数マスク生成部と、
前記空間周波数マスクに基づいて、前記空間周波数スペクトルから所望音源の成分を推定音源スペクトルとして抽出する音源分離部と
を備える音源分離装置。
【請求項２】
前記空間周波数マスク生成部は、ブラインド音源分離により前記空間周波数マスクを生成する
請求項１に記載の音源分離装置。
【請求項３】
前記空間周波数マスク生成部は、非負値行列分解を利用した前記ブラインド音源分離により前記空間周波数マスクを生成する
請求項２に記載の音源分離装置。
【請求項４】
前記空間周波数マスク生成部は、前記所望音源に関する情報を用いた音源分離により前記空間周波数マスクを生成する
請求項１に記載の音源分離装置。
【請求項５】
前記所望音源に関する情報は、前記所望音源の方向を示す情報である
請求項４に記載の音源分離装置。
【請求項６】
前記空間周波数マスク生成部は、適応ビームフォーマにより前記空間周波数マスクを生成する
請求項５に記載の音源分離装置。
【請求項７】
前記推定音源スペクトルに基づいて、前記音声信号に基づく音声を再生するための空間周波数領域の駆動信号を生成する駆動信号生成部と、
前記駆動信号を空間周波数合成して時間周波数スペクトルを算出する空間周波数合成部と、
前記時間周波数スペクトルを時間周波数合成して、スピーカアレイにより前記音声を再生するためのスピーカ駆動信号を生成する時間周波数合成部と
をさらに備える請求項１に記載の音源分離装置。
【請求項８】
マイクアレイにより収音して得られたマルチチャネルの音声信号の空間周波数スペクトルを取得し、
前記空間周波数スペクトルに基づいて、空間周波数領域における所定領域の成分をマスクする空間周波数マスクを生成し、
前記空間周波数マスクに基づいて、前記空間周波数スペクトルから所望音源の成分を推定音源スペクトルとして抽出する
ステップを含む音源分離方法。
【請求項９】
マイクアレイにより収音して得られたマルチチャネルの音声信号の空間周波数スペクトルを取得し、
前記空間周波数スペクトルに基づいて、空間周波数領域における所定領域の成分をマスクする空間周波数マスクを生成し、
前記空間周波数マスクに基づいて、前記空間周波数スペクトルから所望音源の成分を推定音源スペクトルとして抽出する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は音源分離装置および方法、並びにプログラムに関し、特に、より低い計算コストで音源を分離することができるようにした音源分離装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、収音空間において音声の波面を複数個のマイクロフォンからなるマイクアレイで収音し、得られたマルチチャネルの音声信号に基づいて、複数個のスピーカからなるスピーカアレイにより音声を再生する波面合成技術が知られている。音声を再生する際には、必要に応じて所望音源からの音声のみが再生されるように、音源分離が行われる。【０００３】
例えば音源分離の技術として、マイクロフォン間、つまりチャネル間の相関を示す要素からなるマイク間相関行列の逆行列を用いて時間周波数マスクを推定する、最小分散ビームフォーマやマルチチャネルNMF（Nonnegative Matrix Factorization）（非負値行列分解）などが知られている（例えば、非特許文献１および非特許文献２参照）。【０００４】
このような音源分離技術を利用すれば、時間周波数マスクを用いて所望音源からの音声のみを抽出し、再生することができる。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】Hiroshi Sawada, Hirokazu Kameoka, Shoko Araki, Naonori Ueda, “Multichannel Extensions of Non-Negative Matrix Factorization With Complex-Valued Data,” IEEE Transactions on Audio, Speech & Language Processing 21(5): 971-982 (2013)
【非特許文献２】Joonas Nikunen, Tuomas Virtanen, “Direction of Arrival Based Spatial Covariance Model for Blind Sound Source Separation,” IEEE/ACM Transactions on Audio, Speech & Language Processing 22(3): 727-739 (2014)
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、上述した技術では、マイクアレイを構成するマイクロフォンの数（マイク数）が増加すると、マイク間相関行列の逆行列の計算コストが高くなってくる。【０００７】
従来のマルチチャネルの音声信号の音源分離では、マイク数Nmicが2乃至16個程度である場合が対象とされている。そのため、マイク数Nmicが32個以上となる大規模なマイクアレイで観測されるマルチチャネルの音声信号について、音源分離の最適化計算を行うことは莫大な計算コストがかかってしまう。【０００８】
例えば、非特許文献１に記載のマルチチャネルNMFを用いた手法では、マイク間相関行列の逆行列の計算にかかるコストO(Nmic3)が最適化計算のボトルネックとなっている。具体的には、例えばマイク数Nmic＝32のときの最適化の計算時間は、マイク数Nmic＝2のときの計算時間の212（＝(25)3/23）倍となる。【０００９】
本技術は、このような状況に鑑みてなされたものであり、より低い計算コストで音源を分離することができるようにするものである。
【課題を解決するための手段】
【００１０】
本技術の一側面の音源分離装置は、マイクアレイにより収音して得られたマルチチャネルの音声信号の空間周波数スペクトルを取得する取得部と、前記空間周波数スペクトルに基づいて、空間周波数領域における所定領域の成分をマスクする空間周波数マスクを生成する空間周波数マスク生成部と、前記空間周波数マスクに基づいて、前記空間周波数スペクトルから所望音源の成分を推定音源スペクトルとして抽出する音源分離部とを備える。【００１１】
前記空間周波数マスク生成部には、ブラインド音源分離により前記空間周波数マスクを生成させることができる。【００１２】
前記空間周波数マスク生成部には、非負値行列分解を利用した前記ブラインド音源分離により前記空間周波数マスクを生成させることができる。【００１３】
前記空間周波数マスク生成部には、前記所望音源に関する情報を用いた音源分離により前記空間周波数マスクを生成させることができる。【００１４】
前記所望音源に関する情報を、前記所望音源の方向を示す情報とすることができる。【００１５】
前記空間周波数マスク生成部には、適応ビームフォーマにより前記空間周波数マスクを生成させることができる。【００１６】
音源分離装置には、前記推定音源スペクトルに基づいて、前記音声信号に基づく音声を再生するための空間周波数領域の駆動信号を生成する駆動信号生成部と、前記駆動信号を空間周波数合成して時間周波数スペクトルを算出する空間周波数合成部と、前記時間周波数スペクトルを時間周波数合成して、スピーカアレイにより前記音声を再生するためのスピーカ駆動信号を生成する時間周波数合成部とをさらに設けることができる。【００１７】
本技術の一側面の音源分離方法またはプログラムは、マイクアレイにより収音して得られたマルチチャネルの音声信号の空間周波数スペクトルを取得し、前記空間周波数スペクトルに基づいて、空間周波数領域における所定領域の成分をマスクする空間周波数マスクを生成し、前記空間周波数マスクに基づいて、前記空間周波数スペクトルから所望音源の成分を推定音源スペクトルとして抽出するステップを含む。【００１８】
本技術の一側面においては、マイクアレイにより収音して得られたマルチチャネルの音声信号の空間周波数スペクトルが取得され、前記空間周波数スペクトルに基づいて、空間周波数領域における所定領域の成分をマスクする空間周波数マスクが生成され、前記空間周波数マスクに基づいて、前記空間周波数スペクトルから所望音源の成分が推定音源スペクトルとして抽出される。
【発明の効果】
【００１９】
本技術の一側面によれば、より低い計算コストで音源を分離することができる。【００２０】
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載された何れかの効果であってもよい。
【図面の簡単な説明】
【００２１】
【図１】本技術の概要について説明する図である。
【図２】空間周波数マスクについて説明する図である。
【図３】空間周波数音源分離器の構成例を示す図である。
【図４】音場再現処理を説明するフローチャートである。
【図５】空間周波数音源分離器の構成例を示す図である。
【図６】音場再現処理を説明するフローチャートである。
【図７】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２２】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２３】
〈第１の実施の形態〉
〈本技術の概要〉
本技術は、複数のマイクロフォンからなるマイクアレイで収音して得られたマルチチャネルの収音信号を、フーリエ基底や球面調和基底などの正規直交基底を用いて空間周波数へ展開し、空間周波数マスクを用いて音源分離を行う音源分離装置に関するものである。
【００２４】
このような本技術は、例えば図１に示すように、収音空間において複数音源からの音声を収音し、それらの複数音源のうちの任意の１または複数の音源のみを抽出する場合に適用することができる。
【００２５】
図１では、収音空間P11の音場が、再生空間P12で再現される。
【００２６】
収音空間P11には、例えば直線状に配置された比較的多い数のマイクロフォンからなる直線マイクアレイ１１が配置されている。
【００２７】
また、収音空間P11には、話者である音源O1乃至音源O3が存在しており、直線マイクアレイ１１は、これらの音源O1乃至音源O3のそれぞれが発した音声である伝搬波S1乃至伝搬波S3を収音する。すなわち、直線マイクアレイ１１では、伝搬波S1乃至伝搬波S3が混合されたマルチチャネルの収音信号が観測される。
【００２８】
このようにして得られたマルチチャネルの収音信号は、空間周波数変換により空間周波数領域の信号へと変換された後、音場再現に重要な時間周波数帯域および空間周波数帯域に優先的にビットを割り振ることで圧縮されて再生空間P12へと伝送される。
【００２９】
また、再生空間P12には、直線状に配置された比較的多い数のスピーカからなる直線スピーカアレイ１２が配置されており、再生された音声を聴取する聴取者U11が存在する。
【００３０】
再生空間P12では、収音空間P11から伝送されてきた空間周波数領域の収音信号を、空間周波数マスクを用いて複数の音源O’1乃至音源O’3の信号に分離し、それらの音源O’1乃至音源O’3のなかから任意に選択された音源の信号に基づいて、音声が再生される。つまり、所望音源のみが選択されて収音空間P11の音場が再現される。
【００３１】
この例では、音源O1に対応する音源O’1が選択されて、その音源O’1の伝搬波S’1が出力される。これにより、聴取者U11は、音源O’1の音声のみを聴取することになる。
【００３２】
なお、ここでは音声を収音するマイクアレイが直線マイクアレイ１１である例について説明したが、マイクアレイは、その他、平面マイクアレイや、球状マイクアレイ、環状マイクアレイなど、複数のマイクロフォンから構成されるものであれば、どのようなものであってもよい。同様に、音声を出力するスピーカアレイが直線スピーカアレイ１２である例について説明したが、その他、スピーカアレイは、平面スピーカアレイ、球状スピーカアレイ、環状スピーカアレイなど、どのようなものであってもよい。
【００３３】
本技術では、空間周波数マスクを用いた音源分離が行われるが、空間周波数マスクは例えば図２に示すように、空間周波数領域における所望の領域の成分、つまり収音空間における所望の方向からの音声成分のみをマスクし、他の成分を除去するものである。なお、図２において縦軸は時間周波数fを示しており、横軸は空間周波数kを示している。また、knyqは空間ナイキスト周波数である。
【００３４】
例えば収音空間P11において、直線マイクアレイ１１により2つの音源からの音声を収音し、その結果得られた収音信号の空間周波数分析を行ったとする。そして、その結果、収音信号の空間スペクトル（角度スペクトル）において、矢印Q11に示すように、直線L11乃至直線L13に示されるスペクトルピークが観測されたとする。
【００３５】
ここで、直線L11に示すスペクトルピークが所望の音源の伝搬波のものであり、直線L12および直線L13に示すスペクトルピークが不要な音源の伝搬波のものであるとする。
【００３６】
この場合、本技術では例えば矢印Q12に示すように、空間周波数領域、つまり空間スペクトルにおいて所望の音源の伝搬波のスペクトルピークが出現するであろう領域のみがマスクされ、マスクされていない他の領域の成分が除去（遮断）される空間周波数マスクが生成される。
【００３７】
矢印Q12に示す例では、直線L21が空間周波数マスクを表しており、この空間周波数マスクは、所望の音源の伝搬波に相当する成分を表している。収音空間における音源と直線マイクアレイ１１との位置関係、つまり音源から直線マイクアレイ１１への伝搬波の到来方向に応じて、空間スペクトルにおけるマスクすべき領域が定まる。
【００３８】
このような空間周波数マスクを、空間周波数分析により得られた収音信号の空間周波数スペクトルに乗じると、直線L21上の成分のみが抽出されて、矢印Q13に示す空間スペクトルが得られるようになる。つまり、所望の音源からの音声成分のみが抽出される。この例では、直線L12および直線L13に示すスペクトルピークに対応する成分が除去されて、直線L11に示すスペクトルピークに対応する成分のみが抽出されている。
【００３９】
例えば、マイク間相関行列の逆行列を用いて、空間周波数マスクではなく時間周波数マスクを推定するような音源分離が知られているが、そのような音源分離では、マイクアレイのマイク数が多くなるほど、時間周波数マスクの計算コストが高くなってしまう。
【００４０】
これに対して、本技術のように、フーリエ基底などの正規直交行列を用いて収音信号の空間周波数変換を行なえば、マイク間相関行列の対角化が行われて非対角成分が零に近づくため、その逆行列が三重対角逆行列や対角逆行列として簡略的に計算されることになる。したがって、本技術によれば、音源の分離性能を損なうことなく大幅な計算量の削減を見込むことができる。つまり、本技術によれば、より低い計算コストで音源を分離することができる。
【００４１】
〈空間周波数音源分離器の構成例〉
次に、本技術を空間周波数音源分離器に適用した場合を例として、本技術を適用した具体的な実施の形態について説明する。
【００４２】
図３は、本技術を適用した空間周波数音源分離器の一実施の形態の構成例を示す図である。
【００４３】
空間周波数音源分離器４１は、送信器５１および受信器５２を有している。この例では、例えば送信器５１が音場を収音する収音空間に配置され、受信器５２が収音空間で収音された音場を再現する再生空間に配置される。
【００４４】
送信器５１は、音場を収音し、収音により得られたマルチチャネルの音声信号である収音信号から空間周波数スペクトルを生成して受信器５２に送信する。受信器５２は、送信器５１から送信されてきた空間周波数スペクトルを受信してスピーカ駆動信号を生成するとともに、得られたスピーカ駆動信号に基づいて音場を再現する。
【００４５】
送信器５１は、マイクアレイ６１、時間周波数分析部６２、空間周波数分析部６３、および通信部６４を有している。また、受信器５２は、通信部６５、音源分離部６６、駆動信号生成部６７、空間周波数合成部６８、時間周波数合成部６９、およびスピーカアレイ７０を有している。
【００４６】
マイクアレイ６１は、例えば直線状に配置された複数のマイクロフォンからなる直線マイクアレイなどからなり、到来した音声の平面波を収音し、その結果各マイクロフォンで得られた収音信号を時間周波数分析部６２に供給する。
【００４７】
時間周波数分析部６２は、マイクアレイ６１から供給された収音信号に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルを空間周波数分析部６３に供給する。空間周波数分析部６３は、時間周波数分析部６２から供給された時間周波数スペクトルに対して空間周波数変換を行い、その結果得られた空間周波数スペクトルを通信部６４に供給する。
【００４８】
通信部６４は空間周波数分析部６３から供給された空間周波数スペクトルを、有線または無線により受信器５２の通信部６５に送信する。
【００４９】
また、受信器５２の通信部６５は、通信部６４から送信されてきた空間周波数スペクトルを受信して音源分離部６６に供給する。
【００５０】
音源分離部６６は、ブラインド音源分離により、通信部６５から供給された空間周波数スペクトルから、所望の音源の成分を推定音源スペクトルとして抽出し、駆動信号生成部６７に供給する。
【００５１】
また、音源分離部６６は空間周波数マスク生成部８１を有しており、空間周波数マスク生成部８１は、ブラインド音源分離を行う際に、通信部６５から供給された空間周波数スペクトルに基づいて、非負値行列分解により空間周波数マスクを生成する。音源分離部６６では、このようにして生成された空間周波数マスクが用いられて推定音源スペクトルが抽出される。
【００５２】
駆動信号生成部６７は、音源分離部６６から供給された推定音源スペクトルに基づいて、収音された音場を再現するための空間周波数領域のスピーカ駆動信号を生成し、空間周波数合成部６８に供給する。換言すれば、駆動信号生成部６７では、収音信号に基づく音声を再生するための空間周波数領域のスピーカ駆動信号が生成される。
【００５３】
空間周波数合成部６８は、駆動信号生成部６７から供給されたスピーカ駆動信号の空間周波数合成を行い、その結果得られた時間周波数スペクトルを時間周波数合成部６９に供給する。
【００５４】
時間周波数合成部６９は、空間周波数合成部６８から供給された時間周波数スペクトルの時間周波数合成を行い、その結果得られたスピーカ駆動信号をスピーカアレイ７０に供給する。スピーカアレイ７０は、例えば直線状に配置された複数のスピーカからなる直線スピーカアレイなどからなり、時間周波数合成部６９から供給されたスピーカ駆動信号に基づいて音声を再生する。これにより、収音空間における音場が再現される。
【００５５】
ここで、空間周波数音源分離器４１を構成する各部についてより詳細に説明する。
【００５６】
（時間周波数分析部）
時間周波数分析部６２は、マイクアレイ６１を構成する各マイクロフォンで得られた収音信号s(nmic,t)の時間周波数情報を分析する。
【００５７】
但し、収音信号s(nmic,t)においてnmicはマイクアレイ６１を構成するマイクロフォンを示すマイクインデクスであり、マイクインデクスnmic＝0,…,Nmic-1である。ここで、Nmicはマイクアレイ６１を構成するマイクロフォンの数である。また、収音信号s(nmic,t)においてtは時間を示している。
【００５８】
時間周波数分析部６２は、収音信号s(nmic,t)に対して固定サイズの時間フレーム分割を行って入力フレーム信号sfr(nmic,nfr,l)を得る。そして、時間周波数分析部６２は、次式（１）に示す窓関数wT(nfr)を入力フレーム信号sfr(nmic,nfr,l)に乗算し、窓関数適用信号sw(nmic,nfr,l)を得る。すなわち、以下の式（２）の計算が行われて窓関数適用信号sw(nmic,nfr,l)が算出される。
【００５９】
【数１】
2016152511.tif 000003
【００６０】
【数２】
2016152511.tif 000004
【００６１】
ここで、式（１）および式（２）において、nfrは時間フレーム内のサンプルを示す時間インデクスを示しており、時間インデクスnfr＝0,…,Nfr-1である。また、lは時間フレームインデクスを示しており、時間フレームインデクスl＝0,…,L-1である。なお、Nfrはフレームサイズ（時間フレームのサンプル数）であり、Lは総フレーム数である。
【００６２】
また、フレームサイズNfrは、時間サンプリング周波数fsT[Hz]における１フレームの時間Tfr[s]相当のサンプル数Nfr（＝R(fsT×Tfr)、但しR()は任意の丸め関数）である。この実施の形態では、例えば１フレームの時間Tfr＝1.0[s]であり、丸め関数R()は四捨五入であるが、それ以外でも構わない。さらに、フレームのシフト量はフレームサイズNfrの50％としているが、それ以外でも構わない。
【００６３】
さらに、ここでは窓関数としてハニング窓の平方根を用いているが、ハミング窓やブラックマンハリス窓などのその他の窓を用いるようにしてもよい。
【００６４】
このようにして窓関数適用信号sw(nmic,nfr,l)が得られると、時間周波数分析部６２は、以下の式（３）および式（４）を計算することで、窓関数適用信号sw(nmic,nfr,l)に対して時間周波数変換を行い、時間周波数スペクトルS(nmic,nT,l)を算出する。
【００６５】
【数３】
2016152511.tif 000005
【００６６】
【数４】
2016152511.tif 000006
【００６７】
すなわち、式（３）の計算によりゼロ詰め信号s’w(nmic,mT,l)が求められ、得られたゼロ詰め信号s’w(nmic,mT,l)に基づいて式（４）が計算され、時間周波数スペクトルS(nmic,nT,l)が算出される。
【００６８】
なお、式（３）および式（４）において、MTは時間周波数変換に用いるポイント数を示している。また、nTは時間周波数スペクトルインデクスを示している。ここで、nT＝0,…,NT-1であり、NT＝MT/2+1である。さらに、式（４）においてiは純虚数を示している。
【００６９】
また、この実施の形態では、STFT（Short Time Fourier Transform）（短時間フーリエ変換）による時間周波数変換を行っているが、DCT（Discrete Cosine Transform）（離散コサイン変換）やMDCT（Modified Discrete Cosine Transform）（修正離散コサイン変換）などの他の時間周波数変換を用いてもよい。
【００７０】
さらに、STFTのポイント数MTは、Nfr以上である、Nfrに最も近い2のべき乗の値としているが、それ以外のポイント数MTでも構わない。
【００７１】
時間周波数分析部６２は、以上において説明した処理で得られた時間周波数スペクトルS(nmic,nT,l)を、空間周波数分析部６３に供給する。
【００７２】
（空間周波数分析部）
続いて空間周波数分析部６３は、時間周波数分析部６２から供給された時間周波数スペクトルS(nmic,nT,l)に対して、次式（５）を計算することで空間周波数変換を行い、空間周波数スペクトルS’(nS,nT,l)を算出する。
【００７３】
【数５】
2016152511.tif 000007
【００７４】
なお、式（５）においてMSは空間周波数変換に用いるポイント数を示しており、mS＝0,…,MS-1である。また、S’’(mS,nT,l)は時間周波数スペクトルS(nmic,nT,l)に対してゼロ詰めを行うことにより得られるゼロ詰め時間周波数スペクトルを示しており、iは純虚数を示している。さらに、nSは空間周波数スペクトルインデクスを示している。
【００７５】
この実施の形態では、式（５）の計算によってIDFT（Inverse Discrete Fourier Transform）（逆離散フーリエ変換）による空間周波数変換が行われている。
【００７６】
また、必要であればIDFTのポイント数MSに合わせて適切にゼロ詰めを行ってもよい。この例では、0≦mS≦Nmic-1であるポイントmSについては、ゼロ詰め時間周波数スペクトルS’’(mS,nT,l)＝時間周波数スペクトルS(nmic,nT,l)とされ、Nmic≦mS≦MS-1であるポイントmSについては、ゼロ詰め時間周波数スペクトルS’’(mS,nT,l)＝0とされる。
【００７７】
以上において説明した処理により得られる空間周波数スペクトルS’(nS,nT,l)は、時間フレームlに含まれている時間周波数nTの信号が空間上においてどのような波形となっているかを示している。空間周波数分析部６３は、空間周波数スペクトルS’(nS,nT,l)を通信部６４に供給する。
【００７８】
なお、以下の式（６）乃至式（８）に示すように、空間周波数スペクトル行列をS’nT,lとし、時間周波数スペクトル行列をS’’nT,lとし、フーリエ基底行列をFとすると、上述した式（５）の演算は、式（９）に示すように行列の積で表すことが可能である。
【００７９】
【数６】
2016152511.tif 000008
【００８０】
【数７】
2016152511.tif 000009
【００８１】
【数８】
2016152511.tif 000010
【００８２】
【数９】
2016152511.tif 000011
【００８３】
ここで、空間周波数スペクトル行列S’nT,lは、各空間周波数スペクトルS’(nS,nT,l)を要素としてもつ行列であり、時間周波数スペクトル行列S’’nT,lは各ゼロ詰め時間周波数スペクトルS’’(mS,nT,l)を要素としてもつ行列である。
【００８４】
また、式（９）において、FHはフーリエ基底行列Fのエルミート転置行列を示しており、フーリエ基底行列Fは次式（１０）に示される行列となる。
【００８５】
【数１０】
2016152511.tif 000012
【００８６】
なお、ここでは平面波の基底であるフーリエ基底行列Fを用いたが、マイクアレイ６１のマイクロフォンの配置が球面上への配置である場合には、球面調和基底行列を用いればよい。また、マイクロフォンの配置に合わせて最適な基底を求めて用いてもよい。
【００８７】
（音源分離部）
音源分離部６６には、通信部６５が通信部６４を介して空間周波数分析部６３から取得した空間周波数スペクトルS’(nS,nT,l)が供給される。音源分離部６６では、通信部６５から供給された空間周波数スペクトルS’(nS,nT,l)から空間周波数マスクが推定され、空間周波数スペクトルS’(nS,nT,l)と空間周波数マスクに基づいて所望音源の成分が抽出される。
【００８８】
音源分離部６６ではブラインド音源分離が行われるが、具体的には、例えば非負値行列分解、より詳細には非負値行列分解または非負値テンソル分解を利用したブラインド音源分離を行うことができる。
【００８９】
ここでは、空間周波数スペクトルS’(nS,nT,l)を三次元テンソルとみなし、空間周波数非負値テンソル分解を行って、その三次元テンソルをK個のRank1の三次元テンソルに分解する例について説明する。
【００９０】
Rank1の三次元テンソルは、３種類のベクトルに分解することが可能なため、それらの３種類のベクトルをK個ずつ集めることで、周波数行列T、時間行列V、およびマイク間相関行列Hという３種類の行列が生成される。
【００９１】
空間周波数非負値テンソル分解では、最適化計算によって、これらの周波数行列T、時間行列V、およびマイク間相関行列Hを学習することにより、K個の三次元テンソルへの分解が行われる。
【００９２】
ここで周波数行列Tは、K個のRank1の三次元テンソル、つまりK個の各基底の時間周波数方向に関する特徴を表しており、時間行列Vは、K個のRank1の三次元テンソルの時間方向に関する特徴を表している。また、マイク間相関行列HはK個のRank1の三次元テンソルの空間周波数方向に関する特徴を表している。
【００９３】
K個の三次元テンソルへの分解が行われると、その後、k-means法などのクラスタリング手法により、K個の三次元テンソルを、収音空間に存在する音源の個数分の三次元テンソルにまとめることで、各音源の空間周波数マスクが生成される。
【００９４】
一般的なマルチチャネルNMFについては、例えば「Hiroshi Sawada, Hirokazu Kameoka, Shoko Araki, Naonori Ueda, “Multichannel Extensions of Non-Negative Matrix Factorization With Complex-Valued Data,” IEEE Transactions on Audio, Speech & Language Processing 21(5): 971-982 (2013)」（以下、文献１とも称する）に記載されている。
【００９５】
以下では、文献１に記載されているマルチチャネルNMFと比較しながら、音源分離部６６において行われる音源分離のコスト関数および行列推定の更新式について説明する。
【００９６】
板倉斉藤擬距離を用いたマルチチャネルNMFのコスト関数L(T,V,H)は次式（１１）に示すようになる。
【００９７】
【数１１】
2016152511.tif 000013
【００９８】
なお、式（１１）においてtr()はトレースを示しており、det()はディターミナントを示している。また、Xijは、入力信号の周波数ビンiおよびフレームjにおける時間周波数上のマイク間相関行列である。マイク間相関行列は、マイクアレイを構成するマイクロフォン間、つまりチャネル間の相関を示す要素からなる行列である。
【００９９】
なお、周波数ビンiおよびフレームjは、上述した時間周波数スペクトルインデクスnTおよび時間フレームインデクスlに対応する。
【０１００】
マイク間相関行列Xijを、ゼロ詰め時間周波数スペクトルS’’(mS,nT,l)の行列表現である時間周波数スペクトル行列S’’nT,lを用いて表すと、次式（１２）に示すようになる。
【０１０１】
【数１２】
2016152511.tif 000014
【０１０２】
また、式（１１）におけるX’ijは、マイク間相関行列Xijの推定値である推定マイク間相関行列であり、この推定マイク間相関行列X’ijは次式（１３）により表される。
【０１０３】
【数１３】
2016152511.tif 000015
【０１０４】
式（１３）において、Hikは周波数ビンiおよび基底kにおける推定されたマイク間相関行列Hである推定マイク間相関行列を示しており、tikは周波数ビンiおよび基底kにおける周波数行列Tの推定された要素を示している。また、vkjは基底kおよびフレームjにおける時間行列Vの推定された要素を示している。
【０１０５】
また、マルチチャネルNMFの行列推定のための更新式は以下の式（１４）乃至式（１６）の通りである。
【０１０６】
【数１４】
2016152511.tif 000016
【０１０７】
【数１５】
2016152511.tif 000017
【０１０８】
【数１６】
2016152511.tif 000018
【０１０９】
なお、式（１４）においてtikprevは更新前の要素tikを示しており、式（１５）においてvkjprevは更新前の要素vkjを示しており、式（１６）においてHikprevは更新前の推定マイク間相関行列Hikを示している。
【０１１０】
文献１に記載のマルチチャネルNMFでは、式（１４）乃至式（１６）に示す各更新式により周波数行列T、時間行列V、およびマイク間相関行列Hを更新しながら、式（１１）に示すコスト関数L(T,V,H)の最小化が行われる。
【０１１１】
このようにして周波数行列T、時間行列V、およびマイク間相関行列Hを学習することで、K個の各三次元テンソル、つまりK個の各基底kが１つの音源の特徴を有するテンソルとなる。
【０１１２】
しかし、文献１に記載のマルチチャネルNMFでは、式（１４）乃至式（１６）に示した全ての更新式において、推定マイク間相関行列X’ijの逆行列を計算しなければならない。また、推定マイク間相関行列Hikの更新には、代数的リカッチ方程式の計算が必要とされる。したがって、これらのことから文献１に記載のマルチチャネルNMFでは、音源分離の計算コストが高くなってしまう。つまり、計算量が多くなってしまう。
【０１１３】
一方、音源分離部６６では、音源分離にはフーリエ基底行列Fにより空間周波数変換されたマルチチャネルの収音信号、すなわち上述した式（９）に示した空間周波数スペクトル行列S’nT,lが用いられる。
【０１１４】
この場合、コスト関数L(T,V,H)は次式（１７）に示すようになる。
【０１１５】
【数１７】
2016152511.tif 000019
【０１１６】
なお、式（１７）においてtr()はトレースを示しており、det()はディターミナントを示している。また、T、V、およびHは、それぞれ周波数行列T、時間行列V、およびマイク間相関行列Hを示しており、Xijは収音信号の周波数ビンiおよびフレームjにおける時間周波数上のマイク間相関行列である。ここで、周波数ビンiおよびフレームjは、上述した時間周波数スペクトルインデクスnTおよび時間フレームインデクスlに対応する。
【０１１７】
さらに、式（１７）においてHikは周波数ビンiおよび基底kにおける推定されたマイク間相関行列Hである推定マイク間相関行列を示しており、tikは周波数ビンiおよび基底kにおける周波数行列Tの推定された要素を示している。また、vkjは基底kおよびフレームjにおける時間行列Vの推定された要素を示している。FHはフーリエ基底行列Fのエルミート転置行列である。
【０１１８】
なお、ここでは空間周波数スペクトルS’(nS,nT,l)を三次元テンソルとみなし、K個のRank1の三次元テンソルに分解する例について説明する。そのため、各三次元テンソル、つまり各基底を示すインデクスkはk＝1,2,・・・,Kとなる。
【０１１９】
ここで、上述した式（９）と式（１２）から、空間周波数上における収音信号のマイク間相関行列Aijは、フーリエ基底行列Fと、時間周波数上の収音信号のマイク間相関行列Xijとを用いて次式（１８）に示すように表すことができる。
【０１２０】
【数１８】
2016152511.tif 000020
【０１２１】
同様に、空間周波数上における推定マイク間相関行列Bikは、時間周波数上の推定マイク間相関行列Hikを用いて次式（１９）に示すように表すことができる。
【０１２２】
【数１９】
2016152511.tif 000021
【０１２３】
したがって、これらのマイク間相関行列Aijと推定マイク間相関行列Bikとから、式（１７）に示したコスト関数L(T,V,H)は、以下の式（２０）に示すように表すことができる。なお、式（２０）に示すコスト関数L(T,V,B)では、コスト関数L(T,V,H)のマイク間相関行列Hが、推定マイク間相関行列Bikに対応するマイク間相関行列Bに置き換えられている。
【０１２４】
【数２０】
2016152511.tif 000022
【０１２５】
また、フーリエ基底行列Fにより空間周波数変換されたマルチチャネルの収音信号を用いた場合における、行列推定のための更新式は以下の式（２１）乃至式（２３）の通りである。
【０１２６】
【数２１】
2016152511.tif 000023
【０１２７】
【数２２】
2016152511.tif 000024
【０１２８】
【数２３】
2016152511.tif 000025
【０１２９】
なお、式（２１）においてtikprevは更新前の要素tikを示しており、式（２２）においてvkjprevは更新前の要素vkjを示しており、式（２３）においてBikprevは更新前の推定マイク間相関行列Bikを示している。
【０１３０】
また、式（２１）乃至式（２３）において、A’ijは、マイク間相関行列Aijの推定値である推定マイク間相関行列を示している。
【０１３１】
例えばマイクアレイ６１を構成するマイクロフォンの数であるマイク数Nmicが32以上、つまりNmic≧32の観測点があり、マイク間相関行列Aijおよび推定マイク間相関行列Bikが十分に対角化されていると仮定する。
【０１３２】
そのような場合には、式（２１）乃至式（２３）に示す各更新式が簡略化されて、以下の式（２４）乃至式（２６）に示すように表される。つまり、逆行列の計算が対角成分の除算で近似され、その結果、式（２１）乃至式（２３）が式（２４）乃至式（２６）のように近似される。
【０１３３】
【数２４】
2016152511.tif 000026
【０１３４】
【数２５】
2016152511.tif 000027
【０１３５】
【数２６】
2016152511.tif 000028
【０１３６】
なお、式（２４）乃至式（２６）において、cは空間周波数スペクトルインデクスに相当する、対角要素のインデクスを示している。また、acij、a’cij、およびbcikは、それぞれマイク間相関行列Aij、推定マイク間相関行列A’ij、および推定マイク間相関行列Bikのインデクスcの要素を示している。さらにbcikprevは更新前の要素bcikを示している。
【０１３７】
これらの式（２４）乃至式（２６）に示す更新式の計算では、逆行列の計算や代数的リカッチ方程式の計算が不要であるので計算コストがO(Nmic)となり、計算量を大幅に削減することができる。その結果、より低い計算コストで音源を分離することができるようになる。
【０１３８】
音源分離部６６の空間周波数マスク生成部８１は、式（２４）乃至式（２６）に示す各更新式により周波数行列T、時間行列V、およびマイク間相関行列Bを更新しながら、式（２０）に示すコスト関数L(T,V,B)を最小化する。
【０１３９】
このようにして周波数行列T、時間行列V、およびマイク間相関行列Bを学習することで、K個の各三次元テンソル、つまりK個の各基底kが１つの音源の特徴を有するテンソルとなる。
【０１４０】
さらに、空間周波数マスク生成部８１は、このようにして得られた周波数行列T、時間行列V、およびマイク間相関行列Bを用いてk-means法などによりクラスタリングを行い、各基底kを収音空間にある音源の数のクラスタの何れかに分類する。
【０１４１】
そして、空間周波数マスク生成部８１は、クラスタリングの結果に基づいて、クラスタごと、つまり音源ごとに次式（２７）を計算し、音源の成分を抽出するための空間周波数マスクgcijを算出する。
【０１４２】
【数２７】
2016152511.tif 000029
【０１４３】
なお、式（２７）においてC1は、抽出対象とする音源に対応するクラスタに分類された基底kの要素群を示している。したがって、空間周波数マスクgcijは、抽出対象の音源に対応するクラスタに分類された基底kのbciktikvkjの和を、全基底kについてのbciktikvkjの和で除算することで得られる。
【０１４４】
また、例えば「Joonas Nikunen, Tuomas Virtanen, “Direction of Arrival Based Spatial Covariance Model for Blind Sound Source Separation,” IEEE/ACM Transactions on Audio, Speech & Language Processing 22(3): 727-739 (2014)」（以下、文献２と称する）にもマルチチャネルNMFについて記載されている。
【０１４５】
より具体的には、文献２にはDOA（Direction Of Arrival）カーネルをマイク間相関行列のテンプレートとして用いたマルチチャネルNMFについて記載されている。
【０１４６】
このようなDOAカーネルを用いる場合でも、本技術を適用して空間周波数変換後に音源分離を行うようにすれば、上述した文献１に本技術を適用する場合と同様の効果を得ることができる。
【０１４７】
以下、DOAカーネルを用いる場合における行列推定のための更新式について説明する。但し、文献２ではコスト関数にユークリッド距離を用いているが、ここでは板倉斉藤擬距離を用いた場合の更新式を記すこととする。
【０１４８】
また、周波数ビンiごと、および角度oごとのステアリングベクトル相関行列をWioとして、次式（２８）によりステアリングベクトル相関行列Wioの対角化が行われるとする。
【０１４９】
【数２８】
2016152511.tif 000030
【０１５０】
また、行列Dioの対角成分を、空間周波数スペクトルインデクスに相当する対角要素のインデクスcを用いてdcioと表すとする。
【０１５１】
そのような場合、行列推定のための更新式は以下の式（２９）乃至式（３１）に示すようになる。
【０１５２】
【数２９】
2016152511.tif 000031
【０１５３】
【数３０】
2016152511.tif 000032
【０１５４】
【数３１】
2016152511.tif 000033
【０１５５】
なお、式（２９）乃至式（３１）において、zkoは、基底kの角度oごとの空間周波数DOAカーネル行列の重みを表している。また、式（３１）においてdcioprevは更新前の要素dcioを示している。
【０１５６】
空間周波数マスク生成部８１は、式（２９）乃至式（３１）に示す各更新式により周波数行列T、時間行列V、および行列Dioに対応するステアリングベクトル相関行列Dを更新しながらコスト関数を最小化する。なお、ここで用いられるコスト関数は、式（２０）に示したコスト関数と同様の関数である。
【０１５７】
そして、空間周波数マスク生成部８１は、このようにして得られた周波数行列T、時間行列V、およびステアリングベクトル相関行列Dを用いてk-means法などによりクラスタリングを行い、各基底kを収音空間にある音源の数のクラスタの何れかに分類する。すなわち、各基底kが重みzkoの方向成分に従って分類されるようにクラスタリングが行われる。
【０１５８】
さらに、空間周波数マスク生成部８１は、クラスタリングの結果に基づいて、クラスタごと、つまり音源ごとに次式（３２）を計算し、音源の成分を抽出するための空間周波数マスクgcijを算出する。
【０１５９】
【数３２】
2016152511.tif 000034
【０１６０】
なお、式（３２）においてC1は、抽出対象とする音源に対応するクラスタに分類された基底kの要素群を示している。
【０１６１】
したがって、空間周波数マスクgcijは、抽出対象の音源に対応するクラスタに分類された基底kの各角度のdciozkotikvkjの和を、全基底kについての各角度のdciozkotikvkjの和で除算することで得られる。
【０１６２】
なお、以下では式（２７）および式（３２）に示した空間周波数マスクgcijを、空間周波数スペクトルS’(nS,nT,l)に合わせて、空間周波数マスクG(nS,nT,l)と記すこととする。
【０１６３】
ここで、空間周波数マスクgcijにおける対角要素のインデクスc、周波数ビンi、およびフレームjは、それぞれ空間周波数スペクトルインデクスnS、時間周波数スペクトルインデクスnT、および時間フレームインデクスlに対応している。
【０１６４】
空間周波数マスク生成部８１において空間周波数マスクG(nS,nT,l)が得られると、音源分離部６６は、空間周波数マスクG(nS,nT,l)と空間周波数スペクトルS’(nS,nT,l)とに基づいて、以下の式（３３）を計算し、音源分離を行う。
【０１６５】
【数３３】
2016152511.tif 000035
【０１６６】
すなわち、音源分離部６６は、空間周波数マスクG(nS,nT,l)を空間周波数スペクトルS’(nS,nT,l)に乗算することで、空間周波数マスクG(nS,nT,l)に対応する音源成分のみを抽出し、推定音源スペクトルSSP(nS,nT,l)とする。
【０１６７】
式（２７）や式（３２）で得られる空間周波数マスクG(nS,nT,l)は、図２を参照して説明したように、空間周波数領域における所定領域の成分をマスクし、他の成分を除去する空間周波数マスクである。このような空間周波数マスクG(nS,nT,l)を用いた音源抽出の処理は、ウィナーフィルタを用いたフィルタ処理となる。
【０１６８】
音源分離部６６は、音源分離により得られた推定音源スペクトルSSP(nS,nT,l)を駆動信号生成部６７に供給する。
【０１６９】
以上のように音源分離部６６では、空間周波数上におけるマイク間相関行列においては対角成分に値が集中することが利用され、空間周波数スペクトルに変換されたマルチチャネルの収音信号が用いられて音源分離の最適化計算が行われる。
【０１７０】
この場合、マイク数Nmic≧32であるときには、逆行列の計算を対角成分の除算で近似しても音源の分離性能の劣化が殆どなくなり、音源分離の最適化計算の計算コストもO(Nmic)となるので大幅に処理が高速化される。したがって、音源分離部６６では分離性能を劣化させることなく、より低い計算コストで、より迅速に音源を分離することができるようになる。
【０１７１】
さらに、フーリエ基底（平面波基底）を空間周波数変換に用いる場合、マイクアレイ６１としての直線マイクアレイにて観測される平面波が、空間周波数領域においてインパルスとして観測される。したがって、観測された平面波のよりスパースな表現が行われるので、信号のスパース性を仮定しているマルチチャネルNMFなどの音源分離では、分離精度の向上を見込むことができる。
【０１７２】
（駆動信号生成部）
続いて、駆動信号生成部６７について説明する。
【０１７３】
駆動信号生成部６７は、音源分離部６６から供給された空間周波数スペクトルである推定音源スペクトルSSP(nS,nT,l)から、音場（波面）を再現するための空間周波数領域のスピーカ駆動信号DSP(mS,nT,l)を求める。
【０１７４】
具体的には、駆動信号生成部６７は次式（３４）を計算することで、SDM(Spectral Division Method)により、空間周波数スペクトルであるスピーカ駆動信号DSP(mS,nT,l)を算出する。
【０１７５】
【数３４】
2016152511.tif 000036
【０１７６】
なお、式（３４）においてyrefはSDMの基準距離を示しており、基準距離yrefは波面が正確に再現される位置である。この基準距離yrefはマイクアレイ６１を構成するマイクロフォンが並ぶ方向と垂直な方向の距離となる。例えば、ここでは基準距離yref＝1[m]とされているが、その他の値でもよい。
【０１７７】
さらに、式（３４）においてH0(2)は第二種ハンケル関数を示しており、K0はベッセル関数を示している。また、式（３４）においてiは純虚数を示しており、cは音速を示しており、ωは時間角周波数を示している。
【０１７８】
さらに、式（３４）においてkは空間周波数を示しており、mS、nT、lは、それぞれ空間周波数スペクトルインデクス、時間周波数スペクトルインデクス、時間フレームインデクスを示している。
【０１７９】
なお、ここではSDMによりスピーカ駆動信号DSP(mS,nT,l)を算出する手法を例として説明したが、他の手法によりスピーカ駆動信号が算出されてもよい。また、SDMについては、特に「Jens Adrens, Sascha Spors, “Applying the Ambisonics Approach on Planar and Linear Arrays of Loudspeakers”, in 2nd International Symposium on Ambisonics and Spherical Acoustics」に詳細に記載されている。
【０１８０】
駆動信号生成部６７は、以上のようにして得られたスピーカ駆動信号DSP(mS,nT,l)を空間周波数合成部６８に供給する。
【０１８１】
（空間周波数合成部）
空間周波数合成部６８は、次式（３５）を計算することで、駆動信号生成部６７から供給されたスピーカ駆動信号DSP(mS,nT,l)の空間周波数合成、すなわちスピーカ駆動信号DSP(mS,nT,l)に対する逆空間周波数変換を行い、時間周波数スペクトルD(nspk,nT,l)を算出する。式（３５）では、逆空間周波数変換として、DFT（Discrete Fourier Transform）（離散フーリエ変換）が行われる。
【０１８２】
【数３５】
2016152511.tif 000037
【０１８３】
なお、式（３５）において、nspkはスピーカアレイ７０を構成するスピーカを特定するスピーカインデクスを示している。また、MSはDFTのポイント数を示しており、iは純虚数を示している。
【０１８４】
空間周波数合成部６８は、このようにして得られた時間周波数スペクトルD(nspk,nT,l)を時間周波数合成部６９に供給する。
【０１８５】
（時間周波数合成部）
時間周波数合成部６９は、次式（３６）の計算を行うことで、空間周波数合成部６８から供給された時間周波数スペクトルD(nspk,nT,l)の時間周波数合成を行い、出力フレーム信号dfr(nspk,nfr,l)を得る。ここでは、時間周波数合成として、ISTFT（Inverse Short Time Fourier Transform）（短時間逆フーリエ変換）が用いられているが、時間周波数分析部６２で行われる時間周波数変換（順変換）の逆変換に相当するものを用いればよい。
【０１８６】
【数３６】
2016152511.tif 000038
【０１８７】
なお、式（３６）におけるD’(nspk,mT,l)は、次式（３７）により得られるものである。
【０１８８】
【数３７】
2016152511.tif 000039
【０１８９】
式（３６）においてiは純虚数を示しており、nfrは時間インデクスを示している。また、式（３６）および式（３７）において、MTはISTFTのポイント数を示しており、nspkはスピーカインデクスを示している。
【０１９０】
さらに、時間周波数合成部６９は、得られた出力フレーム信号dfr(nspk,nfr,l)に、窓関数wT(nfr)を乗算し、オーバーラップ加算を行うことでフレーム合成を行う。例えば、次式（３８）の計算によりフレーム合成が行われて、出力信号d(nspk,t)が求められる。
【０１９１】
【数３８】
2016152511.tif 000040
【０１９２】
なお、ここでは、出力フレーム信号dfr(nspk,nfr,l)に乗算する窓関数wT(nfr)として、時間周波数分析部６２で用いた窓関数と同じものを用いているが、ハミング窓などのその他の窓の場合は矩形窓で構わない。
【０１９３】
また、式（３８）において、dprev(nspk,nfr+lNfr)およびdcurr(nspk,nfr+lNfr)は、どちらも出力信号d(nspk,t)を示しているが、dprev(nspk,nfr+lNfr)は更新前の値を示し、dcurr(nspk,nfr+lNfr)は更新後の値を示している。
【０１９４】
時間周波数合成部６９は、このようにして得られた出力信号d(nspk,t)を、スピーカ駆動信号としてスピーカアレイ７０に供給する。
【０１９５】
〈音場再現処理の説明〉
次に、以上において説明した空間周波数音源分離器４１により行われる処理の流れについて説明する。空間周波数音源分離器４１は、収音空間における音声の平面波の収音が指示されると、その平面波の収音を行って音場を再現する音場再現処理を行う。
【０１９６】
以下、図４のフローチャートを参照して空間周波数音源分離器４１による音場再現処理について説明する。
【０１９７】
ステップＳ１１において、マイクアレイ６１は収音空間において音声の平面波を収音し、その結果得られたマルチチャネルの音声信号である収音信号s(nmic,t)を時間周波数分析部６２に供給する。
【０１９８】
ステップＳ１２において、時間周波数分析部６２はマイクアレイ６１から供給された収音信号s(nmic,t)の時間周波数情報を分析する。
【０１９９】
具体的には、時間周波数分析部６２は収音信号s(nmic,t)に対して時間フレーム分割を行い、その結果得られた入力フレーム信号sfr(nmic,nfr,l)に窓関数wT(nfr)を乗算し、窓関数適用信号sw(nmic,nfr,l)を算出する。
【０２００】
また、時間周波数分析部６２は、窓関数適用信号sw(nmic,nfr,l)に対して時間周波数変換を行い、その結果得られた時間周波数スペクトルS(nmic,nT,l)を空間周波数分析部６３に供給する。すなわち、式（４）の計算が行われて時間周波数スペクトルS(nmic,nT,l)が算出される。
【０２０１】
ステップＳ１３において、空間周波数分析部６３は、時間周波数分析部６２から供給された時間周波数スペクトルS(nmic,nT,l)に対して空間周波数変換を行い、その結果得られた空間周波数スペクトルS’(nS,nT,l)を通信部６４に供給する。
【０２０２】
具体的には、空間周波数分析部６３は式（５）を計算することで、時間周波数スペクトルS(nmic,nT,l)を空間周波数スペクトルS’(nS,nT,l)に変換する。
【０２０３】
ステップＳ１４において、通信部６４は、空間周波数分析部６３から供給された空間周波数スペクトルS’(nS,nT,l)を、無線通信により再生空間に配置された受信器５２に送信する。そして、ステップＳ１５において、受信器５２の通信部６５は、無線通信により送信されてきた空間周波数スペクトルS’(nS,nT,l)を受信し、音源分離部６６に供給する。すなわち、ステップＳ１５では、通信部６５により送信器５１から空間周波数スペクトルS’(nS,nT,l)が取得される。
【０２０４】
ステップＳ１６において、音源分離部６６の空間周波数マスク生成部８１は、通信部６５から供給された空間周波数スペクトルS’(nS,nT,l)に基づいて、ブラインド音源分離により空間周波数マスクG(nS,nT,l)を生成する。
【０２０５】
例えば空間周波数マスク生成部８１は、上述した式（２４）乃至式（２６）、または式（２９）乃至式（３１）に示される更新式により各行列を更新しながら、式（２０）等に示したコスト関数を最小化する。そして、空間周波数マスク生成部８１は、コスト関数の最小化により得られた行列に基づいてクラスタリングを行い、式（２７）または式（３２）に示した空間周波数マスクG(nS,nT,l)を得る。
【０２０６】
なお、ここでは、上述した文献１または文献２に本技術を適用して、ブラインド音源分離として、空間周波数領域における非負値行列分解（非負値テンソル分解）を行うことで空間周波数マスクG(nS,nT,l)を算出する例について説明した。しかし、空間周波数領域で空間周波数マスクを算出する処理であれば、他のどのような処理であってもよい。
【０２０７】
ステップＳ１７において、音源分離部６６は、通信部６５から供給された空間周波数スペクトルS’(nS,nT,l)と、空間周波数マスクG(nS,nT,l)とに基づいて音源を抽出し、その結果得られた推定音源スペクトルSSP(nS,nT,l)を駆動信号生成部６７に供給する。
【０２０８】
例えばステップＳ１７では、式（３３）の計算が行われて、空間周波数スペクトルS’(nS,nT,l)から所望音源の成分が抽出され、推定音源スペクトルSSP(nS,nT,l)とされる。
【０２０９】
なお、ステップＳ１７において音源ごとに生成された空間周波数マスクG(nS,nT,l)のうち、どの音源の空間周波数マスクG(nS,nT,l)が用いられるかは、ユーザ等により指定されるようにしてもよいし、予め定められているようにしてもよい。また、空間周波数スペクトルS’(nS,nT,l)からは、１つの音源の成分が抽出されるようにしてもよいし、複数の音源の成分が抽出されるようにしてもよい。
【０２１０】
ステップＳ１８において、駆動信号生成部６７は、音源分離部６６から供給された推定音源スペクトルSSP(nS,nT,l)に基づいて空間周波数領域のスピーカ駆動信号DSP(mS,nT,l)を算出し、空間周波数合成部６８に供給する。例えば駆動信号生成部６７は、式（３４）を計算することで、空間周波数領域のスピーカ駆動信号DSP(mS,nT,l)を算出する。
【０２１１】
ステップＳ１９において、空間周波数合成部６８は、駆動信号生成部６７から供給されたスピーカ駆動信号DSP(mS,nT,l)に対して逆空間周波数変換を行い、その結果得られた時間周波数スペクトルD(nspk,nT,l)を時間周波数合成部６９に供給する。例えば空間周波数合成部６８は、式（３５）を計算することで逆空間周波数変換を行う。
【０２１２】
ステップＳ２０において、時間周波数合成部６９は、空間周波数合成部６８から供給された時間周波数スペクトルD(nspk,nT,l)の時間周波数合成を行う。
【０２１３】
具体的には、時間周波数合成部６９は式（３６）の計算を行って、時間周波数スペクトルD(nspk,nT,l)から出力フレーム信号dfr(nspk,nfr,l)を算出する。さらに時間周波数合成部６９は、出力フレーム信号dfr(nspk,nfr,l)に窓関数wT(nfr)を乗算して式（３８）の計算を行い、フレーム合成により出力信号d(nspk,t)を算出する。
【０２１４】
時間周波数合成部６９は、このようにして得られた出力信号d(nspk,t)を、スピーカ駆動信号としてスピーカアレイ７０に供給する。
【０２１５】
ステップＳ２１において、スピーカアレイ７０は、時間周波数合成部６９から供給されたスピーカ駆動信号に基づいて音声を再生し、音場再現処理は終了する。このようにしてスピーカ駆動信号に基づいて音声が再生されると、再生空間において収音空間の音場が再現される。
【０２１６】
以上のようにして空間周波数音源分離器４１は、空間周波数スペクトルに対するブラインド音源分離により空間周波数マスクを生成するとともに、その空間周波数マスクを用いて空間周波数スペクトルから所望の音源の成分を抽出する。
【０２１７】
このように空間周波数スペクトルに対するブラインド音源分離により空間周波数マスクを生成することで、より低コストで任意の音源を分離することができる。
【０２１８】
〈第２の実施の形態〉
〈空間周波数音源分離器の構成例〉
なお、以上においては、音源分離部６６においてブラインド音源分離により空間周波数マスクを生成する例について説明したが、収音空間にある抽出対象の所望音源に関する情報が供給される場合には、その所望音源に関する情報を用いた音源分離が行われるようにしてもよい。ここで、所望音源に関する情報としては、例えば収音空間における抽出対象となる音源のある方向、すなわち抽出対象の音源からの伝搬波の到来方向を示す目的方向情報などが考えられる。
【０２１９】
そのような場合、空間周波数音源分離器４１は、例えば図５に示すように構成される。なお、図５において図３における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【０２２０】
図５に示す空間周波数音源分離器４１の構成は、図３に示した空間周波数マスク生成部８１に代えて、音源分離部６６に空間周波数マスク生成部１０１が設けられている点で図３の空間周波数音源分離器４１の構成と異なり、その他の構成は同じとなっている。
【０２２１】
図５の空間周波数音源分離器４１では、音源分離部６６には外部から目的方向情報が供給される。ここで、目的方向情報は、収音空間における抽出対象となる音源の方向、つまり目的とする音源からの伝搬波（音声）の到来方向を特定することのできる情報であれば、どのような情報であってもよい。
【０２２２】
空間周波数マスク生成部１０１は、供給された目的方向情報と、通信部６５から供給された空間周波数スペクトルとに基づいて、情報あり音源分離により空間周波数マスクを生成する。
【０２２３】
より具体的には、例えば空間周波数マスク生成部１０１では、適応ビームフォーマの１つである最小分散ビームフォーマによって空間周波数マスクが生成されるようにすることができる。
【０２２４】
最小分散ビームフォーマの係数wijは、次式（３９）に示すように表される。
【０２２５】
【数３９】
2016152511.tif 000041
【０２２６】
なお、式（３９）において、aはDOAカーネルを示しており、このDOAカーネルaは、目的方向情報により求まるものである。
【０２２７】
また、式（３９）において、Rijは周波数ビンiおよびフレームjにおけるマイク間相関行列であり、周波数ビンiおよびフレームjは、時間周波数スペクトルインデクスnTおよび時間フレームインデクスlに対応する。このマイク間相関行列Rijは式（１２）に示したマイク間相関行列Xijと同じものである。
【０２２８】
一方、空間周波数変換されたマルチチャネルの収音信号を用いた最小分散ビームフォーマの係数Gijは、式（３９）におけるマイク間相関行列RijおよびDOAカーネルaについてAij=FHRijFおよびb=FHaを用いて、次式（４０）に示すように表すことができる。なお、式（４０）では、行列Aijの逆行列は、対角成分の除算として簡略化（近似）される。
【０２２９】
【数４０】
2016152511.tif 000042
【０２３０】
さらに、空間周波数スペクトルインデクスに相当する、対角要素のインデクスをc（但し、c=1,2,・・・,C）として、係数Gijを行列表現とすると、次式（４１）に示すようになる。
【０２３１】
【数４１】
2016152511.tif 000043
【０２３２】
このとき、式（４１）に示す係数Gijを構成する要素gcijは空間周波数マスクとなり、この空間周波数マスクgcijを空間周波数スペクトルS’(nS,nT,l)に合わせて、空間周波数マスクG(nS,nT,l)と記せば、上述した式（３３）により音源抽出を行うことができる。
【０２３３】
〈音場再現処理の説明〉
次に、図６のフローチャートを参照して、図５に示す空間周波数音源分離器４１により行われる音場再現処理について説明する。
【０２３４】
なお、ステップＳ５１乃至ステップＳ５５の処理は、図４のステップＳ１１乃至ステップＳ１５の処理と同様であるので、その説明は省略する。
【０２３５】
ステップＳ５６において、音源分離部６６の空間周波数マスク生成部１０１は、通信部６５から供給された空間周波数スペクトルS’(nS,nT,l)と、外部から供給された目的方向情報とに基づいて、情報ありの音源分離により空間周波数マスクG(nS,nT,l)を生成する。
【０２３６】
例えば空間周波数マスク生成部１０１は、空間周波数スペクトルS’(nS,nT,l)を用いてAij=FHRijFの計算を行い、さらに式（４０）を計算することで、目的方向情報により特定される、抽出対象とする音源の空間周波数マスクG(nS,nT,l)を得る。
【０２３７】
空間周波数マスクG(nS,nT,l)が得られると、その後、ステップＳ５７乃至ステップＳ６１の処理が行われて音場再現処理は終了するが、これらの処理は図４のステップＳ１７乃至ステップＳ２１の処理と同様であるので、その説明は省略する。
【０２３８】
以上のようにして空間周波数音源分離器４１は、空間周波数スペクトルに対して、目的方向情報を用いた音源分離により空間周波数マスクを生成するとともに、その空間周波数マスクを用いて空間周波数スペクトルから所望の音源の成分を抽出する。
【０２３９】
このように空間周波数スペクトルに対する最小分散ビームフォーマ等の音源分離により空間周波数マスクを生成することで、より低コストで任意の音源を分離することができる。
【０２４０】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２４１】
図７は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２４２】
コンピュータにおいて、CPU（Central Processing Unit）５０１，ROM（Read Only Memory）５０２，RAM（Random Access Memory）５０３は、バス５０４により相互に接続されている。
【０２４３】
バス５０４には、さらに、入出力インターフェース５０５が接続されている。入出力インターフェース５０５には、入力部５０６、出力部５０７、記録部５０８、通信部５０９、及びドライブ５１０が接続されている。
【０２４４】
入力部５０６は、キーボード、マウス、マイクロフォン、撮像素子などよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記録部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインターフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。
【０２４５】
以上のように構成されるコンピュータでは、CPU５０１が、例えば、記録部５０８に記録されているプログラムを、入出力インターフェース５０５及びバス５０４を介して、RAM５０３にロードして実行することにより、上述した一連の処理が行われる。
【０２４６】
コンピュータ（CPU５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２４７】
コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インターフェース５０５を介して、記録部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記録部５０８にインストールすることができる。その他、プログラムは、ROM５０２や記録部５０８に、あらかじめインストールしておくことができる。
【０２４８】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２４９】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２５０】
例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２５１】
また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２５２】
さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
【０２５３】
さらに、本技術は、以下の構成とすることも可能である。
【０２５４】
（１）
マイクアレイにより収音して得られたマルチチャネルの音声信号の空間周波数スペクトルを取得する取得部と、
前記空間周波数スペクトルに基づいて、空間周波数領域における所定領域の成分をマスクする空間周波数マスクを生成する空間周波数マスク生成部と、
前記空間周波数マスクに基づいて、前記空間周波数スペクトルから所望音源の成分を推定音源スペクトルとして抽出する音源分離部と
を備える音源分離装置。
（２）
前記空間周波数マスク生成部は、ブラインド音源分離により前記空間周波数マスクを生成する
（１）に記載の音源分離装置。
（３）
前記空間周波数マスク生成部は、非負値行列分解を利用した前記ブラインド音源分離により前記空間周波数マスクを生成する
（２）に記載の音源分離装置。
（４）
前記空間周波数マスク生成部は、前記所望音源に関する情報を用いた音源分離により前記空間周波数マスクを生成する
（１）に記載の音源分離装置。
（５）
前記所望音源に関する情報は、前記所望音源の方向を示す情報である
（４）に記載の音源分離装置。
（６）
前記空間周波数マスク生成部は、適応ビームフォーマにより前記空間周波数マスクを生成する
（５）に記載の音源分離装置。
（７）
前記推定音源スペクトルに基づいて、前記音声信号に基づく音声を再生するための空間周波数領域の駆動信号を生成する駆動信号生成部と、
前記駆動信号を空間周波数合成して時間周波数スペクトルを算出する空間周波数合成部と、
前記時間周波数スペクトルを時間周波数合成して、スピーカアレイにより前記音声を再生するためのスピーカ駆動信号を生成する時間周波数合成部と
をさらに備える（１）乃至（６）の何れか一項に記載の音源分離装置。
（８）
マイクアレイにより収音して得られたマルチチャネルの音声信号の空間周波数スペクトルを取得し、
前記空間周波数スペクトルに基づいて、空間周波数領域における所定領域の成分をマスクする空間周波数マスクを生成し、
前記空間周波数マスクに基づいて、前記空間周波数スペクトルから所望音源の成分を推定音源スペクトルとして抽出する
ステップを含む音源分離方法。
（９）
マイクアレイにより収音して得られたマルチチャネルの音声信号の空間周波数スペクトルを取得し、
前記空間周波数スペクトルに基づいて、空間周波数領域における所定領域の成分をマスクする空間周波数マスクを生成し、
前記空間周波数マスクに基づいて、前記空間周波数スペクトルから所望音源の成分を推定音源スペクトルとして抽出する
ステップを含む処理をコンピュータに実行させるプログラム。
【符号の説明】
【０２５５】
４１  空間周波数音源分離器，  ５１  送信器，  ５２  受信器，  ６１  マイクアレイ，  ６２  時間周波数分析部，  ６３  空間周波数分析部，  ６４  通信部，  ６５  通信部，  ６６  音源分離部，  ６７  駆動信号生成部，  ６８  空間周波数合成部，  ６９  時間周波数合成部，  ７０  スピーカアレイ，  ８１  空間周波数マスク生成部，  １０１  空間周波数マスク生成部
【図１】
2016152511.tif 000044
【図２】
2016152511.tif 000045
【図３】
2016152511.tif 000046
【図４】
2016152511.tif 000047
【図５】
2016152511.tif 000048
【図６】
2016152511.tif 000049
【図７】
2016152511.tif 000050
【国際調査報告】
2016152511.tif 000051
2016152511.tif 000052
2016152511.tif 000053
2016152511.tif 000054