(57)【要約】【課題】より簡単かつ確実に音源分離することができるようにする。【解決手段】時間周波数変換部は、擬似マルチチャネル入力信号を時間周波数変換して非負値スペクトルを求め、音源分解部は非負値スペクトルからなる非負値スペクトログラムをテンソル分解してチャネル行列、周波数行列、および時間行列を生成する。音源選択部は、チャネル行列と閾値とを比較することで特定される音声成分をチャネル行列、周波数行列、および時間行列から抽出し、出力複素スペクトログラムを生成する。周波数時間変換部は出力複素スペクトログラムを周波数時間変換し、マルチチャネル出力信号を生成する。本技術は、大域音抽出装置に適用することができる。【選択図】図２
2014215461.tif 000002
【特許請求の範囲】
【請求項１】
複数チャネルの音声信号を時間周波数変換して得られた周波数情報を、チャネル方向の性質を表すチャネル行列、周波数方向の性質を表す周波数行列、および時間方向の性質を表す時間行列に分解する分解部と、
前記チャネル行列と閾値とを比較し、その比較結果により特定される成分を前記チャネル行列、前記周波数行列、および前記時間行列から抽出して、所望の音源からの音声の前記周波数情報を生成する抽出部と
を備える音声処理装置。
【請求項２】
前記抽出部は、前記時間周波数変換により得られた前記周波数情報と、前記チャネル行列、前記周波数行列、および前記時間行列とに基づいて、前記音源からの音声の前記周波数情報を生成する
請求項１に記載の音声処理装置。
【請求項３】
前記閾値は、前記音源の位置と、各チャネルの音声信号の音声を収音する収音部の位置との関係に基づいて定められる
請求項１に記載の音声処理装置。
【請求項４】
前記閾値は、前記チャネルごとに定められる
請求項１に記載の音声処理装置。
【請求項５】
互いに異なる機器で収音された複数の音声信号を同期させ、前記複数チャネルの音声信号を生成する信号同期部をさらに備える
請求項１に記載の音声処理装置。
【請求項６】
前記分解部は、前記周波数情報をチャネル、周波数、および時間フレームを各次元とする三次元テンソルとみなし、テンソル分解を行なうことで前記周波数情報を前記チャネル行列、前記周波数行列、および前記時間行列に分解する
請求項１に記載の音声処理装置。
【請求項７】
前記テンソル分解は非負値テンソル分解である
請求項６に記載の音声処理装置。
【請求項８】
前記抽出部で得られた、前記音源からの音声の前記周波数情報を周波数時間変換して、複数チャネルの音声信号を生成する周波数時間変換部をさらに備える
請求項１に記載の音声処理装置。
【請求項９】
前記抽出部は、所望の一または複数の前記音源からの音声成分が含まれる前記周波数情報を生成する
請求項１に記載の音声処理装置。
【請求項１０】
複数チャネルの音声信号を時間周波数変換して得られた周波数情報を、チャネル方向の性質を表すチャネル行列、周波数方向の性質を表す周波数行列、および時間方向の性質を表す時間行列に分解し、
前記チャネル行列と閾値とを比較し、その比較結果により特定される成分を前記チャネル行列、前記周波数行列、および前記時間行列から抽出して、所望の音源からの音声の前記周波数情報を生成する
ステップを含む音声処理方法。
【請求項１１】
複数チャネルの音声信号を時間周波数変換して得られた周波数情報を、チャネル方向の性質を表すチャネル行列、周波数方向の性質を表す周波数行列、および時間方向の性質を表す時間行列に分解し、
前記チャネル行列と閾値とを比較し、その比較結果により特定される成分を前記チャネル行列、前記周波数行列、および前記時間行列から抽出して、所望の音源からの音声の前記周波数情報を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は音声処理装置および方法、並びにプログラムに関し、特に、より簡単かつ確実に音源分離することができるようにした音声処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、複数音源から出力された音声を、各音源の音声に分離する技術が知られている。
【０００３】
例えば、音声通話装置の臨場感伝達と音声明瞭度向上を両立させる手段の要素技術として、背景音分離機器が提案されている（例えば、特許文献１参照）。この背景音分離機器では、最小値検出や背景音のみの区間のスペクトル平均などが用いられて定常的な背景音が推定されている。
【０００４】
また、音源を分離する技術として、近接音源からの音と遠方音源からの音とを適切に分離できる音分離装置も提案されている（例えば、特許文献２参照）。この音分離装置では、近接音源用マイクロホン（NFM）と遠方音源用マイクロホン（FFM）の二本が用いられて、独立成分分析（Independent Component Analysis）により音源分離が行なわれている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２０１２−２３８９６４号公報
【特許文献２】特開２０１２−２０５１６１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
ところで、従来からマイクロホン近傍の小音量の音（以下、局所音とも称する）と、マイクロホン遠方の大音量の音（以下、大域音とも称する）が同時に入力されたときに、それらの局所音と大域音を区別、分離したいという要望がある。
【０００７】
しかしながら、上述した技術では局所音と大域音を分離する場合など、音源分離を行なう場合に簡単かつ確実に音源を分離することが困難であった。
【０００８】
例えば、一般的に背景音は定常的な成分のみに限らず、局所音である会話音や風切り音などの非定常の成分が多く含まれるため、上述した特許文献１に記載された背景音分離機器では非定常成分の除去は困難であった。
【０００９】
また、独立成分分析はマイクロホンの数以上の音源数を分離することが理論上できない。具体的には、従来手法ではマイクロホンが二本であるため、大域音と局所音の二つの音源に分離はできるが、局所音同士を分離することができず、合計三つの音源には分離することができない。これでは、ある特定のマイクロホン近辺の局所音を消すなどの手段を実現することができない。
【００１０】
さらに、上述した特許文献２に記載された音分離装置では、FFMとNFMの二種類の特別なマイクロホンを用意する必要があるため、マイクロホンの数や種類に関する制約があり、限定された用途にしか用いることができなかった。
【００１１】
本技術は、このような状況に鑑みてなされたものであり、より簡単かつ確実に音源分離することができるようにするものである。
【課題を解決するための手段】
【００１２】
本技術の一側面の音声処理装置は、複数チャネルの音声信号を時間周波数変換して得られた周波数情報を、チャネル方向の性質を表すチャネル行列、周波数方向の性質を表す周波数行列、および時間方向の性質を表す時間行列に分解する分解部と、前記チャネル行列と閾値とを比較し、その比較結果により特定される成分を前記チャネル行列、前記周波数行列、および前記時間行列から抽出して、所望の音源からの音声の前記周波数情報を生成する抽出部とを備える。
【００１３】
前記抽出部には、前記時間周波数変換により得られた前記周波数情報と、前記チャネル行列、前記周波数行列、および前記時間行列とに基づいて、前記音源からの音声の前記周波数情報を生成させることができる。
【００１４】
前記閾値を、前記音源の位置と、各チャネルの音声信号の音声を収音する収音部の位置との関係に基づいて定めることができる。
【００１５】
前記閾値を、前記チャネルごとに定めることができる。
【００１６】
音声処理装置には、互いに異なる機器で収音された複数の音声信号を同期させ、前記複数チャネルの音声信号を生成する信号同期部をさらに設けることができる。
【００１７】
前記分解部には、前記周波数情報をチャネル、周波数、および時間フレームを各次元とする三次元テンソルとみなし、テンソル分解を行なうことで前記周波数情報を前記チャネル行列、前記周波数行列、および前記時間行列に分解させることができる。
【００１８】
前記テンソル分解を非負値テンソル分解とすることができる。
【００１９】
音声処理装置には、前記抽出部で得られた、前記音源からの音声の前記周波数情報を周波数時間変換して、複数チャネルの音声信号を生成する周波数時間変換部をさらに設けることができる。
【００２０】
前記抽出部には、所望の一または複数の前記音源からの音声成分が含まれる前記周波数情報を生成させることができる。
【００２１】
本技術の一側面の音声処理方法またはプログラムは、複数チャネルの音声信号を時間周波数変換して得られた周波数情報を、チャネル方向の性質を表すチャネル行列、周波数方向の性質を表す周波数行列、および時間方向の性質を表す時間行列に分解し、前記チャネル行列と閾値とを比較し、その比較結果により特定される成分を前記チャネル行列、前記周波数行列、および前記時間行列から抽出して、所望の音源からの音声の前記周波数情報を生成するステップを含む。
【００２２】
本技術の一側面においては、複数チャネルの音声信号を時間周波数変換して得られた周波数情報が、チャネル方向の性質を表すチャネル行列、周波数方向の性質を表す周波数行列、および時間方向の性質を表す時間行列に分解され、前記チャネル行列と閾値とが比較され、その比較結果により特定される成分が前記チャネル行列、前記周波数行列、および前記時間行列から抽出されて、所望の音源からの音声の前記周波数情報が生成される。
【発明の効果】
【００２３】
本技術の一側面によれば、より簡単かつ確実に音源分離することができる。
【図面の簡単な説明】
【００２４】
【図１】マイクロホンによる音声の収音について説明する図である。
【図２】大域音抽出装置の構成例を示す図である。
【図３】入力複素スペクトルについて説明する図である。
【図４】入力複素スペクトログラムについて説明する図である。
【図５】テンソル分解について説明する図である。
【図６】チャネル行列について説明する図である。
【図７】音源抽出処理について説明するフローチャートである。
【図８】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００２５】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００２６】
〈本技術の概要〉
まず、本技術の概要について説明する。
【００２７】
例えば実世界において、マイクロホンを使用して収録を行なった場合、入力信号が単一音源からの到来信号であることは非常に稀であり、入力信号は複数音源から発せられる信号が混合された信号であることが一般的である。
【００２８】
また、各音源群とマイクロホンとの距離は多様である。たとえ混合音を試聴した際に各音源信号の音圧が均一に感じたとしても、それら音源がマイクロホンから等距離に存在するとは限らない。そのようなケースにおいて、音源群を距離により大まかに二つのグループに分ける場合、一つのグループは、初期音圧は比較的高いが音圧減衰が大きい信号群となり、もう一つのグループは、初期音圧は比較的低いが音圧減衰が小さい信号群となる。
【００２９】
このように初期音圧は比較的高いが音圧減衰が大きい信号が、マイクロホンの遠方にある音源から発せられた大音量の音声である大域音の音声信号である。また、初期音圧は比較的低いが音圧減衰が小さい信号が、マイクロホン近傍にある音源から発せられた小音量の音声である局所音の音声信号である。
【００３０】
大域音と局所音の分離は、マイクロホンからの収録信号が一次元しか存在しない場合は非常に困難である。しかしながら、複数個のマイクロホンが同じ空間に存在すれば、各マイクロホンの入力信号に含まれるそれぞれの音源信号の成分比によって、大域音と局所音の分離は可能である。
【００３１】
本技術では成分比として音圧比が用いられる。例えば、特定のマイクロホンＭ１のみで特定の音源Ａからの音声の音圧比が大きいのであれば、音源ＡはマイクロホンＭ１に近接していることが想像できる。
【００３２】
一方、全てのマイクロホンに均一な音圧比で特定の音源Ｂからの信号が入力されているのであれば、音圧の高い音源Ｂが遠方に存在していることが想像できる。
【００３３】
以上の仮定は、マイクロホン群が一定の距離を保って配置されていれば成り立つ。音源ごとに信号分離を行なった上で、各分離信号の音圧比を元にグループ化を行うことで、大域音と局所音の分離が可能となる。
【００３４】
ここで、以上においてした仮定を覆すケースとして、同じ種類の音響特性を備える複数の音源が各マイクロホンに近接している可能性も否めないが、そのようなケースは実世界において極めて稀なケースである。
【００３５】
実世界において、大域音は比較的音圧が高い信号、例えば交通機関が発する音や、工事現場が発する音、スタジアムの歓声、オーケストラの演奏などが挙られる。これに対して局所音は比較的音圧が低い信号、例えば会話音や、足音、風切り音などが挙げられる。
【００３６】
本技術は、例えば臨場感通信などに応用可能である。臨場感通信とは、街中に複数設置されたマイクロホンからの入力信号を遠隔地へ伝達する技術である。この際、マイクロホンは必ずしも固定されている必要はなく、移動する個人が持つモバイル機器に搭載済みのマイクロホンなども想定の範囲内である。
【００３７】
複数のマイクロホンから取得した音声信号に対して本技術による信号処理がなされ、収音された音声は大域音と局所音に分離される。この結果、様々な二次的効果が得られる。
【００３８】
理解を容易にするため、地図上の所望の地点を指定することで、その地点で撮影した街並みの画像を表示させる街並画像提供サービスを例として説明をする。この街並画像提供サービスでは、ユーザが地図上の位置を移動させると、その移動に従って表示される街並みの画像も変化するので、ユーザはあたかも現地にいるかのような感覚で地図を楽しむことができる。
【００３９】
現在、一般的な街並画像提供サービスでは、静止画像のみを伝達するサービスとなっているが、動画像の提供への展開を想像した場合には、数々の課題がある。例えば、複数のカメラから取得した動画像音声をどのように統合するのか、また動画像音声に含まれる個人の音声のプライバシーは守られるのかなどである。
【００４０】
前者の解決策として、各マイクロホン近辺の局所音を捨て、臨場感を多く含む大域音を統合音声として使用するという手段が考えられる。また、後者の解決策としては、個人の音声が含まれている局所音を削除したり、低減または声質を変換したりするという手段が考えられる。
【００４１】
〈大域音抽出装置の構成例〉
次に、本技術を適用した具体的な実施の形態について説明する。以下では、本技術を適用した大域音／局所音分離装置について、大域音抽出装置を例として説明する。なお、大域音／局所音分離装置では、各マイクロホンで収音された音声から特定の局所音の音声信号のみを抽出することも勿論可能であるが、以下では、大域音のみを抽出する場合を例として説明を続ける。
【００４２】
大域音抽出装置は、複数のマイクロホンで音声を収録する場面において、各マイクロホンで収音された音声のみに存在する局所的な信号、つまり局所音の音声信号のみを分離および除去し、大域的な信号、つまり大域音の音声信号のみを取得する装置である。
【００４３】
ここで、二つのマイクロホンで信号を収録する例を図１に示す。図１では、図中、左奥側に位置するマイクロホンＭ１１−Ｌと、図中、右手前に位置するマイクロホンＭ１１−Ｒとで音声が収音される。なお、以下、マイクロホンＭ１１−ＬとマイクロホンＭ１１−Ｒを特に区別する必要のない場合、単にマイクロホンＭ１１とも称する。
【００４４】
図１の例では、乗用車や電車が走っていたり、人がいたりする屋外の環境にマイクロホンＭ１１が設置されている。そして、マイクロホンＭ１１−Ｌで収音された音声のみに風切り音が混入しており、一方で、マイクロホンＭ１１−Ｒで収音された音声にのみ人の会話音が混入している。
【００４５】
大域音抽出装置では、マイクロホンＭ１１−ＬおよびマイクロホンＭ１１−Ｒにより取得された音声信号を入力信号として信号処理が行なわれ、大域音と局所音とが分離される。
【００４６】
ここで、大域音とはマイクロホンＭ１１−ＬとマイクロホンＭ１１−Ｒの両方に入力されている信号であり、局所音とはマイクロホンＭ１１−ＬとマイクロホンＭ１１−Ｒのうちの何れか一方のマイクロホンＭ１１のみに入力された信号である。
【００４７】
図１の例では、風切り音および会話音のみが局所音とされ、その他の音は大域音とされる。なお、図１の例では、説明を簡単にするため、マイクロホンＭ１１は合計二個とされているが、実際には二個以上あってもよい。また、マイクロホンＭ１１の種類や、指向特性、配置する向き等は特に限定されない。
【００４８】
また、ここでは本技術の適用例として、屋外に複数のマイクロホンＭ１１を設置し、大域音と局所音を分離する例について説明したが、本技術は、その他、例えば多視点録画などにも適用することができる。多視点録画は、例えばサッカースタジアムなどで大勢の観客が動画像をアップロードし、インターネット上で同じ映像を多視点で楽しめる状況において、映像と共に得られた複数の音声信号の共通要素のみを抽出し、映像とともに再生するアプリケーションプログラムである。
【００４９】
このように共通要素のみを抽出することで、各個人や周囲の人が雑談する音声、局所的な雑音の混入を防ぐことが可能となる。
【００５０】
次に、大域音抽出装置の具体的な構成例について説明する。図２は、本技術を適用した大域音抽出装置の一実施の形態の構成例を示す図である。
【００５１】
大域音抽出装置１１は、信号同期部２１、時間周波数変換部２２、音源分解部２３、音源選択部２４、および周波数時間変換部２５から構成される。
【００５２】
信号同期部２１には、互いに異なる機器に設けられた複数のマイクロホンＭ１１により収音された複数の音声信号が、入力信号として供給される。信号同期部２１は、マイクロホンＭ１１から供給された非同期の入力信号を同期させた後、各入力信号を複数の各チャネルに配置することで擬似マルチチャネル入力信号を生成し、時間周波数変換部２２に供給する。
【００５３】
信号同期部２１に供給される各入力信号は、互いに異なる機器に設けられたマイクロホンＭ１１で収音された音声の信号であるので、同期していない。そこで、信号同期部２１は、これらの非同期の入力信号を同期させ、同期後の各入力信号を各チャネルの音声信号とすることで、複数のチャネルからなる擬似マルチチャネル入力信号を生成する。
【００５４】
なお、ここでは信号同期部２１に供給される各入力信号が同期していない場合を例として説明するが、大域音抽出装置１１に供給される各入力信号が同期されたものとされるようにしてもよい。例えば、一つの機器に設けられた右チャネル用のマイクロホンで得られた音声信号と、その機器に設けられた左チャネル用のマイクロホンで得られた音声信号とが入力信号として大域音抽出装置１１に供給されるようにしてもよい。
【００５５】
そのような場合には、それらの左右のチャネルの入力信号は既に同期がとれているので、大域音抽出装置１１に信号同期部２１が設けられる必要はなく、同期している入力信号が時間周波数変換部２２に供給される。
【００５６】
時間周波数変換部２２は、信号同期部２１から供給された擬似マルチチャネル入力信号の時間周波数変換と非負値化を行なう。
【００５７】
すなわち、時間周波数変換部２２は、供給された擬似マルチチャネル入力信号を時間周波数変換し、その結果得られた周波数情報としての入力複素スペクトルを音源選択部２４に供給する。また、時間周波数変換部２２は、入力複素スペクトルを非負値化して得られた非負値スペクトルからなる非負値スペクトログラムを音源分解部２３に供給する。
【００５８】
音源分解部２３は、時間周波数変換部２２から供給された非負値スペクトログラムを、チャネル、周波数、および時間フレームを次元とする三次元テンソルとみなして非負値テンソル分解（NTF（Non-negative Tensor Factorization））を行なう。音源分解部２３は、非負値テンソル分解により得られたチャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈを音源選択部２４に供給する。
【００５９】
音源選択部２４は、音源分解部２３から供給されたチャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈに基づいて大域音に該当する各行列の成分を選択して、時間周波数変換部２２から供給された入力複素スペクトルからなるスペクトログラムを再合成する。音源選択部２４は、再合成により得られた周波数情報としての出力複素スペクトログラムＹを周波数時間変換部２５に供給する。
【００６０】
周波数時間変換部２５は、音源選択部２４から供給された出力複素スペクトログラムＹに対して周波数時間変換を行なった後、得られた時間信号をオーバーラップ加算することで、大域音のマルチチャネル出力信号を生成し、出力する。
【００６１】
〈信号同期部について〉
続いて、図２の大域音抽出装置１１の各部について、より詳細に説明していく。まず、信号同期部２１について説明する。
【００６２】
信号同期部２１は、複数のマイクロホンＭ１１から供給される入力信号Ｓj（ｔ）の時間同期を行なう。例えば時間同期には相互相関の計算が用いられる。
【００６３】
ここで、入力信号Ｓj（ｔ）におけるｊは、チャネルインデクスであり、０≦ｊ≦Ｊ−１である。また、Ｊは擬似マルチチャネル入力信号の総チャネル数である。さらに、入力信号Ｓj（ｔ）におけるｔは時間を示している。
【００６４】
いま、入力信号Ｓj（ｔ）のうち、同期の基準となる入力信号を基準入力信号Ｓ0（ｔ）とし、入力信号Ｓj（ｔ）のうち、同期の対象となる入力信号を対象入力信号Ｓj（ｔ）（但し、ｊ≠０）とすると、次式（１）によりチャネルｊの相互相関値Ｒj（γ）が算出される。
【００６５】
【数１】
2014215461.tif 000003
【００６６】
なお、式（１）において、Ｔallは入力信号Ｓj（ｔ）のサンプル数を示しており、複数の各マイクロホンＭ１１から供給される入力信号Ｓj（ｔ）のサンプル数Ｔallは全て同じ値であるものとする。また、式（１）においてγはラグを示している。
【００６７】
信号同期部２１は、各ラグγの値について求めた相互相関値Ｒj（γ）に基づいて、次式（２）を計算することで、対象入力信号Ｓj（ｔ）において、相互相関値Ｒj（γ）がラグγについて最大値を示すときのラグの値である最大値ラグγjを求める。
【００６８】
【数２】
2014215461.tif 000004
【００６９】
そして、信号同期部２１は、次式（３）の演算を行なって、最大値ラグγj分のサンプルを補正することで、対象入力信号Ｓj（ｔ）を基準入力信号Ｓ0（ｔ）に同期させる。すなわち、対象入力信号Ｓj（ｔ）が最大値ラグγj分のサンプル数だけ時間方向にシフトされて、擬似マルチチャネル入力信号ｘ（ｊ，ｔ）とされる。
【００７０】
【数３】
2014215461.tif 000005
【００７１】
ここで、擬似マルチチャネル入力信号ｘ（ｊ，ｔ）は、Ｊ個のチャネルの信号からなる擬似マルチチャネル入力信号のうちのチャネルｊの信号を表している。また、擬似マルチチャネル入力信号ｘ（ｊ，ｔ）において、ｊはチャネルインデクスを示しており、ｔは時間を示している。
【００７２】
信号同期部２１は、このようにして得られた擬似マルチチャネル入力信号ｘ（ｊ，ｔ）を時間周波数変換部２２に供給する。
【００７３】
〈時間周波数変換部について〉
次に、時間周波数変換部２２について説明する。
【００７４】
時間周波数変換部２２は、信号同期部２１から供給された擬似マルチチャネル入力信号ｘ（ｊ，ｔ）の時間周波数情報を分析する。
【００７５】
すなわち、時間周波数変換部２２は、擬似マルチチャネル入力信号ｘ（ｊ，ｔ）に対して固定サイズの時間フレーム分割を行って、その結果得られた擬似マルチチャネル入力フレーム信号ｘ’（ｊ，ｎ，ｌ）を得る。
【００７６】
ここで、擬似マルチチャネル入力フレーム信号ｘ’（ｊ，ｎ，ｌ）におけるｊはチャネルインデクスを示しており、ｎは時間インデクスを示しており、ｌは時間フレームインデクスを示している。
【００７７】
時間周波数変換部２２は、得られた擬似マルチチャネル入力フレーム信号ｘ’（ｊ，ｎ，ｌ）に窓関数Ｗana（ｎ）を乗算し、窓関数適用信号ｘW（ｊ，ｎ，ｌ）を得る。
【００７８】
但し、チャネルインデクスｊ＝０，・・・，Ｊ−１であり、時間インデクスｎ＝０，・・・，Ｎ−１であり、時間フレームインデクスｌ＝０，・・・，Ｌ−１である。Ｊは総チャネル数であり、Ｎはフレームサイズ、つまり時間フレームのサンプル数であり、Ｌは総フレーム数である。
【００７９】
具体的には、時間周波数変換部２２は次式（４）を計算することで、擬似マルチチャネル入力フレーム信号ｘ’（ｊ，ｎ，ｌ）から窓関数適用信号ｘW（ｊ，ｎ，ｌ）を算出する。
【００８０】
【数４】
2014215461.tif 000006
【００８１】
また、式（４）の演算で用いられる窓関数Ｗana（ｎ）は、例えば次式（５）で示される関数などとされる。
【００８２】
【数５】
2014215461.tif 000007
【００８３】
なお、ここでは窓関数Ｗana（ｎ）は、ハニング窓の平方根とされているが、窓関数としてハミング窓やブラックマンハリス窓などの他の窓を用いるようにしてもよい。
【００８４】
また、フレームサイズＮは、サンプリング周波数ｆsにおける一フレームの時間ｆｓｅｃ相当のサンプル数、つまりＮ＝Ｒ（ｆs×ｆｓｅｃ）などとされるが、それ以外の大きさとされてもよい。
【００８５】
なお、Ｒ（）は、任意の丸め関数であり、ここでは例えば四捨五入などとされる。また、一フレームの時間ｆｓｅｃは、例えばｆｓｅｃ＝0.02［ｓ］などとされる。さらに、フレームのシフト量はフレームサイズＮの50％分に限らず、どのような値であってもよい。
【００８６】
このようにして窓関数適用信号ｘW（ｊ，ｎ，ｌ）が得られると、時間周波数変換部２２は、窓関数適用信号ｘW（ｊ，ｎ，ｌ）に対して時間周波数変換を行ない、周波数情報としての入力複素スペクトルＸ（ｊ，ｋ，ｌ）を得る。すなわち、次式（６）の計算が行なわれて、離散フーリエ変換（DFT（Discrete Fourier Transform））により入力複素スペクトルＸ（ｊ，ｋ，ｌ）が算出される。
【００８７】
【数６】
2014215461.tif 000008
【００８８】
なお、式（６）において、iは純虚数を示しており、Ｍは時間周波数変換に用いるポイント数を示している。例えばポイント数Ｍは、フレームサイズＮ以上であり、かつＮに最も近い２のべき乗の値などとされるが、他の数とされるようにしてもよい。
【００８９】
また、式（６）において、ｋは周波数を特定するための周波数インデクスを示しており、周波数インデクスｋ＝0,・・・,K-1である。なお、K=M/2＋1である。
【００９０】
さらに、式（６）において、ｘW’（ｊ，ｍ，ｌ）はゼロ詰め信号であり、次式（７）により示される。すなわち、時間周波数変換では、必要に応じて離散フーリエ変換のポイント数Ｍに合わせて零詰めが行なわれる。
【００９１】
【数７】
2014215461.tif 000009
【００９２】
なお、ここでは、離散フーリエ変換による時間周波数変換を行なう例について説明したが、離散コサイン変換（DCT（Discrete Cosine Transform））や修正離散コサイン変換（MDCT（Modified Discrete Cosine Transform））など、他の時間周波数変換が行なわれるようにしてもよい。
【００９３】
時間周波数変換部２２は、擬似マルチチャネル入力信号の時間フレームごとに時間周波数変換を行い、入力複素スペクトルＸ（ｊ，ｋ，ｌ）を算出すると、同チャネルの複数フレームに渡る入力複素スペクトルＸ（ｊ，ｋ，ｌ）を連結し、行列を構成する。
【００９４】
これにより、例えば図３に示す行列が得られる。図３では、矢印ＭＣＳ１１により示される一チャネル分の擬似マルチチャネル入力信号ｘ（ｊ，ｔ）における、互いに隣接する四つの擬似マルチチャネル入力フレーム信号ｘ’（ｊ，ｎ，ｌ−３）乃至擬似マルチチャネル入力フレーム信号ｘ’（ｊ，ｎ，ｌ）について、時間周波数変換が行なわれている。
【００９５】
なお、矢印ＭＣＳ１１により示される擬似マルチチャネル入力信号ｘ（ｊ，ｔ）の縦方向および横方向は、それぞれ振幅および時間を示している。
【００９６】
図３では、一つの長方形が一つの入力複素スペクトルを表しており、例えば、擬似マルチチャネル入力フレーム信号ｘ’（ｊ，ｎ，ｌ−３）についての時間周波数変換により、Ｋ個の入力複素スペクトルＸ（ｊ，０，ｌ−３）乃至入力複素スペクトルＸ（ｊ，Ｋ−１，ｌ−３）が得られている。
【００９７】
このようにして各時間フレームについて入力複素スペクトルが得られると、それらの入力複素スペクトルが連結され、一つの行列とされる。そして、さらにＪ個のチャネルごとに得られた行列をチャネル方向に連結することで、図４に示す入力複素スペクトログラムＸが得られる。
【００９８】
なお、図４において、図３における場合と対応する部分には同一の符号を付してあり、その説明は省略する。
【００９９】
図４では、矢印ＭＣＳ２１により示される擬似マルチチャネル入力信号ｘ（ｊ，ｔ）は、矢印ＭＣＳ１１により示される擬似マルチチャネル入力信号ｘ（ｊ，ｔ）とは異なるチャネルの擬似マルチチャネル入力信号を表しており、この例では、総チャネル数Ｊ＝２となっている。
【０１００】
また、図４では、一つの長方形が一つの入力複素スペクトルを表しており、各入力複素スペクトルが図中、縦方向、横方向、および奥行き方向、すなわち周波数方向、時間方向、およびチャネル方向に並べられて連結され、三次元テンソル表現の入力複素スペクトログラムＸとされている。
【０１０１】
なお、以下では、入力複素スペクトログラムＸの各要素を示す場合には、［Ｘ］jklまたはｘjklと表すこととする。
【０１０２】
また、時間周波数変換部２２は、次式（８）の計算を行なって、時間周波数変換により得られた各入力複素スペクトルＸ（ｊ，ｋ，ｌ）を非負値化し、非負値スペクトルＶ（ｊ，ｋ，ｌ）を算出する。
【０１０３】
【数８】
2014215461.tif 000010
【０１０４】
なお、式（８）において、ｃｏｎｊ（Ｘ（ｊ，ｋ，ｌ））は、入力複素スペクトルＸ（ｊ，ｋ，ｌ）の複素共役を示しており、ρは非負値化制御値を示している。例えば、非負値化制御値ρはどのような値とされてもよいが、ρ＝１である場合には非負値スペクトルはパワースペクトルとなり、ρ＝０．５である場合には非負値スペクトルは振幅スペクトルとなる。
【０１０５】
式（８）の計算により得られた非負値スペクトルＶ（ｊ，ｋ，ｌ）はチャネル方向、周波数方向、および時間フレーム方向に連結されて非負値スペクトログラムＶとされ、時間周波数変換部２２から、音源分解部２３へと供給される。
【０１０６】
また、時間周波数変換部２２は、各入力複素スペクトルＸ（ｊ，ｋ，ｌ）、すなわち入力複素スペクトログラムＸを音源選択部２４に供給する。
【０１０７】
〈音源分解部について〉
続いて、音源分解部２３について説明する。
【０１０８】
音源分解部２３は、非負値スペクトログラムＶをＪ×Ｋ×Ｌの三次元テンソルとして捉え、非負値スペクトログラムＶをＰ個の三次元テンソルＶp’（以下、基底スペクトログラムとも呼ぶ）に分離する。ここで、ｐは基底スペクトログラムを示す基底インデクスを表しており、基底数をＰとしてｐ＝0,・・・,P-1である。また、以下では、基底インデクスｐにより示される基底を基底ｐとも称することとする。
【０１０９】
さらに、Ｐ個の三次元テンソルＶp’は三つのベクトルの直積で表現することが可能であるため、それぞれ三つのベクトルへと分解される。結果的に、それぞれ三種類のベクトルをＰ個ずつ集めた結果、新たな三つの行列、つまりチャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈが得られるため、非負値スペクトログラムＶを三つの行列に分解できるといえる。なお、チャネル行列ＱのサイズはＪ×Ｐであり、周波数行列ＷのサイズはＫ×Ｐであり、時間行列ＨのサイズはＬ×Ｐである。
【０１１０】
なお、以下では、三次元テンソルまたは行列の各要素を示す場合には、［Ｖ］jklまたはｖjklと表すこととする。また、特定の次元を指定して残りの次元の全ての要素を指す場合は、「：」を用いて表現し、次元によって、それぞれ［Ｖ］:,k,l、［Ｖ］j,:,l、［Ｖ］j,k,:と表すこととする。
【０１１１】
この例では、［Ｖ］jkl、ｖjkl、［Ｖ］:,k,l、［Ｖ］j,:,l、および［Ｖ］j,k,:は、非負値スペクトログラムＶの要素を表している。例えば［Ｖ］j,:,:は非負値スペクトログラムＶを構成する、チャネルインデクスがｊである要素となる。
【０１１２】
音源分解部２３では、非負値テンソル分解により誤差テンソルＥを最小化することで、テンソル分解が行なわれる。最適化に要する制約は、非負値スペクトログラムＶと、チャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈとの非負値化である。
【０１１３】
この制約により、非負値テンソル分解では、PARAFACやタッカー分解などの従来のテンソル分解法とは異なり、音源が持つ固有の性質を抽出できることが知られている。また、非負値テンソル分解は、非負値行列分解（NMF（Non-negative Matrix Factorization））のテンソルへの一般化としても知られている。
【０１１４】
テンソル分解で得られるチャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈは、それぞれが特有の性質を有している。
【０１１５】
ここで、チャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈについて説明する。
【０１１６】
例えば、図５に示すように矢印Ｒ１１に示す非負値スペクトログラムＶから、誤差テンソルＥを除いて得られる三次元テンソルを基底数Ｐ個に分解した結果、矢印Ｒ１２−１乃至矢印Ｒ１２−Ｐに示す基底スペクトログラムＶ0’乃至基底スペクトログラムＶP-1’が得られたとする。
【０１１７】
これらの各基底スペクトログラムＶp’（但し、０≦ｐ≦Ｐ−１）、すなわち上述した三次元テンソルＶp’は、それぞれが三つのベクトルの直積で表すことができる。
【０１１８】
例えば基底スペクトログラムＶ0’は、矢印Ｒ１３−１に示すベクトル［Ｑ］j,0、矢印Ｒ１４−１に示すベクトル［Ｈ］l,0、および矢印Ｒ１５−１に示すベクトル［Ｗ］k,0の三つのベクトルの直積で表すことができる。
【０１１９】
ベクトル［Ｑ］j,0は総チャネル数Ｊ個の要素からなる列ベクトルであり、Ｊ個の各要素の値の和は１となる。ベクトル［Ｑ］j,0のＪ個の各要素は、チャネルインデクスｊにより示される各チャネルに対応する成分である。
【０１２０】
また、ベクトル［Ｈ］l,0は総時間フレーム数Ｌ個の要素からなる行ベクトルであり、ベクトル［Ｈ］l,0のＬ個の各要素は、時間フレームインデクスｌにより示される各時間フレームに対応する成分である。さらに、ベクトル［Ｗ］k,0は周波数の数であるＫ個の要素からなる列ベクトルであり、ベクトル［Ｗ］k,0のＫ個の各要素は、周波数インデクスｋにより示される周波数に対応する成分である。
【０１２１】
これらのベクトル［Ｑ］j,0、ベクトル［Ｈ］l,0、およびベクトル［Ｗ］k,0は、それぞれ基底スペクトログラムＶ0’のチャネル方向の性質、時間方向の性質、および周波数方向の性質を表している。
【０１２２】
同様に、基底スペクトログラムＶ1’は、矢印Ｒ１３−２に示すベクトル［Ｑ］j,1、矢印Ｒ１４−２に示すベクト［Ｈ］l,1、および矢印Ｒ１５−２に示すベクトル［Ｗ］k,1の三つのベクトルの直積で表すことができる。また、基底スペクトログラムＶP-1’は、矢印Ｒ１３−Ｐに示すベクトル［Ｑ］j,P-1、矢印Ｒ１４−Ｐに示すベクトル［Ｈ］l,P-1、および矢印Ｒ１５−Ｐに示すベクトル［Ｗ］k,P-1の三つのベクトルの直積で表すことができる。
【０１２３】
そして、Ｐ個の基底スペクトログラムＶp’（但し、０≦ｐ≦Ｐ−１）の三つの次元に対応する三つのベクトルを、それぞれ次元ごとに集めて行列としたものがチャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈとなる。
【０１２４】
すなわち、図５中、下側の矢印Ｒ１６に示すように、各基底スペクトログラムＶp’の周波数方向の性質を表すベクトルであるベクトル［Ｗ］k,0乃至ベクトル［Ｗ］k,P-1からなる行列が周波数行列Ｗとされる。
【０１２５】
同様に、矢印Ｒ１７に示すように、各基底スペクトログラムＶp’の時間方向の性質を表すベクトルであるベクトル［Ｈ］l,0乃至ベクトル［Ｈ］l,P-1からなる行列が時間行列Ｈとされる。また、矢印Ｒ１８に示すように、各基底スペクトログラムＶp’のチャネル方向の性質を表すベクトルであるベクトル［Ｑ］j,0乃至ベクトル［Ｑ］j,P-1からなる行列がチャネル行列Ｑとされる。
【０１２６】
非負値テンソル分解（NTF）の性質により、Ｐ個に分離された各基底スペクトログラムＶp’は、それぞれが音源中の固有の性質を表すように学習される。非負値テンソル分解では、全要素を非負値に制約しているため、基底スペクトログラムＶp’の加法性の組み合わせしか許容されず、その結果、組み合わせのパターンが減り、音源固有の性質によって分離され易くなっている。
【０１２７】
例えば、二種類の異なる性質をもつ点音源ＡＳ１と点音源ＡＳ２とからの音声が混合されているとする。例として点音源ＡＳ１からの音声は人の音声であり、点音源ＡＳ２からの音声は乗用車のエンジン音であるとする。
【０１２８】
この場合、二つの点音源はそれぞれ異なる基底スペクトログラムＶp’に現れる傾向がある。すなわち、例えば全基底数Ｐ個のうち連続して並ぶｒ個の基底スペクトログラムＶp1’が、一つ目の点音源ＡＳ１である人の声に割り当てられ、連続して並ぶＰ−ｒ個の基底スペクトログラムＶp2’が、二つ目の点音源ＡＳ２である乗用車のエンジン音に割り当てられる。
【０１２９】
したがって、任意の範囲の基底インデクスｐを選択することにより、各点音源を抽出し音響処理を行うことが可能である。
【０１３０】
ここで、チャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈの各行列の性質についてさらに説明する。
【０１３１】
チャネル行列Ｑは、非負値スペクトログラムＶのチャネル方向の性質を表している。すなわち、チャネル行列Ｑは、Ｐ個の各基底スペクトログラムＶp’の合計Ｊ個の各チャネルｊへの寄与度を示すと考えられる。
【０１３２】
例えば、総チャネル数Ｊ＝２であり、擬似マルチチャネル入力信号がステレオ２チャネルの信号であるとする。また、基底インデクスｐ＝ｐ１であるチャネル行列Ｑの要素［Ｑ］:,p1の値が［0.5,0.5］Tであり、基底インデクスｐ＝ｐ２であるチャネル行列Ｑの要素［Ｑ］:,p2の値が［0.9,0.1］Tであるとする。
【０１３３】
ここで、列ベクトルである要素［Ｑ］:,p1の値［0.5,0.5］Tは、左チャネルの値と右チャネルの値がともに0.5となっている。同様に、列ベクトルである要素［Ｑ］:,p2の値［0.9,0.1］Tは、左チャネルの値が0.9で、右チャネルの値が0.1となっている。
【０１３４】
左チャネルと右チャネルの値からなる空間について考えると、要素［Ｑ］:,p1の左右のチャネルの成分の値は等しいので、左右の両チャネルに等しく重みがかかることから、遠方に基底スペクトログラムＶp1’の特性を備える音源が存在することになる。
【０１３５】
これに対して、要素［Ｑ］:,p2では左チャネルの成分の値0.9が、右チャネルの成分の値0.1よりも大きく、左チャネルに重みが偏っていることから、左チャネルに近接した位置に基底スペクトログラムＶp2’の特性を備える音源が存在することを示している。
【０１３６】
前述したように、点音源同士が異なる基底スペクトログラムＶp’に現れることと合わせると、チャネル行列Ｑは各点音源の大まかな配置情報を示すといえる。
【０１３７】
ここで、総チャネル数Ｊ＝２であり、基底数Ｐ＝７である場合におけるチャネル行列Ｑの各要素の関係を図６に示す。なお、図６では、縦軸および横軸は、チャネル１およびチャネル２の成分を示している。この例ではチャネル１は左チャネルであり、チャネル２は右チャネルである。
【０１３８】
例えば、矢印Ｒ３１に示すチャネル行列Ｑを基底数Ｐ＝７個の各要素に分割した結果、矢印で表されるベクトルＶＣ１１乃至ベクトルＶＣ１７が得られたとする。この例では、ベクトルＶＣ１１乃至ベクトルＶＣ１７が、それぞれ要素［Ｑ］j,0乃至要素［Ｑ］j,6となっている。また、要素［Ｑ］j,3の値が［0.5,0.5］Tとなっており、要素［Ｑ］j,3がチャネル１の軸方向とチャネル２の軸方向との中央の方向を示している。
【０１３９】
大域音は、マイクロホンの遠方にある音源から発せられた大音量の音声であるので、大域音の成分となる要素［Ｑ］j,pの各チャネルへの寄与度はほぼ均等となるはずである。これに対して、局所音はマイクロホン近傍にある音源から発せられた小音量の音声であるので、局所音の成分となる要素［Ｑ］j,pの各チャネルへの寄与度には偏りがあるはずである。
【０１４０】
そこで、この例では左右の各チャネルへの寄与度がほぼ均等である基底インデクスｐ＝２乃至４の要素、つまり要素［Ｑ］j,2乃至要素［Ｑ］j,4を大域音の要素としてグループ化する。そして、対応する三つの要素［Ｑ］:,p、要素［Ｗ］:,p、および要素［Ｈ］:,pから再構成した基底スペクトログラムＶ2’乃至Ｖ4’を足し合せることにより、大域音の抽出が可能となる。
【０１４１】
一方、各チャネルへの寄与度に偏りがある要素［Ｑ］j,0、要素［Ｑ］j,1、要素［Ｑ］j,5、および要素［Ｑ］j,6は局所音の要素とされる。例えば要素［Ｑ］j,0や要素［Ｑ］j,1は、チャネル１への寄与度が大きいので、チャネル１の音声を収音したマイクロホン近傍に位置する音源からの局所音となる。
【０１４２】
続いて、周波数行列Ｗについて説明する。
【０１４３】
周波数行列Ｗは、非負値スペクトログラムＶの周波数方向の性質を表している。より具体的には、周波数行列Ｗは合計Ｐ個の基底スペクトログラムＶp’のＫ個の各周波数ビンへの寄与度、すなわち各基底スペクトログラムＶp’の各々の周波数特性を表している。
【０１４４】
例えば、音声の母音を表す基底スペクトログラムＶp’は、低域が強調された周波数特性を示す行列要素［Ｗ］:,pをもち、破擦系子音を表す基底スペクトログラムＶp’は、高域が強調された周波数特性を示す要素［Ｗ］:,pをもつ。
【０１４５】
また、時間行列Ｈは、非負値スペクトログラムＶの時間方向の性質を表している。より具体的には、時間行列ＨはＰ個の各基底スペクトログラムＶp’の合計Ｌ個の各時間フレームへの寄与度、すなわち各基底スペクトログラムＶp’の各々の時間特性を表している。
【０１４６】
例えば、定常系環境雑音を表す基底スペクトログラムＶp’は、各時間フレームインデクスｌの成分が均一な値を持つ時間特性を示す行列要素［Ｈ］:,pをもつ。また、非定常系環境雑音を表す基底スペクトログラムＶp’であれば、基底スペクトログラムＶp’は瞬時的に大きな値を持つ時間特性を示す行列要素［Ｈ］:,p、つまり特定の時間フレームインデクスｌの成分が大きな値となる行列要素［Ｈ］:,pをもつ。
【０１４７】
ところで、非負値テンソル分解（NTF）では、次式（９）の計算によりコスト関数Ｃをチャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈについて最小化することで、最適化されたチャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈが求められる。
【０１４８】
【数９】
2014215461.tif 000011
【０１４９】
なお、式（９）において、Ｓ（Ｗ）およびＴ（Ｈ）は、それぞれ周波数行列Ｗおよび時間行列Ｈを入力とするコスト関数Ｃの制約関数である。また、δおよびεは、それぞれ周波数行列Ｗの制約関数Ｓ（Ｗ）の重み、および時間行列Ｈの制約関数Ｔ（Ｈ）の重みを示している。制約関数の追加は、コスト関数を制約する効果があり、分離のされ方を左右する。一般的には、スパース制約、スムーズ制約などが用いられることが多い。
【０１５０】
さらに、式（９）においてｖjklは非負値スペクトログラムＶの要素を表しており、ｖjkl’は要素ｖjklの予測値である。この要素ｖjkl’は次式（１０）により得られる。なお、式（１０）において、ｑjpはチャネル行列Ｑを構成する、チャネルインデクスｊと基底インデクスｐにより特定される要素、つまり行列要素［Ｑ］j,pである。同様にｗkpは行列要素［Ｗ］k,pであり、ｈlpは行列要素［Ｈ］l,pである。
【０１５１】
【数１０】
2014215461.tif 000012
【０１５２】
式（１０）により算出される要素ｖjkl’からなるスペクトログラムが、非負値スペクトログラムＶの予測値である近似スペクトログラムＶ’となる。換言すれば、近似スペクトログラムＶ’は、基底数Ｐ個の基底スペクトログラムＶp’から求まる、非負値スペクトログラムＶの近似値である。
【０１５３】
さらに、式（９）では非負値スペクトログラムＶと近似スペクトログラムＶ’の距離を測る指標としてβダイバージェンスｄβが用いられており、このβダイバージェンスは、例えば次式（１１）で表される。
【０１５４】
【数１１】
2014215461.tif 000013
【０１５５】
すなわち、βが１でも０でもない場合、式（１１）中の一番上側に示す式によりβダイバージェンスが算出される。また、β＝１である場合、式（１１）中の真ん中に示す式によりβダイバージェンスが算出される。
【０１５６】
さらに、β＝０（板倉斉藤距離）である場合、式（１１）中の一番下側に示す式によりβダイバージェンスが算出される。この場合、次式（１２）に示す演算が行われることになる。
【０１５７】
【数１２】
2014215461.tif 000014
【０１５８】
また、β＝０である場合のβダイバージェンスｄβ=0（ｘ｜ｙ）の微分は次式（１３）に示すようになる。
【０１５９】
【数１３】
2014215461.tif 000015
【０１６０】
したがって、式（９）の例では、βダイバージェンスＤ0（Ｖ｜Ｖ’）は次式（１４）に示すようになる。また、チャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈに関する偏微分は、それぞれ以下の式（１５）乃至式（１７）に示すようになる。但し、式（１４）乃至式（１７）において、減算、除算、および対数演算は全て要素ごとに計算される。
【０１６１】
【数１４】
2014215461.tif 000016
【０１６２】
【数１５】
2014215461.tif 000017
【０１６３】
【数１６】
2014215461.tif 000018
【０１６４】
【数１７】
2014215461.tif 000019
【０１６５】
続いて、チャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈを同時に表すパラメータθを用いて、非負値テンソル分解（NTF）の更新式を表現すると、次式（１８）に示すようになる。但し、式（１８）において、記号「・」は要素ごとの乗算を表しており、除算は要素ごとに計算される。
【０１６６】
【数１８】
2014215461.tif 000020
【０１６７】
なお、式（１８）において、［∇θＤ0（Ｖ|Ｖ’）］+および［∇θＤ0（Ｖ|Ｖ’）］-は、それぞれ関数∇θＤ0（Ｖ|Ｖ’）の正の部分および負の部分を表している。
【０１６８】
したがって、式（９）の制約関数を考慮しない場合における非負値テンソル分解（NTF）の更新式は、次式（１９）乃至式（２１）に示す式となる。但し、式（１９）乃至式（２１）において、階乗および除算は全て要素ごとに計算される。
【０１６９】
【数１９】
2014215461.tif 000021
【０１７０】
【数２０】
2014215461.tif 000022
【０１７１】
【数２１】
2014215461.tif 000023
【０１７２】
なお、式（１９）乃至式（２１）において記号「ｏ」は行列の直積を表している。すなわち、ＡがiA×Ｐ行列であり、ＢがiB×Ｐ行列である場合、「ＡｏＢ」はiA×iB×Ｐの三次元テンソルを表している。
【０１７３】
また、〈Ａ，Ｂ〉{C},{D}はテンソルの収縮積と呼ばれ、以下の式（２２）で表される。但し、式（２２）では、式中の各文字は、以上において説明してきた行列等を表す記号とは関連がないものとする。
【０１７４】
【数２２】
2014215461.tif 000024
【０１７５】
上述したコスト関数Ｃでは、βダイバージェンスｄβに加えて周波数行列Ｗの制約関数Ｓ（Ｗ）と、時間行列Ｈの制約関数Ｔ（Ｈ）が考慮されており、それぞれのコスト関数Ｃへの影響度が重みδおよびεで制御されている。
【０１７６】
この例では、時間行列Ｈの基底インデクスｐが近い成分同士が強い相関を保持し、基底インデクスｐが遠い成分同士が弱い相関を保持するように制約関数Ｔ（Ｈ）が加えられる。これは、一つの点音源がいくつかの基底スペクトログラムＶp’に分解された際に、可能な限り特定の方向に同じ性質の音源を集約させる狙いがあるからである。
【０１７７】
また、ペナルティ制御値である重みδおよびεは、例えばδ＝0，ε＝0.2などとされるが、ペナルティ制御値は他の値であってもよい。但し、ペナルティ制御値の値によっては一つの点音源が指定方向とは異なる場所に現れることがあるので実験の繰り返しによる値の決定が必要である。
【０１７８】
さらに、例えば制約関数Ｓ（Ｗ）、および制約関数Ｔ（Ｈ）は、それぞれ次式（２３）および式（２４）に示す関数とされる。また、制約関数Ｓ（Ｗ）、および制約関数Ｔ（Ｈ）をそれぞれ偏微分して得られる関数∇WＳ（Ｗ）、および関数∇HＴ（Ｈ）は、それぞれ式（２５）および式（２６）に示す関数とされる。
【０１７９】
【数２３】
2014215461.tif 000025
【０１８０】
【数２４】
2014215461.tif 000026
【０１８１】
【数２５】
2014215461.tif 000027
【０１８２】
【数２６】
2014215461.tif 000028
【０１８３】
なお、式（２４）において記号「・」は要素同士の乗算を示しており、｜・｜1はＬ１ノルムを表している。
【０１８４】
また、式（２４）および式（２６）において、ＢはサイズがＰ×Ｐである相関制御行列を示している。さらに、相関制御行列Ｂの対角成分は０とされ、相関制御行列Ｂの非対角成分は対角成分から遠ざかるほど線形に１に近づく値になるようにされている。
【０１８５】
時間行列Ｈの共分散行列が求められ、相関制御行列Ｂと要素ごとの乗算を行なった結果、遠い基底インデクスｐ同士の相関が強い場合、より大きな値がコスト関数Ｃに加算されるが、逆に近い基底インデクスｐ同士の相関が同等に強い場合は、大きな値がコスト関数Ｃに反映されない。そのため、近い基底同士が似通った性質を持つように学習される。
【０１８６】
上述した式（９）の例では、制約関数の導入により、周波数行列Ｗと時間行列Ｈの更新式は、次式（２７）および式（２８）に示すようになる。なお、チャネル行列Ｑに関しては変更がない。つまり更新は行なわれない。
【０１８７】
【数２７】
2014215461.tif 000029
【０１８８】
【数２８】
2014215461.tif 000030
【０１８９】
このように、チャネル行列Ｑの更新は行なわれず、周波数行列Ｗと時間行列Ｈの更新のみが行なわれる。なお、チャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈは、ともにランダムな非負値により初期化が行なわれるが、ユーザが任意の値を指定するようにしてもよい。
【０１９０】
以上のようにして、音源分解部２３は式（２７）および式（２８）により周波数行列Ｗと時間行列Ｈを更新しながら、式（９）のコスト関数Ｃの最小化を行なうことで、最適化されたチャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈを求める。
【０１９１】
そして、得られたチャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈが、音源分解部２３から音源選択部２４に供給される。
【０１９２】
〈音源選択部について〉
次に、音源選択部２４について説明する。
【０１９３】
音源選択部２４では、音源分解部２３から供給されたチャネル行列Ｑが用いられて、Ｐ個の基底スペクトログラムＶp’が、大域音と局所音のグループに分けられる。つまり、各基底スペクトログラムＶp’は、大域音と局所音の何れかのグループに分類される。
【０１９４】
具体的には、例えば音源選択部２４は、次式（２９）を計算して、チャネル行列Ｑを正規化する。
【０１９５】
【数２９】
2014215461.tif 000031
【０１９６】
そして音源選択部２４は、正規化後のチャネル行列Ｑ、つまりＰ個の基底ごとの要素［Ｑ］j,pについて、予め定めた閾値ｔjを用いて次式（３０）の演算を行なうことで基底スペクトログラムＶp’、すなわち基底ｐのグループ化を行なう。具体的には音源選択部２４は大域音に属する基底ｐの集合を大域音集合Ｚとする。
【０１９７】
【数３０】
2014215461.tif 000032
【０１９８】
例えば閾値ｔjの値がチャネルｊごとに定められており、所定の基底インデクスｐについて、チャネルｊごとに要素［Ｑ］j,pのチャネルインデクスｊにより示される値（チャネルｊへの寄与度を示す値）と、閾値ｔjの値とが比較される。そして、その比較の結果、全てのチャネルｊについて、［Ｑ］j,pの値が閾値ｔj以下である場合、その基底インデクスがｐである基底ｐは、大域音集合Ｚに属するとされる。
【０１９９】
ここで、閾値ｔjの値は抽出しようとする音源の位置と、各チャネルの音声を収音したマイクロホンＭ１１の位置との関係に基づいて定められる。
【０２００】
例えば、遠方に位置する一または複数の音源から発せられる大域音を抽出しようとする場合、音源と各マイクロホンＭ１１とはある程度の距離だけ離れて配置されている。そのため、上述したようにチャネル行列Ｑにおける大域音の成分を含む要素［Ｑ］j,pの各値、つまり各チャネルへの寄与度を示す値は、ほぼ均等な値となるはずである。
【０２０１】
そこで、閾値ｔjの各チャネルｊの値を、ある程度の大きさをもつほぼ均等な値とすることで、大域音の成分を含む基底ｐを特定することができる。具体的には、例えば総チャネル数Ｊ＝２である場合には、閾値ｔj＝［0.9，0.9］Tとされる。
【０２０２】
この場合、例えば図６に示した例では、ベクトルＶＣ１４で表されるチャネル行列の要素［Ｑ］:,3＝［0.5,0.5］Tについては、全てのチャネルｊにおいて要素［Ｑ］:,3の各値が閾値ｔj以下である。そのため、この基底ｐ＝３は大域音集合Ｚに属するものとして選択される。
【０２０３】
なお、全ての局所音からなる局所音集合Ｚ’を求めたい場合には、大域音集合Ｚに含まれない基底ｐを選択すればよい。
【０２０４】
また、ある特定のマイクロホンＭ１１により収音された局所音からなる局所音集合Ｚ’’を求めたい場合には、例えば閾値ｔj＝［0.99，0.01］Tなどとし、全チャネルｊにおいて［Ｑ］j,pの値が閾値ｔj以下となる基底ｐを局所音集合Ｚ’’に属す基底とすればよい。この例ではチャネルｊ＝０の局所音のみを抽出することができる。
【０２０５】
このように、特定のマイクロホンＭ１１でのみ収音される局所音を抽出する場合には、その特定のマイクロホンＭ１１に対応するチャネルの閾値ｔjの値をある程度大きい値とし、他のチャネルの閾値ｔjの値を小さくすればよい。
【０２０６】
大域音集合Ｚが得られると、音源選択部２４は、大域音集合Ｚに属す基底ｐのみを再合成して大域スペクトログラムＶZ’を生成する。
【０２０７】
具体的には音源選択部２４は、大域音集合Ｚに属す基底ｐの成分、つまり基底インデクスがｐであるチャネル行列Ｑの要素ｑjp、周波数行列Ｗの要素ｗkp、および時間行列Ｈの要素ｈlpを、それらの各行列から抽出する。そして、音源選択部２４は、抽出した要素ｑjp、要素ｗkp、および要素ｈlpに基づいて次式（３１）を計算し、大域スペクトログラムＶZ’の要素ｖZ{jkl}’を求める。
【０２０８】
【数３１】
2014215461.tif 000033
【０２０９】
さらに、音源選択部２４は、各要素ｖZ{jkl}’を合成して得られる大域スペクトログラムＶZ’、上述した式（１０）から求まる近似スペクトログラムＶ’、および時間周波数変換部２２からの入力複素スペクトログラムＸに基づいて、出力複素スペクトログラムＹを生成する。
【０２１０】
具体的には、音源選択部２４は次式（３２）を計算することにより、大域音の複素スペクトログラムである出力複素スペクトログラムＹを求める。なお、式（３２）において、記号「・」は要素同士の乗算を示しており、式（３２）において除算は要素ごとに行なわれる。
【０２１１】
【数３２】
2014215461.tif 000034
【０２１２】
式（３２）では、大域スペクトログラムＶZ’と近似スペクトログラムＶ’の比に、入力複素スペクトログラムＸを乗算することで出力複素スペクトログラムＹが算出される。この計算により、入力複素スペクトログラムＸにおける大域音の成分のみが抽出されて出力複素スペクトログラムＹとされる。
【０２１３】
音源選択部２４は、得られた出力複素スペクトログラムＹ、すなわち出力複素スペクトログラムＹを構成する各出力複素スペクトルＹ（ｊ，ｋ，ｌ）を周波数時間変換部２５に供給する。
【０２１４】
〈周波数時間変換部について〉
周波数時間変換部２５では、音源選択部２４から供給された、周波数情報としての出力複素スペクトルＹ（ｊ，ｋ，ｌ）の周波数時間変換が行なわれ、後段に出力されるマルチチャネル出力信号ｙ（ｊ，ｔ）が生成される。
【０２１５】
なお、ここでは逆離散フーリエ変換（IDFT（Inverse Discrete Fourier Transform））が用いられる場合について説明するが、時間周波数変換部２２で行なわれた変換の逆変換に相当する変換が行なわれるようにすれば、どのような変換であってもよい。
【０２１６】
具体的には、周波数時間変換部２５は、出力複素スペクトルＹ（ｊ，ｋ，ｌ）に基づいて次式（３３）および式（３４）を計算することで、マルチチャネル出力フレーム信号ｙ’（ｊ，ｎ，ｌ）を算出する。
【０２１７】
【数３３】
2014215461.tif 000035
【０２１８】
【数３４】
2014215461.tif 000036
【０２１９】
そして、周波数時間変換部２５は、得られたマルチチャネル出力フレーム信号ｙ’（ｊ，ｎ，ｌ）に対して次式（３５）に示す窓関数ｗsyn（ｎ）を乗算し、式（３６）に示すオーバーラップ加算を行うことでフレーム合成を行う。
【０２２０】
【数３５】
2014215461.tif 000037
【０２２１】
【数３６】
2014215461.tif 000038
【０２２２】
式（３６）のオーバーラップ加算では、更新前のマルチチャネル出力信号ｙ（ｊ，ｎ＋ｌ×Ｎ）であるマルチチャネル出力信号ｙprev（ｊ，ｎ＋ｌ×Ｎ）に対して、窓関数ｗsyn（ｎ）が乗算されたマルチチャネル出力フレーム信号ｙ’（ｊ，ｎ，ｌ）が加算される。そして、その結果得られたマルチチャネル出力信号ｙcurr（ｊ，ｎ＋ｌ×Ｎ）が新たな更新後のマルチチャネル出力信号ｙ（ｊ，ｎ＋ｌ×Ｎ）とされる。このようにマルチチャネル出力信号ｙ（ｊ，ｎ＋ｌ×Ｎ）に対して、各フレームのマルチチャネル出力フレーム信号が加算されていき、最終的なマルチチャネル出力信号ｙ（ｊ，ｎ＋ｌ×Ｎ）が得られる。
【０２２３】
周波数時間変換部２５は、最終的に得られたマルチチャネル出力信号ｙ（ｊ，ｎ＋ｌ×Ｎ）を、マルチチャネル出力信号ｙ（ｊ，ｔ）として後段に出力する。すなわち、マルチチャネル出力信号ｙ（ｊ，ｔ）が大域音抽出装置１１の出力とされる。
【０２２４】
なお、式（３５）では窓関数ｗsyn（ｎ）として、時間周波数変換部２２で用いられた窓関数ｗana（ｎ）と同じものが用いられているが、時間周波数変換部２２で用いられる窓関数がハミング窓など、その他の窓である場合には、窓関数ｗsyn（ｎ）として矩形窓が用いられてもよい。
【０２２５】
〈音源抽出処理の説明〉
次に、図７のフローチャートを参照して、大域音抽出装置１１により行なわれる音源抽出処理について説明する。この音源抽出処理は、信号同期部２１に複数のマイクロホンＭ１１から入力信号Ｓj（ｔ）が供給されると開始される。
【０２２６】
ステップＳ１１において、信号同期部２１は、供給された入力信号Ｓj（ｔ）の時間同期を行なう。
【０２２７】
すなわち、信号同期部２１は、入力信号Ｓj（ｔ）のうちの各対象入力信号Ｓj（ｔ）について、上述した式（１）を計算することで相互相関値Ｒj（γ）を算出する。さらに、信号同期部２１は、得られた相互相関値Ｒj（γ）に基づいて式（２）および式（３）の演算を行なって擬似マルチチャネル入力信号ｘ（ｊ，ｔ）を求め、時間周波数変換部２２に供給する。
【０２２８】
ステップＳ１２において、時間周波数変換部２２は、信号同期部２１から供給された擬似マルチチャネル入力信号ｘ（ｊ，ｔ）に対して時間フレーム分割を行って、その結果得られた擬似マルチチャネル入力フレーム信号に窓関数を乗算することで、窓関数適用信号ｘW（ｊ，ｎ，ｌ）を求める。例えば、式（４）の計算により窓関数適用信号ｘW（ｊ，ｎ，ｌ）が算出される。
【０２２９】
ステップＳ１３において、時間周波数変換部２２は、窓関数適用信号ｘW（ｊ，ｎ，ｌ）に対する時間周波数変換を行なって入力複素スペクトルＸ（ｊ，ｋ，ｌ）を算出し、入力複素スペクトルからなる入力複素スペクトログラムＸを音源選択部２４に供給する。例えば式（６）および式（７）の計算が行なわれ、入力複素スペクトルＸ（ｊ，ｋ，ｌ）が算出される。
【０２３０】
ステップＳ１４において、時間周波数変換部２２は、入力複素スペクトルＸ（ｊ，ｋ，ｌ）を非負値化し、得られた非負値スペクトルＶ（ｊ，ｋ，ｌ）からなる非負値スペクトログラムＶを音源分解部２３に供給する。例えば、式（８）の計算が行なわれて非負値スペクトルＶ（ｊ，ｋ，ｌ）が算出される。
【０２３１】
ステップＳ１５において、音源分解部２３は、時間周波数変換部２２から供給された非負値スペクトログラムＶに基づいてコスト関数Ｃを最小化することで、チャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈの最適化を行なう。
【０２３２】
例えば、音源分解部２３は、式（２７）および式（２８）に示される更新式により行列更新を行いながら、式（９）に示すコスト関数Ｃを最小化することで、テンソル分解によりチャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈを求める。
【０２３３】
そして、音源分解部２３は、得られたチャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈを音源選択部２４に供給する。
【０２３４】
ステップＳ１６において、音源選択部２４は、音源分解部２３から供給されたチャネル行列Ｑに基づいて、大域音に属する基底からなる大域音集合Ｚを求める。
【０２３５】
具体的には、音源選択部２４は上述した式（２９）の計算を行なってチャネル行列Ｑを正規化し、さらに式（３０）の演算を行なうことで、要素［Ｑ］j,pと閾値ｔjとを比較して、大域音集合Ｚを求める。
【０２３６】
ステップＳ１７において、音源選択部２４は音源分解部２３からのチャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈと、時間周波数変換部２２からの入力複素スペクトログラムＸとに基づいて出力複素スペクトログラムＹを生成する。
【０２３７】
具体的には、音源選択部２４は、大域音集合Ｚに属す基底ｐについて式（３１）を計算し、大域スペクトログラムＶZ’を求めるとともに、チャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈに基づいて式（１０）を計算し、近似スペクトログラムＶ’を求める。
【０２３８】
さらに、音源選択部２４は、大域スペクトログラムＶZ’、近似スペクトログラムＶ’、および入力複素スペクトログラムＸに基づいて式（３２）を計算して、入力複素スペクトログラムＸから大域音の成分を抽出し、出力複素スペクトログラムＹとする。そして、音源選択部２４は、得られた出力複素スペクトログラムＹを周波数時間変換部２５に供給する。
【０２３９】
ステップＳ１８において、周波数時間変換部２５は、音源選択部２４から供給された出力複素スペクトログラムＹに対する周波数時間変換を行なう。例えば式（３３）および式（３４）の計算が行なわれて、マルチチャネル出力フレーム信号ｙ’（ｊ，ｎ，ｌ）が算出される。
【０２４０】
ステップＳ１９において、周波数時間変換部２５は、マルチチャネル出力フレーム信号ｙ’（ｊ，ｎ，ｌ）に窓関数を乗算してオーバーラップ加算することでフレーム合成を行い、その結果得られたマルチチャネル出力信号ｙ（ｊ，ｔ）を出力し、音源抽出処理は終了する。例えば、式（３６）の計算が行なわれてマルチチャネル出力信号が算出される。
【０２４１】
以上のようにして大域音抽出装置１１は、テンソル分解により非負値スペクトログラムをチャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈに分解する。そして、大域音抽出装置１１は、チャネル行列Ｑと閾値との比較により特定される成分を、遠方からの音声である大域音の成分であるとしてチャネル行列Ｑ、周波数行列Ｗ、および時間行列Ｈから抽出し、出力複素スペクトログラムＹを生成する。
【０２４２】
このように非負値スペクトログラムをテンソル分解して得られるチャネル行列Ｑを用いて所望の音源からの音声成分を特定することで、特殊な器具を必要とせずに、より簡単かつ確実に音源分離することができる。特に、大域音抽出装置１１によれば、適切に定められた閾値ｔjとチャネル行列Ｑとを比較することで、一または複数の音源からの大域音や、特定音源からの局所音など、所望の音源からの音声を高精度に抽出することができる。
【０２４３】
ところで、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【０２４４】
図８は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２４５】
コンピュータにおいて、CPU（Central Processing Unit）２０１，ROM（Read Only Memory）２０２，RAM（Random Access Memory）２０３は、バス２０４により相互に接続されている。
【０２４６】
バス２０４には、さらに、入出力インターフェース２０５が接続されている。入出力インターフェース２０５には、入力部２０６、出力部２０７、記録部２０８、通信部２０９、及びドライブ２１０が接続されている。
【０２４７】
入力部２０６は、キーボード、マウス、マイクロホン、撮像素子などよりなる。出力部２０７は、ディスプレイ、スピーカなどよりなる。記録部２０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部２０９は、ネットワークインターフェースなどよりなる。ドライブ２１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア２１１を駆動する。
【０２４８】
以上のように構成されるコンピュータでは、CPU２０１が、例えば、記録部２０８に記録されているプログラムを、入出力インターフェース２０５及びバス２０４を介して、RAM２０３にロードして実行することにより、上述した一連の処理が行われる。
【０２４９】
コンピュータ（CPU２０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア２１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【０２５０】
コンピュータでは、プログラムは、リムーバブルメディア２１１をドライブ２１０に装着することにより、入出力インターフェース２０５を介して、記録部２０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部２０９で受信し、記録部２０８にインストールすることができる。その他、プログラムは、ROM２０２や記録部２０８に、あらかじめインストールしておくことができる。
【０２５１】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２５２】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２５３】
例えば、本技術は、一つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【０２５４】
また、上述のフローチャートで説明した各ステップは、一つの装置で実行する他、複数の装置で分担して実行することができる。
【０２５５】
さらに、一つのステップに複数の処理が含まれる場合には、その一つのステップに含まれる複数の処理は、一つの装置で実行する他、複数の装置で分担して実行することができる。
【０２５６】
さらに、本技術は、以下の構成とすることも可能である。
【０２５７】
［１］
複数チャネルの音声信号を時間周波数変換して得られた周波数情報を、チャネル方向の性質を表すチャネル行列、周波数方向の性質を表す周波数行列、および時間方向の性質を表す時間行列に分解する分解部と、
前記チャネル行列と閾値とを比較し、その比較結果により特定される成分を前記チャネル行列、前記周波数行列、および前記時間行列から抽出して、所望の音源からの音声の前記周波数情報を生成する抽出部と
を備える音声処理装置。
［２］
前記抽出部は、前記時間周波数変換により得られた前記周波数情報と、前記チャネル行列、前記周波数行列、および前記時間行列とに基づいて、前記音源からの音声の前記周波数情報を生成する
［１］に記載の音声処理装置。
［３］
前記閾値は、前記音源の位置と、各チャネルの音声信号の音声を収音する収音部の位置との関係に基づいて定められる
［１］または［２］に記載の音声処理装置。
［４］
前記閾値は、前記チャネルごとに定められる
［１］乃至［３］の何れかに記載の音声処理装置。
［５］
互いに異なる機器で収音された複数の音声信号を同期させ、前記複数チャネルの音声信号を生成する信号同期部をさらに備える
［１］乃至［４］の何れかに記載の音声処理装置。
［６］
前記分解部は、前記周波数情報をチャネル、周波数、および時間フレームを各次元とする三次元テンソルとみなし、テンソル分解を行なうことで前記周波数情報を前記チャネル行列、前記周波数行列、および前記時間行列に分解する
［１］乃至［５］の何れかに記載の音声処理装置。
［７］
前記テンソル分解は非負値テンソル分解である
［６］に記載の音声処理装置。
［８］
前記抽出部で得られた、前記音源からの音声の前記周波数情報を周波数時間変換して、複数チャネルの音声信号を生成する周波数時間変換部をさらに備える
［１］乃至［７］の何れかに記載の音声処理装置。
［９］
前記抽出部は、所望の一または複数の前記音源からの音声成分が含まれる前記周波数情報を生成する
［１］乃至［８］の何れかに記載の音声処理装置。
【符号の説明】
【０２５８】
１１  大域音抽出装置，  ２１  信号同期部，  ２２  時間周波数変換部，  ２３  音源分解部，  ２４  音源選択部，  ２５  周波数時間変換部
【図１】
2014215461.tif 000039
【図２】
2014215461.tif 000040
【図３】
2014215461.tif 000041
【図４】
2014215461.tif 000042
【図５】
2014215461.tif 000043
【図６】
2014215461.tif 000044
【図７】
2014215461.tif 000045
【図８】
2014215461.tif 000046