(57)【要約】【課題】音響信号の特定成分を非負値行列因子分解の演算対象として高精度な音源分離を実現する。【解決手段】行列生成部３４は、音響信号ＳAのうち第１音源の音響が優勢な各時間周波数成分ｙ(m,n)に対応する要素ｑ(m,n)が数値１に設定されるとともに残余の各要素ｑ(m,n)が０に設定された分離行列Ｑを生成する。行列分解部３６は、分離行列Ｑにて数値１に設定された要素ｑ(m,n)に対応する各時間周波数成分ｙ(m,n)を演算対象として、第１音源の基底行列Ｆを教師情報として利用した非負値行列因子分解の更新演算を反復することで、音響信号ＳAの各時間周波数成分ｙ(m,n)を配列した観測行列Ｙから、基底行列Ｆに対応する係数行列Ｇと第２音源の基底行列Ｈと基底行列Ｈに対応する係数行列Ｕとを算定する。行列分解部３６は、係数行列Ｇの各要素を抑圧することを拘束条件とした非負値行列因子分解を実行する。【選択図】図１
2014215544.tif 000002
【特許請求の範囲】
【請求項１】
複数の音源の音響の混合音を表す音響信号の各時間周波数成分に対応する要素を含み、前記複数の音源のうち第１音源の音響が優勢な各時間周波数成分に対応する要素が当該時間周波数成分を維持する維持値に設定されるとともに残余の各時間周波数成分に対応する要素が当該時間周波数成分を抑圧する抑圧値に設定された分離行列を生成する行列生成手段と、
前記分離行列にて維持値に設定された要素に対応する各時間周波数成分を演算対象として、前記第１音源の音響の各成分のスペクトルを表す複数の基底ベクトルを含む第１基底行列を教師情報として利用した非負値行列因子分解の更新演算を反復することで、前記音響信号の各時間周波数成分を配列した観測行列から、前記第１基底行列の各基底ベクトルに対応する複数の係数ベクトルを含む第１係数行列と、前記第１音源とは相違する第２音源の音響の各成分のスペクトルを表す複数の基底ベクトルを含む第２基底行列と、前記第２基底行列の各基底ベクトルに対応する複数の係数ベクトルを含む第２係数行列とを算定する行列分解手段とを具備し、
前記行列分解手段は、前記第１係数行列の各要素を抑圧することを拘束条件とした非負値行列因子分解を実行する
音響処理装置。
【請求項２】
前記行列分解手段は、前記分離行列の各要素について維持値と抑圧値とを反転させた反転分離行列の各要素を前記第１基底行列と前記第１係数行列との行列積の各要素に乗算した制約対象行列のノルムを減少させることを前記拘束条件とした非負値行列因子分解を実行する
請求項１の音響処理装置。
【請求項３】
前記行列分解手段は、前記分離行列における維持値の個数に応じて前記更新演算における前記拘束条件の影響の度合を可変に制御する
請求項１または請求項２の音響処理装置。
【請求項４】
前記行列分解手段は、前記分離行列における維持値の個数に応じた指標値が閾値を上回る場合に前記拘束条件のもとで非負値行列因子分解を実行し、前記指標値が前記閾値を下回る場合には前記拘束条件を解除する
請求項１または請求項２の音響処理装置。
【請求項５】
複数の音源の音響の混合音を表す音響信号の各時間周波数成分に対応する要素を含み、前記複数の音源のうち第１音源の音響が優勢な各時間周波数成分に対応する要素が当該時間周波数成分を維持する維持値に設定されるとともに残余の各時間周波数成分に対応する要素が当該時間周波数成分を抑圧する抑圧値に設定された分離行列を生成する行列生成手段と、
前記分離行列にて維持値に設定された要素に対応する各時間周波数成分を演算対象として、前記第１音源の音響の各成分のスペクトルを表す複数の基底ベクトルを含む第１基底行列を教師情報として利用した非負値行列因子分解の更新演算を反復することで、前記音響信号の各時間周波数成分を配列した観測行列から、前記第１基底行列の各基底ベクトルに対応する複数の係数ベクトルを含む第１係数行列と、前記第１音源とは相違する第２音源の音響の各成分のスペクトルを表す複数の基底ベクトルを含む第２基底行列と、前記第２基底行列の各基底ベクトルに対応する複数の係数ベクトルを含む第２係数行列とを算定する行列分解手段とを具備し、
前記行列分解手段は、前記第１基底行列と前記第１係数行列との行列積のうち前記分離行列にて抑圧値に設定された要素に対応する時間周波数成分の時間的な変動を抑制することを拘束条件とした非負値行列因子分解を実行する
音響処理装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音響信号を音源毎に分離する技術に関する。
【背景技術】
【０００２】
相異なる音源が発生した複数の音響の混合音を音源毎の音響に分離する音源分離技術が従来から提案されている。例えば非特許文献１には、特定の音源の音響特性を表す基底行列を教師情報とする教師有非負値行列因子分解（ＳＮＭＦ：Semi-supervised Nonnegative Matrix Factorization）を利用した音源分離技術が開示されている。また、非特許文献２には、複数のチャネルの音響信号から特定される各音源の空間的な位置を利用した空間的音源分離を教師有非負値行列因子分解と併用することが開示されている。具体的には、音響信号の各時点における各周波数の成分（以下「時間周波数成分」という）を音源方向毎に分類（クラスタリング）し、目標方向に音源が位置する成分を音響信号から分離したうえで、非特許文献１と同様の非負値行列因子分解を実行する。
【先行技術文献】
【非特許文献】
【０００３】
【非特許文献１】K. Yagi, et. al., "Music Signal Separation by Orthogonality and Maximum-Distance Constrained Nonnegative Matrix Factorization with Target Signal Information", Proc. of Audio Engineering Society 45th International Conference Applications of Time-Frequency Processing in Audio (AES45th), March 2012
【非特許文献２】Y. Iwao, et. al., "Stereo Music Signal Separation Combining Directional Clustering and Nonnegative Matrix Factorization". Proc. the 12th IEEE international Symposium on Signal Processing and Information Technology (ISSPIT 2012), December 2012
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかし、非特許文献２のように音響信号の各時間周波数成分を複数のクラスの何れかに択一的に分類する構成（ハードクラスタリング）では、空間的音源分離の実行後の音響信号について、時間-周波数領域内の多数の地点で時間周波数成分の欠落（強度ゼロ）が発生し、教師情報の基底行列が表す音響特性から乖離する結果、高精度な音源分離が困難であるという問題がある。なお、以上の説明では、音響信号のうち非負値行列因子分解の対象となる特定成分を空間的音源分離で抽出する場合を便宜的に例示したが、音響信号の特定成分を演算対象とする非負値行列因子分解では、特定成分の抽出方法の如何に拘わらず同様の問題が発生し得る。以上の事情を考慮して、本発明は、音響信号の特定成分を演算対象として非負値行列因子分解を実行する構成のもとで高精度な音源分離を実現することを目的とする。
【課題を解決するための手段】
【０００５】
以上の課題を解決するために、本発明の第１態様に係る音響処理装置は、複数の音源の音響の混合音を表す音響信号の各時間周波数成分に対応する要素を含み、複数の音源のうち第１音源の音響が優勢な各時間周波数成分に対応する要素が当該時間周波数成分を維持する維持値に設定されるとともに残余の各時間周波数成分に対応する要素が当該時間周波数成分を抑圧する抑圧値に設定された分離行列（例えば分離行列Ｑ）を生成する行列生成手段と、分離行列にて維持値に設定された要素に対応する各時間周波数成分を演算対象として、第１音源の音響の各成分のスペクトルを表す複数の基底ベクトルを含む第１基底行列（例えば基底行列Ｆ）を教師情報として利用した非負値行列因子分解の更新演算を反復することで、音響信号の各時間周波数成分を配列した観測行列から、第１基底行列の各基底ベクトルに対応する複数の係数ベクトルを含む第１係数行列（例えば係数行列Ｇ）と、第１音源とは相違する第２音源の音響の各成分のスペクトルを表す複数の基底ベクトルを含む第２基底行列（例えば基底行列Ｈ）と、第２基底行列の各基底ベクトルに対応する複数の係数ベクトルを含む第２係数行列（例えば係数行列Ｕ）とを算定する行列分解手段とを具備し、行列分解手段は、第１係数行列の各要素を抑圧することを拘束条件（例えば後述の第１拘束条件）とした非負値行列因子分解を実行する。分離行列にて維持値に設定された要素に対応する各時間周波数成分を演算対象とする非負値行列因子分解では、教師情報として利用される第１基底行列に対応した第１係数行列の各要素が過度に大きい数値に設定される可能性がある。本発明の第１態様に係る音響処理装置では、第１係数行列の各要素を抑制することを拘束条件とした非負値行列因子分解が実行されるから、第１係数行列の各要素が過度に大きい数値に設定される可能性が低減される。したがって、高精度な音源分離を実現することが可能である。
【０００６】
本発明の好適な態様において、行列分解手段は、分離行列の各要素について維持値と抑圧値とを反転させた反転分離行列（例えば反転分離行列/Ｑ）の各要素を第１基底行列と第１係数行列との行列積の各要素に乗算した制約対象行列（例えば制約対象行列｛/Ｑ.×(ＦＧ)｝）のノルムを減少させることを拘束条件とした非負値行列因子分解を実行する。以上の態様では、反転分離行列の要素を第１基底行列と第１係数行列との行列積の各要素に乗算した制約対象行列のノルムを減少させることを拘束条件として非負値行列因子分解が実行されるから、音源分離の精度が向上するという前述の効果は格別に顕著である。
【０００７】
分離行列にて維持値に設定された要素に対応する各時間周波数成分を演算対象とする非負値行列因子分解において第１係数行列の各要素が過度に大きい数値に設定され得るという前述の問題は、分離行列における維持値の個数が少ない（第１音源の音響が優勢な時間周波数成分が少ない）ほど顕在化する。以上の事情を考慮すると、分離行列における維持値の個数に応じて更新演算における拘束条件の影響の度合を可変に制御する構成や、分離行列における維持値の個数に応じた指標値が閾値を上回る場合に拘束条件のもとで非負値行列因子分解を実行し、指標値が閾値を下回る場合には拘束条件を解除する構成が好適である。
【０００８】
本発明の第２態様に係る音響処理装置は、複数の音源の音響の混合音を表す音響信号の各時間周波数成分に対応する要素を含み、複数の音源のうち第１音源の音響が優勢な各時間周波数成分に対応する要素が当該時間周波数成分を維持する維持値に設定されるとともに残余の各時間周波数成分に対応する要素が当該時間周波数成分を抑圧する抑圧値に設定された分離行列（例えば分離行列Ｑ）を生成する行列生成手段と、分離行列にて維持値に設定された要素に対応する各時間周波数成分を演算対象として、第１音源の音響の各成分のスペクトルを表す複数の基底ベクトルを含む第１基底行列（例えば基底行列Ｆ）を教師情報として利用した非負値行列因子分解の更新演算を反復することで、音響信号の各時間周波数成分を配列した観測行列から、第１基底行列の各基底ベクトルに対応する複数の係数ベクトルを含む第１係数行列（例えば係数行列Ｇ）と、第１音源とは相違する第２音源の音響の各成分のスペクトルを表す複数の基底ベクトルを含む第２基底行列（例えば基底行列Ｈ）と、第２基底行列の各基底ベクトルに対応する複数の係数ベクトルを含む第２係数行列（例えば係数行列Ｕ）とを算定する行列分解手段とを具備し、行列分解手段は、第１基底行列と第１係数行列との行列積のうち分離行列にて抑圧値に設定された要素に対応する時間周波数成分（例えば時間周波数成分ｄ(m,n)）の時間的な変動を抑制することを拘束条件とした非負値行列因子分解を実行する。以上の構成では、第１基底行列と第１係数行列との行列積のうち分離行列にて抑圧値に設定された要素に対応する時間周波数成分の時間的な変動を抑制することを拘束条件とした非負値行列因子分解が実行されるから、第１係数行列の各要素が過度に大きい数値（時間軸上で不連続に変動する数値）に設定される可能性が低減される。したがって、第１態様の音響処理装置と同様に、高精度な音源分離を実現することが可能である。
【０００９】
以上の各態様に係る音響処理装置は、音響信号の処理に専用されるＤＳＰ（Digital Signal Processor）などのハードウェア（電子回路）によって実現されるほか、ＣＰＵ（Central Processing Unit）等の汎用の演算処理装置とプログラムとの協働によっても実現される。本発明のプログラムは、コンピュータが読取可能な記録媒体に格納された形態で提供されてコンピュータにインストールされ得る。記録媒体は、例えば非一過性（non-transitory）の記録媒体であり、ＣＤ-ＲＯＭ等の光学式記録媒体（光ディスク）が好例であるが、半導体記録媒体や磁気記録媒体等の公知の任意の形式の記録媒体を包含し得る。また、例えば、本発明のプログラムは、通信網を介した配信の形態で提供されてコンピュータにインストールされ得る。
【００１０】
また、以上の各態様に係る音響処理装置は、複数の音源の音響の混合音を表す音響信号の各時間周波数成分に対応する要素を含み、複数の音源のうち第１音源の音響が優勢な各時間周波数成分に対応する要素が当該時間周波数成分を維持する維持値に設定されるとともに残余の各時間周波数成分に対応する要素が当該時間周波数成分を抑圧する抑圧値に設定された分離行列を生成し、分離行列にて維持値に設定された要素に対応する各時間周波数成分を演算対象として、第１音源の音響の各成分のスペクトルを表す複数の基底ベクトルを含む第１基底行列を教師情報として利用した非負値行列因子分解の更新演算を反復することで、音響信号の各時間周波数成分を配列した観測行列から、第１基底行列の各基底ベクトルに対応する複数の係数ベクトルを含む第１係数行列と、第１音源とは相違する第２音源の音響の各成分のスペクトルを表す複数の基底ベクトルを含む第２基底行列と、第２基底行列の各基底ベクトルに対応する複数の係数ベクトルを含む第２係数行列とを算定する方法（音響処理方法）としても特定される。第１態様に係る音響処理方法では、第１係数行列の各要素を抑圧することを拘束条件とした非負値行列因子分解が実行され、第２態様に係る音響処理方法では、第１基底行列と第１係数行列との行列積のうち分離行列にて抑圧値に設定された要素に対応する時間周波数成分の時間的な変動を抑制することを拘束条件とした非負値行列因子分解が実行される。
【図面の簡単な説明】
【００１１】
【図１】本発明の第１実施形態に係る音響処理装置のブロック図である。
【図２】非負値行列因子分解の説明図である。
【図３】方位クラスタリングのフローチャートである。
【図４】対比例１の問題点の説明図である。
【図５】対比例２の問題点の説明図である。
【図６】対比例２の問題点の説明図である。
【図７】分離行列および反転分離行列の説明図である。
【図８】第１実施形態および対比例３の実験結果の図表である。
【図９】第１実施形態および対比例４の実験結果の図表である。
【図１０】第１実施形態および対比例２の実験結果の図表である。
【図１１】第２実施形態に係る音響処理装置のブロック図である。
【図１２】第２実施形態の変形例における指標値の説明図である。
【発明を実施するための形態】
【００１２】
＜第１実施形態＞
図１は、本発明の第１実施形態に係る音響処理装置１００のブロック図である。図１に示すように、音響処理装置１００には信号供給装置１２と放音装置１４とが接続される。信号供給装置１２は、空間的な位置（収音点に対する方向）または音響の音響特性が相違し得る複数の音源が発生した音響の混合音の波形を表す時間領域の音響信号ＳAを音響処理装置１００に供給する。音響信号ＳAは、Ｊ個（Ｊは２以上の自然数）のチャネルの音響信号ＳA[1]〜ＳA[J]で構成されるマルチチャネル信号である。音響信号ＳAが表す音響の複数の音源のうち空間的な位置または音響特性が既知である音源を以下では第１音源と表記し、第１音源以外の音源を以下では第２音源と表記する。第１音源および第２音源の各々は、単数または複数の音源（単音源または音源群）に相当する。周囲の音響を収音して音響信号ＳAを生成する収音機器や、可搬型または内蔵型の記録媒体から音響信号ＳAを取得して音響処理装置１００に供給する再生装置や、通信網から音響信号ＳAを受信して音響処理装置１００に供給する通信装置が信号供給装置１２として利用され得る。
【００１３】
第１実施形態の音響処理装置１００は、信号供給装置１２から供給される音響信号ＳAに対する音源分離で音響信号ＳBを生成する信号処理装置（音源分離装置）である。音響信号ＳBは、音響信号ＳAのうち第１音源および第２音源の一方の音響を分離（抽出または抑圧）した時間領域信号である。具体的には、第１音源および第２音源のうち例えば利用者が選択した音源の音響を抽出した音響信号ＳBが生成される。すなわち、音響信号ＳAが音源毎に分離される。放音装置１４（例えばスピーカやヘッドホン）は、音響処理装置１００が生成した音響信号ＳBに応じた音波を放射する。
【００１４】
図１に示すように、音響処理装置１００は、演算処理装置２２と記憶装置２４とを具備するコンピュータシステムで実現される。記憶装置２４は、演算処理装置２２が実行するプログラムや演算処理装置２２が使用する各種のデータ（例えば基底行列Ｆ）を記憶する。半導体記録媒体や磁気記録媒体等の公知の記録媒体や複数種の記録媒体の組合せが記憶装置２４として任意に採用され得る。音響信号ＳAを記憶装置２４に記憶した構成（したがって、信号供給装置１２は省略され得る）も好適である。
【００１５】
演算処理装置２２は、記憶装置２４に記憶されたプログラムを実行することで、音響信号ＳAから音響信号ＳBを生成するための複数の機能（周波数分析部３２，行列生成部３４，行列分解部３６，波形合成部３８）を実現する。演算処理装置２２の各要素による処理は、音響信号ＳAを時間軸上で区分した単位区間（フレーム）のＮ個分を単位として順次に実行される（Ｎは２以上の自然数）。なお、演算処理装置２２の各機能を複数の装置に分散した構成や、専用の電子回路（例えばＤＳＰ）が演算処理装置２２の一部の機能を実現する構成も採用され得る。
【００１６】
周波数分析部３２は、短時間フーリエ変換等の周波数分析を音響信号ＳAに対して実行する。具体的には、周波数分析部３２は、音響信号ＳA（例えば音響信号ＳA[1]〜ＳA[J]の平均や合計、または音響信号ＳA[1]〜ＳA[J]の何れか）から観測行列Ｙを生成する。観測行列Ｙは、図２に例示される通り、各時間周波数成分ｙ(m,n)（ｙ(1,1)〜ｙ(M,N)）を縦方向および横方向に配列したＭ行Ｎ列の行列である。記号ｍは、周波数軸上に設定されたＭ個の周波数（周波数ビン）のうち任意の１個を指示する変数であり（ｍ＝１〜Ｍ）、記号ｎは、時間軸上のＮ個の単位区間のうち任意の１個を指示する変数である（ｎ＝１〜Ｎ）。任意の１個の時間周波数成分ｙ(m,n)は、時間軸上の第ｎ番目の単位区間内の音響信号ＳAのうち周波数軸上の第ｍ番目の周波数における強度（振幅）を意味する。したがって、観測行列Ｙの第ｎ列に位置するＭ個の時間周波数成分ｙ(1,n)〜ｙ(M,n)の系列は、第ｎ番目の単位区間における音響信号ＳAの振幅スペクトルに相当する。以上の説明から理解される通り、観測行列Ｙは、Ｎ個の単位区間にわたる音響信号ＳAの振幅スペクトルの時系列（振幅スペクトログラム）を表現するＭ行Ｎ列の非負値行列である。
【００１７】
また、周波数分析部３２は、Ｊ個のチャネルの音響信号ＳA[1]〜ＳA[J]の各々について時間周波数成分ｘj(m,n)を算定する。第ｊ番目のチャネルの任意の１個の時間周波数成分ｘj(m,n)は、時間軸上の第ｎ番目の単位区間内の音響信号ＳA[j]のうち周波数軸上の第ｍ番目の周波数における強度（振幅）を意味する。周波数分析部３２は、周波数および単位区間が共通する各時間周波数成分ｘj(m,n)をＪ個のチャネルについて配列した観測ベクトルＶX(m,n)（ＶX(m,n)＝［ｘ1(m,n)，ｘ2(m,n)，……，ｘJ(m,n)］T）を各単位区間について周波数毎に生成する。記号Ｔは行列の転置を意味する。
【００１８】
図１の行列生成部３４は、音響信号ＳAから第１音源の音響を抽出するためのマスクとして利用される分離行列Ｑを生成する。第１実施形態の行列生成部３４は、方位クラスタリングを利用して分離行列Ｑを生成する。方位クラスタリングでは、Ｊ個のチャネルの音響信号ＳA[1]〜ＳA[J]から推定される各音源（音像）の空間的な方位毎に各観測ベクトルＶX(m,n)がＲ個のクラスに分類され、各クラスに分類された複数の観測ベクトルＶX(m,n)が当該クラスの空間代表ベクトルΛr(m)（Λ1(m)〜ΛR(m)）で近似的に表現される（ｒ＝１〜Ｒ）。方位クラスタリングについては非特許文献２にも記載されているが、分離行列Ｑの理解のために以下に概要を説明する。
【００１９】
図３は、方位クラスタリングのフローチャートである。方位クラスタリングを開始すると、行列生成部３４は、相異なるクラスに対応する初期的なＲ個のセントロイドＣ1(m)〜ＣR(m)を設定する（Ｓ1）。そして、行列生成部３４は、以下の数式(1)で表現される通り、各セントロイドＣr(m)と観測ベクトルＶX(m,n)との誤差Ｅ(ＶX(m,n),Ｃr(m))2が最小となるように、観測ベクトルＶX(m,n)が所属するクラスの番号Ψ(m,n)を決定する（Ｓ2）。
【数１】
2014215544.tif 000003
数式(1)から理解される通り、変数Ψ(m,n)は、観測ベクトルＶX(m,n)に最も類似するセントロイドＣr(m)に対応するクラスの番号ｒに設定される。
【００２０】
行列生成部３４は、以下の数式(2)で表現される通り、第ｒ番目のクラスに分類された複数の観測ベクトルＶX(m,n)と現時点のセントロイドＣr(m)との誤差Ｅ(ＶX(m,n),Ｃr(m))2の合計値が最小となるように第ｒ番目のクラスのセントロイドＣr(m)を更新する（Ｓ3）。数式(2)の記号Θrは、第ｒ番目のクラスに所属する観測ベクトルＶX(m,n)が生成された単位区間の集合を意味する。
【数２】
2014215544.tif 000004
【００２１】
行列生成部３４は、収束条件の成否を判定する（Ｓ4）。具体的には、ステップＳ3の更新の前後におけるセントロイドＣr(m)の変化の有無が収束条件として好適である。すなわち、更新の前後でセントロイドＣr(m)が変化した場合、行列生成部３４は、収束条件が成立しない（Ｓ4：NO）と判定して処理をステップＳ2に移行する。他方、更新の前後でセントロイドＣr(m)が変化しない場合、行列生成部３４は、収束条件が成立した（Ｓ4：YES）と判定し、直前の更新後のセントロイドＣr(m)を第ｒ番目のクラスの空間代表ベクトルΛr(m)として確定する（Ｓ5）。
【００２２】
以上に説明した図３の方位クラスタリングを実行すると、行列生成部３４は、図３のステップＳ2で設定された変数Ψ(m,n)に応じて分離行列Ｑを生成する。分離行列Ｑは、図２に例示される通り、観測行列Ｙの各時間周波数成分ｙ(m,n)に１対１に対応する要素ｑ(m,n)（ｑ(1,1)〜ｑ(M,N)）を縦方向および横方向に配列したＭ行Ｎ列の非負値行列である。分離行列Ｑの各要素ｑ(m,n)は、以下の数式(3)で表現される。
【数３】
2014215544.tif 000005
【００２３】
数式(3)の記号ηは、方位クラスタリングにおけるＲ個のクラスのうち第１音源に対応する１個のクラス（以下「目標クラス」という）の番号を意味し、第１音源の既知の方向に応じて事前に設定される。例えば、収音点の正面方向に対応するクラスを目標クラスとして分離行列Ｑが生成される。数式(3)から理解される通り、分離行列Ｑのうち変数Ψ(m,n)が番号ηである時間周波数成分（目標クラスに分類された各時間周波数成分）ｙ(m,n)に対応する要素ｑ(m,n)は数値１に設定され、変数Ψ(m,n)が番号η以外の数値である時間周波数成分（目標クラス以外のクラスに分類された各時間周波数成分）ｙ(m,n)に対応する要素ｑ(m,n)は数値０に設定される。すなわち、分離行列Ｑのうち第１音源の音響が第２音源の音響と比較して優勢な各時間周波数成分ｙ(m,n)に対応する要素ｑ(m,n)は数値１に設定され、残余の各時間周波数成分（すなわち第２音源の音響が第１音源の音響と比較して優勢な時間周波数成分）ｙ(m,n)に対応する要素ｑ(m,n)は数値０に設定される。要素ｑ(m,n)の数値１は、時間周波数成分ｙ(m,n)に乗算した場合に当該時間周波数成分ｙ(m,n)を維持する数値（維持値）に相当し、要素ｑ(m,n)の数値０は、時間周波数成分ｙ(m,n)に乗算した場合に当該時間周波数成分ｙ(m,n)を抑圧する数値（抑圧値）に相当する。
【００２４】
図１の行列分解部３６は、図２から理解される通り、周波数分析部３２が算定した観測行列Ｙの非負値行列因子分解で、第１音源に対応する第１行列Ｄ1と第２音源に対応する第２行列Ｄ2とを算定する。第１行列Ｄ1は、音響信号ＳAのうち第１音源の音響の振幅スペクトルの時系列（第１音源の音響の振幅スペクトログラム）を表現するＭ行×Ｎ列の非負値行列であり、基底行列Ｆと係数行列Ｇとの行列積として表現される。基底行列Ｆは、図２に例示される通り、第１音源の音響を構成する各成分に対応するＫ個の基底ベクトルｆ(1)〜ｆ(K)を横方向に配列したＭ行Ｋ列の非負値行列である。基底行列Ｆのうち第ｋ列（ｋ＝１〜Ｋ）の基底ベクトルｆ(k)は、周波数軸上の相異なる周波数に対応するＭ個の要素ｆ(1,k)〜ｆ(M,k)で構成され、第１音源の音響を構成するＫ個の成分（例えば第１音源が発音し得るＫ種類の音高の成分）のうち第ｋ番目の成分の振幅スペクトルに相当する。他方、係数行列Ｇは、基底行列Ｆの各基底ベクトルｆ(k)に対応するＫ個の係数ベクトルｇ(1)〜ｇ(K)を縦方向に配列したＫ行Ｎ列の非負値行列である。係数行列Ｇの第ｋ行の係数ベクトルｑ(k)は、時間軸上の相異なる単位区間に対応するＮ個の要素（係数）ｇ(k,1)〜ｇ(k,N)で構成され、基底行列Ｆの基底ベクトルｆ(k)に対する加重値（活性度）の時系列に相当する。
【００２５】
第２行列Ｄ2は、音響信号ＳAのうち第２音源の音響の振幅スペクトルの時系列（第２音源の音響の振幅スペクトログラム）を表現するＭ行×Ｎ列の非負値行列であり、基底行列Ｈと係数行列Ｕとの行列積として表現される。基底行列Ｈは、図２に例示される通り、Ｋ個の基底ベクトルｈ(1)〜ｈ(K)を横方向に配列したＭ行Ｋ列の非負値行列である。任意の１個の基底ベクトルｈ(k)は、第２音源の音響の各成分の振幅スペクトルに相当し、周波数軸上の相異なる周波数に対応するＭ個の要素ｈ(1,k)〜ｈ(M,k)で構成される。他方、係数行列Ｕは、Ｋ個の係数ベクトルｕ(1)〜ｕ(K)を縦方向に配列したＫ行Ｎ列の非負値行列である。任意の１個の係数ベクトルｕ(k)は、時間軸上の相異なる単位区間に対応するＮ個の要素ｕ(k,1)〜ｕ(k,N)で構成され、基底行列Ｈの基底ベクトルｈ(k)に対する加重値の時系列に相当する。なお、基底行列Ｆの行数（係数行列Ｇの列数）と基底行列Ｈの行数（係数行列Ｕの列数）とを相違させることも可能である。
【００２６】
第１実施形態の行列分解部３６は、事前に用意された既知の基底行列Ｆを教師情報（事前情報）として利用する教師有非負値行列因子分解で係数行列Ｇと基底行列Ｈと係数行列Ｕとを観測行列Ｙから算定する。基底行列Ｆは、既知の第１音源が単独で発音した音響（第２音源の音響を包含しない音響）から事前に生成されたうえで記憶装置２４に格納される。
【００２７】
ところで、前述の行列生成部３４が生成する分離行列Ｑでは、第１音源の音響が優勢な各時間周波数成分ｙ(m,n)に対応する要素ｑ(m,n)が数値１に設定されるとともに残余の各時間周波数成分ｙ(m,n)に対応する要素ｑ(m,n)が数値０に設定される。したがって、図４に例示される通り、観測行列Ｙの各時間周波数成分ｙ(m,n)に分離行列Ｑの各要素ｑ(m,n)を乗算する空間的音源分離で生成された行列｛Ｙ.×Ｑ｝を対象として非負値行列因子分解を実行する構成（以下「対比例１」という）が想定される。なお、記号「.×」は、行列間の要素毎の乗算（アダマール積）を意味する。
【００２８】
しかし、前掲の方位クラスタリングのように音響信号ＳAの各時間周波数成分ｙ(m,n)をＲ個のクラスの何れかに択一的に分類する構成（ハードクラスタリング）では、第２音源の音響が優勢な時間周波数成分ｙ(m,n)に対応する要素ｑ(m,n)は、当該時間周波数成分ｙ(m,n)が第１音源の音響を含有する場合でも第２音源と比較して劣勢であれば数値０（抑圧値）に設定され得る。したがって、図４から理解される通り、空間的音源分離の実行後の行列｛Ｙ.×Ｑ｝では、空間的音源分離の実行前に第１音源の音響を含有していた要素を含む多数の要素の強度が０（時間-周波数領域内の多数の地点における時間周波数成分の欠落）となり、基底行列Ｆで表現される第１音源の音響とは音響特性（周波数特性）が乖離する可能性がある。したがって、対比例１では高精度な音源分離は困難である。
【００２９】
以上の課題を解決する観点から、観測行列Ｙのうち分離行列Ｑ内で数値１に設定された要素ｑ(m,n)に対応する時間周波数成分ｙ(m,n)のみを演算対象として非負値行列因子分解の更新演算を実行する構成（以下「対比例２」という）が想定される。対比例２の非負値行列因子分解では、例えば、処理前の観測行列Ｙと処理後の行列（第１行列Ｄ1および第２行列Ｄ2との行列和）との相違（距離）を評価するための数式(4)の評価関数Φが最小化される（両者間の距離が最小化される、または、両者間の相関が最大化される）ように分離後の各行列（Ｇ,Ｈ,Ｕ）が反復的に更新される。
【数４】
2014215544.tif 000006
数式(4)の記号δ(Ｙ|ＦＧ＋ＨＵ)は、観測行列Ｙと分離後の行列｛ＦＧ＋ＨＵ｝との距離（例えばユークリッド距離）を意味する。数式(4)の評価関数Φを適用した対比例２によれば、分離行列Ｑの要素ｑ(m,n)の数値０の影響が基底行列Ｆにより補償されるから、対比例１と比較して高精度な音源分離が実現される。
【００３０】
ただし、対比例２では、第１音源の目標クラスに分類された時間周波数成分ｙ(m,n)の個数（分離行列Ｑのうち１に設定された要素ｑ(m,n)の総数）が少ない場合に、時間-周波数領域内に点在する第１音源の各時間周波数成分ｙ(m,n)が基底行列Ｆの各基底ベクトルｆ(k)の系数倍で近似されるように、係数行列Ｇの係数ベクトルｇ(k)の要素ｇ(k,n)（基底ベクトルｆ(k)のゲイン）が過度に大きい数値となる可能性がある。例えば、第１音源の音響の実際の振幅スペクトル（図５の部分(A)）のうち第ｍ1番目の周波数の時間周波数成分ｙ(m1,n)に対応する要素ｑ(m1,n)のみが方位クラスタリングの結果に応じて数値１に設定されて残余の要素ｑ(m,n)が数値０に設定された場合を想定する。以上の状況では、図５の部分(A)の振幅スペクトルのうち第ｍ1番目の周波数の時間周波数成分ｙ(m1,n)のみが演算対象とされる（図５の部分(B)）。したがって、図５の部分(C)から理解される通り、基底行列Ｆの特定の基底ベクトルｆ(k)の要素ｆ(m1,k)に係数ベクトルｇ(k)の係数ｇ(k,n)を乗算した数値が時間周波数成分ｙ(m1,n)に近似するように、係数ベクトルｇ(k)の各係数ｇ(k,n)（すなわち基底ベクトルｆ(k)のゲイン）が過度に大きい数値に設定される。以上の結果、図６に区間σとして例示される通り、第１音源の音響を強調した音響信号ＳBでは強度の発散が発生し得る。
【００３１】
以上に説明した対比例１および対比例２の課題を解決する観点から、第１実施形態では、基底行列Ｆに対応する係数行列Ｇ（各係数ベクトルｇ(k)）の各要素が抑制されるという拘束条件（以下「第１拘束条件」という）のもとで観測行列Ｙの非負値行列因子分解を実行する。具体的には、以下の数式(5)で表現される評価関数Φが最小化されるように分離後の各行列（Ｇ,Ｈ,Ｕ）が反復的に更新される。
【数５】
2014215544.tif 000007
数式(5)の右辺の第２項を最小化することが第１拘束条件に相当する。数式(5)の記号‖ ‖はノルム（例えばフロベニウスノルム）を意味し、係数λは所定の正数に設定される。また、記号/Ｑは、図７から理解される通り、分離行列Ｑの各要素ｑ(m,n)の数値０と数値１とを反転させた各要素/ｑ(m,n)（/ｑ(m,n)＝１−ｑ(m,n)）を配列したＭ行Ｎ列の行列（以下「反転分離行列」という）である。すなわち、第１実施形態の第１拘束条件は、反転分離行列/Ｑの各要素/ｑ(m,n)を基底行列Ｆと係数行列Ｇとの行列積（第１行列Ｄ1）の各要素に乗算した行列（以下「制約対象行列」という）｛/Ｑ.×(ＦＧ)｝のノルムの自乗を抑圧することに相当する。反転分離行列/Ｑでは、第１音源の音響が優勢な各時間周波数成分ｙ(m,n)に対応する要素/ｑ(m,n)が数値０に設定され、第２音源の音響が優勢な各時間周波数成分ｙ(m,n)に対応する要素/ｑ(m,n)が数値１に設定される。したがって、第１実施形態の第１拘束条件は、第１音源に対応する第１行列Ｄ1（＝ＦＧ）のうち観測行列Ｙにて第２音源の音響が優勢な時間周波数成分ｙ(m,n)に対応する要素を抑圧するための条件とも換言され得る。
【００３２】
ところで、数式(5)の評価関数Φを最小化するという条件だけでは、基底行列Ｆと基底行列Ｈとが同等となる可能性（第１音源の音響と第２音源の音響とが適切に分離できない可能性）がある。以上の事情を考慮して、第１実施形態では、第１音源の音響特性を表現する基底行列Ｆと第２音源の音響特性を表現する基底行列Ｈとの類似度が低下する（両者間の距離が最大化される、または、両者間の相関が最小化される）という拘束条件（以下「第２拘束条件」という）を導入する。具体的には、以下の数式(6)で表現される評価関数Φが最小化されるように分離後の各行列（Ｇ,Ｈ,Ｕ）が反復的に更新される。
【数６】
2014215544.tif 000008
数式（6）の右辺のうち基底行列Ｆと基底行列Ｈとの相関行列｛ＦTＨ｝のノルム（例えばフロベニウスノルム）‖ＦTＨ‖を含む第３項（罰則項）を最小化することが第２拘束条件に相当する。第２拘束条件の導入により、基底行列Ｆと基底行列Ｈとが共通する状況は回避される。なお、第２拘束条件については特開２０１３−０３３１９６号公報にも詳述されている。
【００３３】
第１実施形態の行列分解部３６による非負値行列因子分解は、数式(6)の評価関数Φを最小化する処理に相当する。評価関数Φの最小化という条件から以下の数式(7)から数式(9)が導出される。なお、数式(7)から数式(9)における記号「.−」は、行列間の要素毎の除算を意味する。
【数７】
2014215544.tif 000009
【数８】
2014215544.tif 000010
【数９】
2014215544.tif 000011
【００３４】
行列分解部３６は、数式(7)から数式(9)の各々の更新演算を反復することで観測行列Ｙから係数行列Ｇと基底行列Ｈと係数行列Ｕとを算定する。具体的には、行列分解部３６は、評価関数Φ内の未知の行列（Ｇ,Ｈ,Ｕ）の初期値を例えば乱数に設定したうえで数式(7)から数式(9)の更新演算を反復し、反復回数が所定の回数に到達した時点で演算結果（係数行列Ｇ，基底行列Ｈ，係数行列Ｕ）を確定する。更新演算の反復回数は、例えば評価関数Φが所定値（例えばゼロ）に収束するように実験的または統計的に選定される。以上の説明から理解される通り、第１実施形態の行列分解部３６は、分離行列Ｑ内で数値１に設定された要素ｑ(m,n)に対応する各時間周波数成分ｙ(m,n)を演算対象として、係数行列Ｇの各要素を抑圧させるための第１拘束条件と、基底行列Ｆおよび基底行列Ｈの類似度を低下させるための第２拘束条件とが成立するように、第１音源の基底行列Ｆを教師情報として利用した非負値行列因子分解の更新演算（数式(7)から数式(9)）を反復する。
【００３５】
図１の波形合成部３８は、行列分解部３６による解析結果（Ｇ,Ｈ,Ｕ）を利用して音響信号ＳBを生成する。具体的には、第１音源が指定された場合、波形合成部３８は、記憶装置２４に記憶された基底行列Ｆと行列分解部３６が生成した係数行列Ｇとを乗算することで音響信号ＳAのうち第１音源の音響の振幅スペクトログラムを算定し、各単位区間の振幅スペクトルと音響信号ＳAの当該単位区間での位相スペクトルとを適用した短時間逆フーリエ変換で時間領域の音響信号ＳBを生成する。他方、第２音源が指定された場合、波形合成部３８は、行列分解部３６が生成した基底行列Ｈと係数行列Ｕとを乗算することで音響信号ＳAのうち第２音源の音響の振幅スペクトログラムを算定し、各単位区間の振幅スペクトルと音響信号ＳAの当該単位区間での位相スペクトルとを適用した短時間逆フーリエ変換で時間領域の音響信号ＳBを生成する。すなわち、音響信号ＳAを第１音源と第２音源とで分離した音響信号ＳBが生成される。波形合成部３８が生成した音響信号ＳBが放音装置１４に供給されて音波として再生される。
【００３６】
以上に説明した第１実施形態では、第１音源の基底行列Ｆに対応する係数行列Ｇの各要素を抑圧するための第１拘束条件を加味した非負値行列因子分解で係数行列Ｇと基底行列Ｈと係数行列Ｕとが算定される。したがって、係数行列Ｇの各要素が過度に大きい数値に設定されて分離後の音響信号ＳBの強度が発散する対比例２の問題（図５を参照して説明した問題）が解消される。すなわち、第１実施形態によれば、対比例１や対比例２と比較して高精度な音源分離を実現することが可能である。また、第１実施形態では、反転分離行列/Ｑの各要素/ｑ(m,n)を第１行列Ｄ1（＝ＦＧ）の各要素に乗算した制約対象行列｛/Ｑ.×(ＦＧ)｝のノルムを減少させることを第１拘束条件として非負値行列因子分解が実行されるから、音源分離の精度が向上するという効果は格別に顕著である。
【００３７】
図８から図１０は、第１実施形態による音源分離の実験結果である。図８では、方位クラスタリングのみを利用した空間的音源分離（以下「対比例３」という）の実験結果が比較対象として併記され、図９では、第２拘束条件を加味した非負値行列因子分解（数式(6)の第２項を省略した評価関数Φの最小化）のみを利用した音源分離（以下「対比例４」という）の実験結果が比較対象として併記されている。また、図１０では、方位クラスタリングと第２拘束条件を加味した非負値行列因子分解とを連続的に実行する対比例２（数式(6)の評価関数Φの係数λを０に設定した構成）の実験結果が第１実施形態との比較対象として併記されている。
【００３８】
図８から図１０では、第１音源および第２音源の各々の楽器（Ｏb.＝オーボエ，Ｆl.＝フルート，Ｐf.＝ピアノ，Ｔb.＝トロンボーン）を相違させた複数の場合について、信号対歪比（ＳＤＲ：Signal to Distortion Ratio）と信号対干渉比（ＳＩＲ：Signal to Interference Ratio）と非線形歪（ＳＡＲ：Sources to Artifacts Ratio）とが実験結果の評価尺度として表記されている。信号対歪比は、音源分離の精度と分離信号の品質との総合的な評価尺度であり、信号対干渉比は音源分離の精度のみの評価尺度であり、非線形歪は音源分離の前後にわたる信号歪の評価尺度である。各評価尺度の数値が大きいほど音源分離の結果が良好であることを意味する。なお、比較対象を上回る数値は太字で表記されている。
【００３９】
図８ないし図１０から理解される通り、第１実施形態によれば、対比例２から対比例４の何れと比較しても、音源分離の精度および分離信号の品質の双方の観点から良好な音源分離を実現できる。なお、信号対干渉比（音源分離の精度のみ）については対比例１が第１実施形態を上回る場合も図１０では散見される。しかし、音源分離の精度および分離信号の品質の双方を反映した総合的な性能指標である信号対歪比は、全部の場合にわたり第１実施形態が対比例１を上回る。したがって、総合的な観点では第１実施形態が対比例１と比較して有利であると評価できる。
【００４０】
＜第２実施形態＞
本発明の第２実施形態を以下に説明する。なお、以下に例示する各形態において作用や機能が第１実施形態と同様である要素については、第１実施形態の説明で参照した符号を流用して各々の詳細な説明を適宜に省略する。
【００４１】
対比例２において係数ベクトルｇ(k)の係数ｇ(k,n)が過度に大きい数値となる問題は、第１音源に対応する目標クラスに分類された時間周波数成分ｙ(m,n)の個数が小さい場合に顕在化するという傾向がある。以上の傾向を考慮して、第２実施形態では、目標クラスに分類された時間周波数成分ｙ(m,n)の個数に応じて制約対象行列｛/Ｑ.×(ＦＧ)｝の影響（第１拘束条件の影響）を可変に制御する。
【００４２】
図１１は、第２実施形態における音響処理装置１００のブロック図である。図１１に示すように、第２実施形態の音響処理装置１００の演算処理装置２２は、第１実施形態と同様の要素（周波数分析部３２，行列生成部３４，行列分解部３６，波形合成部３８）に加えて指標算定部４２として機能する。指標算定部４２は、目標クラス（第η番目のクラス）に分類された時間周波数成分ｙ(m,n)の個数に応じた指標値νを算定する。
【００４３】
第１実施形態と同様に、行列生成部３４が生成する分離行列Ｑのうち目標クラスに分類された時間周波数成分ｙ(m,n)に対応する各要素ｑ(m,n)は数値１に設定され、目標クラス以外のクラスに分類された時間周波数成分ｙ(m,n)に対応する各要素ｑ(m,n)は数値０に設定される。したがって、分離行列Ｑのうち数値１に設定された要素ｑ(m,n)の総数が、目標クラスに分類された時間周波数成分ｙ(m,n)の個数に相当する。以上の関係を考慮して、本実施形態の指標算定部４２は、以下の数式(10)の演算で指標値νを算定する。
【数１０】
2014215544.tif 000012
数式(10)の右辺の分子は、Ｍ行Ｎ列の分離行列Ｑのうち数値１に設定された要素ｑ(m,n)の総数（すなわち、目標クラスに分類された時間周波数成分ｙ(m,n)の総数）に相当する。数式(10)の右辺の分母は、数値１の要素ｑ(m,n)の個数を０以上かつ１以下の範囲内に正規化する演算を意味する。図５を参照した前述の説明から理解される通り、目標クラスに分類された時間周波数成分ｙ(m,n)の個数が大きい場合には、係数ベクトルｇ(k)の各係数ｇ(k,n)の過度な増加は発生し難いという傾向がある。したがって、指標値νは、非負値行列因子分解の実行前の観測行列Ｙと実行後の行列（第１行列Ｄ1および第２行列Ｄ2との行列和）との相違を最小化するという基本的な条件（数式(4)）の信頼度の尺度とも換言され得る。
【００４４】
以上の説明から理解される通り、指標値νが大きい（目標クラスに分類された時間周波数成分ｙ(m,n)の個数が多い）ほど、制約対象行列｛/Ｑ.×(ＦＧ)｝のノルムを最小化するための第１拘束条件を観測行列Ｙの非負値行列因子分解に加味する必要性は低下する、という傾向がある。以上の傾向を考慮して、第２実施形態の行列分解部３６は、指標算定部４２が算定した指標値νに応じて、非負値行列因子分解の更新演算における制約対象行列｛/Ｑ.×(ＦＧ)｝を加重する。すなわち、非負値行列因子分解の更新演算における第１拘束条件の影響の度合が指標値νに応じて可変に制御される。具体的には、行列分解部３６は、前掲の数式(6)に代えて、以下の数式(11)で表現される評価関数Φが最小化されるように選定された更新演算の反復で係数行列Ｇと基底行列Ｈと係数行列Ｕとを算定する。
【数１１】
2014215544.tif 000013
数式(11)から理解される通り、指標値νが大きい（目標クラスに分類された時間周波数成分ｙ(m,n)の個数が多い）ほど、非負値行列因子分解（評価関数Φ）における制約対象行列｛/Ｑ.×(ＦＧ)｝のノルムの影響が低減される。行列生成部３４による分離行列Ｑの算定方法や波形合成部３８による音響信号ＳBの生成方法は第１実施形態と同様である。
【００４５】
第２実施形態においても第１実施形態と同様の効果が実現される。また、第２実施形態では、非負値行列因子分解（評価関数Φ）における制約対象行列｛/Ｑ.×(ＦＧ)｝の影響が指標値νに応じて可変に制御されるから、音源分離の精度が向上するという効果は格別に顕著である。
【００４６】
＜第２実施形態の変形例＞
（１）指標値νと制約対象行列｛/Ｑ.×(ＦＧ)｝の影響との関係は前述の例示（数式(11)）に限定されない。例えば、以下に例示する数式(12)の評価関数Φが最小化されるように選定された更新演算の反復で係数行列Ｇと基底行列Ｈと係数行列Ｕとを算定することも可能である。
【数１２】
2014215544.tif 000014
数式(12)の評価関数Φを適用した構成でも、指標値νが大きいほど制約対象行列｛/Ｑ.×(ＦＧ)｝の影響が低減されるから、第２実施形態と同様の効果が実現される。
【００４７】
（２）前掲の数式(10)では、分離行列Ｑ内で数値１に設定された要素ｑ(m,n)の総数に比例するように指標値νを算定したが、指標算定部４２が指標値νを算定する方法は以上の例示に限定されない。例えば、以下の数式(13)の演算で指標値νを算定することも可能である。
【数１３】
2014215544.tif 000015
【００４８】
数式(13)は、図１２に例示されるシグモイド関数であり、係数αはシグモイド関数のゲインに相当する。係数βは、図１２から理解される通り、シグモイド関数の変曲点を規定する係数であり、数値１に設定された要素ｑ(m,n)の総数の最大値（Ｍ×Ｎ）に応じた数値（例えば最大値の８０％程度の数値）に設定される。数式(13)および図１２から理解される通り、数値１に設定された要素ｑ(m,n)の総数に応じて指標値νは非線形に変化する。
【００４９】
以上の説明から理解される通り、第２実施形態の行列分解部３６は、分離行列Ｑにおける数値１の個数（目標クラスに分類された時間周波数成分ｙ(m,n)の個数）に応じて非負値行列因子分解の更新演算における制約対象行列｛/Ｑ.×(ＦＧ)｝の影響を可変に制御する要素として表現され、指標値νと制約対象行列｛/Ｑ.×(ＦＧ)｝との関係や指標値νの算定方法の如何は不問である。
【００５０】
（３）以上の説明では、Ｎ個の単位区間を対象として指標値νを算定したが、単位区間毎に指標値νを算定したうえで制約対象行列｛/Ｑ.×(ＦＧ)｝の影響を単位区間毎に制御することも可能である。例えば、以下の数式(14)で表現されるように単位区間毎に指標値ν(n)を算定し、単位区間毎の指標値ν(n)を適用した以下の数式(15)の評価関数Φを非負値行列因子分解に適用することも可能である。
【数１４】
2014215544.tif 000016
【数１５】
2014215544.tif 000017
【００５１】
数式(15)の記号ｙnは、第ｎ番目の単位区間の音響信号ＳAの振幅スペクトル（Ｍ個の時間周波数成分ｙ(1,n)〜ｙ(M,n)の系列）を意味する。記号ｇnは、係数行列Ｇのうち第ｎ番目の単位区間に対応するＫ個の係数ｇ(1,n)〜ｇ(K,n)の系列であり、記号ｕnは、係数行列Ｕのうち第ｎ番目の単位区間に対応するＫ個の係数ｕ(1,n)〜ｕ(K,n)の系列である。記号Ｑnは、分離行列Ｑの第ｎ列の要素（ｑ(1,n)〜ｑ(M,n)）の系列である。
【００５２】
（４）以上の説明では、制約対象行列｛/Ｑ.×(ＦＧ)｝の影響を指標値νに応じて多段階的に制御したが、制約対象行列｛/Ｑ.×(ＦＧ)｝（第１拘束条件）を非負値行列因子分解に加味するか否かを指標値νに応じて制御することも可能である。具体的には、指標値νが所定の閾値νTHを下回る場合（目標クラスに分類された時間周波数成分ｙ(m,n)の個数が少ない場合）、行列分解部３６は、第１実施形態と同様に、数式(6)の評価関数Φを最小化する更新演算を反復することで、第１拘束条件を加味した非負値行列因子分解を実行する。他方、指標値νが閾値νTHを上回る場合（目標クラスに分類された時間周波数成分ｙ(m,n)の個数が多い場合）、行列分解部３６は、数式(6)の係数λを０に設定した評価関数Φを最小化する更新演算を反復することで、第１拘束条件を解除した非負値行列因子分解を実行する。以上の構成でも第２実施形態と同様の効果が実現される。また、制約対象行列｛/Ｑ.×(ＦＧ)｝の影響（有無）が指標値νに応じて２値的に制御されるから、多段階的に制御する構成と比較して処理が簡素化されるという利点もある。
【００５３】
＜第３実施形態＞
第１実施形態では、第１音源に対応する第１行列Ｄ1（＝ＦＧ）のうち観測行列Ｙにて第２音源の音響が優勢な時間周波数成分ｙ(m,n)に対応する要素（制約対象行列｛/Ｑ.×(ＦＧ)｝のノルム）を抑圧することを第１拘束条件とした非負値行列因子分解を例示した。第３実施形態の行列分解部３６は、第１行列Ｄ1のうち観測行列Ｙにて第２音源の音響が優勢な時間周波数成分ｙ(m,n)に対応する要素の時間的な変動を抑制するという拘束条件（以下「第３拘束条件」という）のもとで観測行列Ｙの非負値行列因子分解を実行する。
【００５４】
具体的には、行列分解部３６は、以下の数式(16)で表現される評価関数Φが最小化されるように選定された更新演算の反復で未知の各行列（Ｇ,Ｈ,Ｕ）を算定する。数式(16)の係数εは所定の正数に設定される。
【数１６】
2014215544.tif 000018
【００５５】
数式(16)の右辺の第３項を最小化することが第３拘束条件に対応する。記号｛ｆ(m,k)ｇ(k,n)｝は、音響信号ＳAの基底ベクトルｆ(k)（第ｋ番目の成分の振幅スペクトル）のうち周波数軸上の第ｍ番目の周波数に対応する要素ｆ(m,n)と、基底ベクトルｆ(k)に対応する係数ベクトルｇ(k)のうち時間軸上の第ｎ番目の単位区間に対応する要素ｇ(k,n)との乗算値である。したがって、数式(16)の記号Σkｆ(m,k)ｇ(k,n)は、音響信号ＳA内の第１音源の音響のうち第ｎ番目の単位区間と第ｍ番目の周波数とに対応する時間周波数成分ｄ(m,n)の強度（振幅）に相当する。すなわち、数式(16)の第３項の括弧内は、音響信号ＳAの第１音源の音響のうち第ｎ番目の単位区間の時間周波数成分ｄ(m,n)と直前の第(n-1)番目の単位区間の時間周波数成分ｄ(m,n-1)との強度差（誤差）に相当する。また、数式(16)における反転分離行列/Ｑの要素/ｑ(m,n)の乗算は、観測行列Ｙにて第２音源の音響が優勢な時間周波数成分ｙ(m,n)（分離行列Ｑにて数値０に設定された要素ｑ(m,n)）に対応する時間周波数成分ｄ(m,n)を第１行列Ｄ1から抽出する処理を意味する。
【００５６】
以上の説明から理解される通り、基底行列Ｆと係数行列Ｇとの行列積である第１行列Ｄ1のうち分離行列Ｑにて数値０に設定された要素ｑ(m,n)（反転分離行列/Ｑにて数値１に設定された要素/ｑ(m,n)）に対応する時間周波数成分ｄ(m,n)の強度が、相前後する各単位区間にて相互に近似する（強度差が小さい）ほど、数式(16)の右辺の第３項は小さい数値となる。すなわち、第３拘束条件は、第１行列Ｄ1のうち数値０の要素ｑ(m,n)に対応する時間周波数成分ｄ(m,n)の時間的な変動を抑制するための条件と表現される。
【００５７】
第３実施形態の行列分解部３６は、数式(16)の評価関数Φが最小化されるように選定された以下の数式(17)の更新演算を反復することで係数行列Ｇを算定する。なお、基底行列Ｈおよび係数行列Ｕを算定する更新演算の演算式は第１実施形態（数式(8)，数式(9)）と同様である。
【数１７】
2014215544.tif 000019
数式(17)の記号Ｇ(-)は、直前の更新後の係数行列Ｇの各係数ベクトルｇ(k)を１列分だけ右方に移動させた行列を意味し、記号Ｇ(+)は、直前の更新後の係数行列Ｇの各係数ベクトルｇ(k)を１列分だけ左方に移動させた行列を意味する。行列生成部３４による分離行列Ｑの算定方法や波形合成部３８による音響信号ＳBの生成方法は第１実施形態と同様である。
【００５８】
以上に説明した第３実施形態では、第１行列Ｄ1のうち観測行列Ｙにて第２音源の音響が優勢な時間周波数成分ｙ(m,n)に対応する要素が時間軸上で連続するという第３拘束条件を加味した非負値行列因子分解で係数行列Ｇと基底行列Ｈと係数行列Ｕとが算定される。したがって、係数行列Ｇの各要素が過度に大きい数値（すなわち直前の単位区間の数値から極端に乖離した数値）に設定されて分離後の音響信号ＳBの強度が発散する対比例２の問題（図５）が解消される。すなわち、第３実施形態によれば、第１実施形態と同様に、対比例１や対比例２と比較して高精度な音源分離を実現することが可能である。
【００５９】
＜変形例＞
以上の各形態は多様に変形され得る。具体的な変形の態様を以下に例示する。以下の例示から任意に選択された２以上の態様は適宜に併合され得る。
【００６０】
（１）前述の各形態では、方位クラスタリングを利用して分離行列Ｑを生成したが、行列生成部３４が分離行列Ｑを生成する方法は任意である。例えば以下に例示する方法が分離行列Ｑの生成に採用され得る。
【００６１】
［態様１］
定位軸（音像の定位方向）と周波数軸とが設定された定位-周波数領域に音響信号ＳAの各周波数成分の分布を表示し、第１音源の定位範囲および周波数帯域を含む指定領域を例えば利用者からの指示に応じて定位-周波数領域内に設定する構成が例えば特開２０１２−２４９０４８号公報に開示されている。行列生成部３４は、定位-周波数領域における音響信号ＳAの各周波数成分の分布を表示装置に表示させたうえで指定領域の指示を利用者から受付け、音響信号ＳAの観測行列Ｙのうち指定領域内の各時間周波数成分ｙ(m,n)に対応する要素ｑ(m,n)を数値１に設定するとともに残余の各要素ｑ(m,n)を数値０に設定した分離行列Ｑを生成する。
【００６２】
［態様２］
行列生成部３４は、音響信号ＳAに対する雑音抑圧処理を実行する。具体的には、以下の数式(18)で表現される通り、音響信号ＳAの各時間周波数成分ｘ(m,n)から推定雑音成分ζ(m,n)を周波数領域で減算するスペクトル減算（一般化スペクトル減算）が実行される。時間周波数成分ｘ(m,n)は、例えば時間周波数成分ｘ1(m,n)〜ｘJ(m,n)の平均や合計（または時間周波数成分ｘ1(m,n)〜ｘJ(m,n)の何れか）であり、推定雑音成分ζ(m,n)は、例えば音響信号ＳAの雑音区間（非音声区間）から推定された雑音成分（典型的には定常的な雑音）である。
【数１８】
2014215544.tif 000020
【００６３】
数式(18)の記号ａは減算係数であり、記号ｂはフロアリング係数である。また、時間周波数成分ｘ(m,n)や推定雑音成分ζ(m,n)の冪指数ｐは所定値（典型的には２または４）に設定される。行列生成部３４は、以下の数式(19)で表現される通り、数式(18)の雑音抑圧処理の結果に応じて分離行列Ｑの各要素ｑ(m,n)を算定する。
【数１９】
2014215544.tif 000021
数式(19)から理解される通り、推定雑音成分ζ(m,n)と比較して優勢な各時間周波数成分ｘ(m,n)に対応する要素ｑ(m,n)は数値１（維持値）に設定され、残余の各要素ｑ(m,n)は数値０（抑圧値）に設定される。行列分解部３６は、数式(18)の雑音抑圧処理後の各時間周波数成分ｙ(m,n)を配列した観測行列Ｙに対し、行列生成部３４が生成した分離行列Ｑを適用した非負値行列因子分解を実行する。
【００６４】
［態様３］
行列分解部３６は、第１処理と第２処理とを含む複数段の非負値行列因子分解を実行する。第１処理は、分離行列Ｑを適用しない非負値行列因子分解を観測行列Ｙに対して実行することで係数行列Ｇと基底行列Ｈと係数行列Ｕとを算定する。行列生成部３４は、以下の数式(20)で表現される通り、第１処理の結果に応じて分離行列Ｑの各要素ｑ(m,n)を算定する。
【数２０】
2014215544.tif 000022
【００６５】
数式(20)の記号｛Σkｈ(m,k)ｕ(k,n)｝/ｙ(m,n)は、時間周波数成分ｙ(m,n)において第２音源の音響（Σkｈ(m,k)ｕ(k,n)）が第１音源の音響に対して優勢である度合の指標に相当する。数式(20)の記号ＴHは所定の閾値である。数式(20)から理解される通り、指標｛Σkｈ(m,k)ｕ(k,n)｝/ｙ(m,n)が閾値ＴHを上回る程度に第２音源の音響が優勢である各時間周波数成分ｙ(m,n)に対応する要素ｑ(m,n)は数値１に設定され、残余の各要素ｑ(m,n)は数値０に設定される。行列分解部３６は、第１処理の結果から特定される第２行列Ｄ2（Ｄ2＝ＨＵ）を新たな観測行列Ｙとして、前述の各形態と同様に、行列生成部３４が生成した分離行列Ｑを適用した非負値行列因子分解を第２処理として実行する。なお、指標｛Σkｈ(m,k)ｕ(k,n)｝/ｙ(m,n)の数値を要素ｑ(m,n)として設定した分離行列（ソフトマスク）Ｑを生成することも可能である。
【００６６】
（２）分離行列Ｑの各要素ｑ(m,n)（反転分離行列/Ｑの各要素/ｑ(m,n)）の数値は、前述の各形態での例示（０,１）に限定されない。すなわち、分離行列Ｑの各要素ｑ(m,n)は、時間周波数成分ｙ(m,n)を維持する維持値γ1、または、時間周波数成分ｙ(m,n)を抑圧する抑圧値γ0に設定される。前述の各形態における要素ｑ(m,n)の数値１は維持値γ1の典型例であり、各要素ｑ(m,n)の数値０は抑圧値γ0の典型例である。
【００６７】
（３）教師情報として利用される基底行列Ｆの生成方法は任意である。例えば、事前に収録された第１音源の音響信号に対する非負値行列因子分解で基底行列Ｆが生成される。また、基底行列Ｆは、第１音源の音響に想定されるＫ個の振幅スペクトルで構成されるから、例えば、Ｋ個の音高の各々について第１音源の音響の平均的な振幅スペクトルを算定し、各音高に対応するＫ個の振幅スペクトルを配列することで基底行列Ｆを生成することも可能である。
【００６８】
（４）前述の各形態では、フロベニウスノルムを適用した非負値行列因子分解を例示したが、非負値行列因子分解に適用される距離規準はフロベニウスノルムに限定されない。具体的には、Kullback-Leibler擬距離やダイバージェンス等の公知の距離規準が任意に採用される。また、スパースネスの拘束条件を適用した非負値行列因子分解も採用される。
【００６９】
（５）前述の各形態では、第１音源および第２音源の一方の音響を抽出した音響信号ＳBを生成したが、第１音源の音響を抽出した音響信号ＳBと第２音源の音響を抽出した音響信号ＳBとの双方を波形合成部３８が並列に生成することも可能である。例えば、第１音源の音響信号ＳBと第２音源の音響信号ＳBとの各々に相異なる音響処理（例えば効果付与）を実行したうえで加算する構成が採用される。
【００７０】
（６）前述の各形態では、基底行列Ｆと係数行列Ｇとの乗算で第１音源の音響信号ＳBを生成し、基底行列Ｈと係数行列Ｕとの乗算で第２音源の音響信号ＳBを生成したが、行列分解部３６が生成した各行列を利用して音響信号ＳAの処理用のフィルタを生成することも可能である。例えば、基底行列Ｆと係数行列Ｇとの行列積（第１行列Ｄ1）から第１音源の音響を抑圧または強調するためのフィルタ（例えばウィナーフィルタ）を生成して音響信号ＳAに作用させる構成や、基底行列Ｈと係数行列Ｕとの行列積（第２行列Ｄ2）から第２音源の音響を抑圧または強調するためのフィルタを生成して音響信号ＳAに作用させる構成が採用される。
【００７１】
（７）行列分解部３６による演算結果（Ｇ,Ｈ,Ｕ）を利用した音響信号ＳBの生成（波形合成部３８）は省略され得る。例えば、音響信号ＳAの観測行列Ｙに対する非負値行列因子分解で未知の行列（Ｇ,Ｈ,Ｕ）を算定する音響処理装置１００としても本発明は実施され得る。また、携帯電話機等の端末装置と通信するサーバ装置で音響処理装置１００を実現することも可能である。例えば、音響処理装置１００は、端末装置から受信した音響信号ＳAから音響信号ＳBを生成して端末装置に送信する。なお、音響信号ＳAの観測行列Ｙおよび各観測ベクトルＶX(m,n)を端末装置から受信する構成（例えば端末装置が周波数分析部３２を具備する構成）では音響処理装置１００から周波数分析部３２が省略され、行列分解部３６による演算結果を端末装置に送信する構成（例えば端末装置が波形合成部３８を具備する構成）では音響処理装置１００から波形合成部３８が省略される。
【符号の説明】
【００７２】
１００……音響処理装置、１２……信号供給装置、１４……放音装置、２２……演算処理装置、２４……記憶装置、３２……周波数分析部、３４……行列生成部、３６……行列分解部、３８……波形合成部、４２……指標算定部。
【図１】
2014215544.tif 000023
【図２】
2014215544.tif 000024
【図３】
2014215544.tif 000025
【図４】
2014215544.tif 000026
【図５】
2014215544.tif 000027
【図６】
2014215544.tif 000028
【図７】
2014215544.tif 000029
【図８】
2014215544.tif 000030
【図９】
2014215544.tif 000031
【図１０】
2014215544.tif 000032
【図１１】
2014215544.tif 000033
【図１２】
2014215544.tif 000034