(57)【要約】【課題】音源分離、音響イベント検出、及び残響除去を統合的に精度良く行うことができる。【解決手段】混合音時間周波数展開部２８により、音源信号が混合された多チャンネル観測信号の時系列データを入力として、多チャンネル観測時間周波数成分を出力し、パラメータ更新部３２により、多チャンネル観測時間周波数成分が与えられたときの、目的関数を最大化するように、多チャンネル観測時間周波数成分、基底パワースペクトル、アクティベーションパラメータ、空間相関行列の時系列、及び状態系列に基づいて、基底パワースペクトルの更新、アクティベーションパラメータの更新、空間相関行列の時系列の更新、及び状態系列の更新の各々を行い、収束判定部３４により、予め定められた収束条件を満たすまで、パラメータ更新部３２による更新を繰り返し行う。【選択図】図１
2016045221.tif 000002
【特許請求の範囲】
【請求項１】
Ｉ個の音源からの音源信号が混合された多チャンネル観測信号の時系列データを入力として、各時刻ｔｌにおける各周波数ωｋの観測時間周波数成分ｙ（ωｋ，ｔｌ）を表す多チャンネル観測時間周波数成分を出力する混合音時間周波数展開部と、
前記多チャンネル観測時間周波数成分が与えられたもとでの、各音源ｉの、各周波数ωk及び各状態ｑにおけるパワースペクトルｗi,k,qを表す基底パワースペクトルと、各音源ｉの、各時刻ｔｌにおけるパワーｈi.lを表すアクティベーションパラメータと、各音源ｉの各時刻ｔn及び各周波数ωkにおける空間相関行列Ｃi,k,nを表す空間相関行列の時系列と、各音源ｉの各時刻ｔｌにおける音源状態ｚi,lを表す状態系列の条件付き確率を表す目的関数を最大化するように、前記混合音時間周波数展開部によって出力された前記多チャンネル観測時間周波数成分、前記基底パワースペクトル、前記アクティベーションパラメータ、前記空間相関行列の時系列、及び前記状態系列に基づいて、前記基底パワースペクトルの更新、前記アクティベーションパラメータの更新、前記空間相関行列の時系列の更新、及び前記状態系列の更新の各々を行うパラメータ更新部と、
予め定められた収束条件を満たすまで、前記パラメータ更新部による更新を繰り返し行う収束判定部と、
を含む信号解析装置。
【請求項２】
前記目的関数を、
前記基底パワースペクトル、前記アクティベーションパラメータ、前記空間相関行列の時系列、及び前記状態系列が与えられたときの前記多チャンネル観測時間周波数成分の確率と、前記基底パワースペクトル、前記アクティベーションパラメータ、前記空間相関行列の時系列、及び前記状態系列が出力される確率を表す事前確率との積、又は前記積の対数とし、
前記パラメータ更新部は、前記積、又は前記積の対数を最大化するように、前記混合音時間周波数展開部によって出力された前記多チャンネル観測時間周波数成分、前記基底パワースペクトル、前記アクティベーションパラメータ、前記空間相関行列の時系列、及び前記状態系列に基づいて、前記基底パワースペクトルの更新、前記アクティベーションパラメータの更新、前記空間相関行列の時系列の更新、及び前記状態系列の更新の各々を行う請求項１記載の信号解析装置。
【請求項３】
前記目的関数を、
前記多チャンネル観測時間周波数成分、前記基底パワースペクトル、前記アクティベーションパラメータ、前記空間相関行列の時系列、前記状態系列、（ｉ、ｋ、ｌ、ｎ）の全ての組み合わせについての補助変数Ｒi,k,l,n、及び（ｋ、ｌ）の全ての組み合わせについての補助変数Ｕk,lを用いて表され、かつ、前記積の対数の下限関数である補助関数とし、
前記パラメータ更新部は、前記補助関数を大きくするように、前記基底パワースペクトル、前記アクティベーションパラメータ、及び前記空間相関行列の時系列に基づいて、前記補助変数、及び前記状態系列に基づいて、前記補助変数Ｒi,k,l,n及び前記補助変数Ｕk,lを更新し、前記混合音時間周波数展開部によって出力された前記多チャンネル観測時間周波数成分、前記基底パワースペクトル、前記アクティベーションパラメータ、前記空間相関行列の時系列、前記状態系列、及び前記補助変数Ｒi,k,l,n及び前記補助変数Ｕk,lに基づいて、前記基底パワースペクトルの更新、前記アクティベーションパラメータの更新、前記空間相関行列の時系列の更新、及び前記状態系列の更新の各々を行う
請求項２記載の信号解析装置。
【請求項４】
前記補助関数は、負の逆行列に対するトレースの凹性を利用したＪｅｎｓｅｎの不等式と、負の対数関数の凸性を利用した接線不等式とを用いて定められた下限関数である請求項３記載の信号解析装置。
【請求項５】
前記パラメータ更新部は、前記基底パワースペクトルのうち、各周波数ωk及び各状態ｑに対するパワースペクトルｗi,k,qが既知又は予め推定された音源ｉを除いた各音源ｉの音源信号のパワースペクトルｗi,k,qを更新する請求項１〜４の何れか１項記載の信号解析装置。
【請求項６】
混合音時間周波数展開部と、パラメータ更新部と、収束判定部と、を含む信号解析装置における、パラメータ推定方法であって、
前記混合音時間周波数展開部は、Ｉ個の音源からの音源信号が混合された多チャンネル観測信号の時系列データを入力として、各時刻ｔｌにおける各周波数ωｋの観測時間周波数成分ｙ（ωｋ，ｔｌ）を表す多チャンネル観測時間周波数成分を出力し、
前記パラメータ更新部は、前記多チャンネル観測時間周波数成分が与えられたもとでの、各音源ｉの、各周波数ωk及び各状態ｑにおけるパワースペクトルｗi,k,qを表す基底パワースペクトルと、各音源ｉの、各時刻ｔｌにおけるパワーｈi.lを表すアクティベーションパラメータと、各音源ｉの各時刻ｔn及び各周波数ωkにおける空間相関行列Ｃi,k,nを表す空間相関行列の時系列と、各音源ｉの各時刻ｔｌにおける音源状態ｚi,lを表す状態系列の条件付き確率を表す目的関数を最大化するように、前記混合音時間周波数展開部によって出力された前記多チャンネル観測時間周波数成分、前記基底パワースペクトル、前記アクティベーションパラメータ、前記空間相関行列の時系列、及び前記状態系列に基づいて、前記基底パワースペクトルの更新、前記アクティベーションパラメータの更新、前記空間相関行列の時系列の更新、及び前記状態系列の更新の各々を行い、
前記収束判定部は、予め定められた収束条件を満たすまで、前記パラメータ更新部による更新を繰り返し行う
パラメータ推定方法。
【請求項７】
コンピュータを、請求項１〜５の何れか１項記載の信号解析装置を構成する各部として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、信号解析装置、方法、及びプログラムに係り、特に、パラメータを推定する信号解析装置、方法、及びプログラムに関する。
【背景技術】
【０００２】
ブラインド音源分離の問題とは、音源信号や音源からマイクまでの伝達特性が未知の場合に、複数の音源信号が混合された多チャンネル観測信号から、音源信号を推定する問題である。一般的に、ブラインド音源分離の問題を解くためには、音源信号に対して立てたなんらかの仮定を基に最適化基準を立て、最適化問題を解く必要がある。
【０００３】
単チャンネルの観測信号に対するブラインド音源分離の有効なアプローチとして、非負値行列因子分解(Non-negative Matrix Factorization;NMF)が知られている（非特許文献１、非特許文献２）。この手法では観測信号のパワースペクトログラムを、２つの非負値行列の積に分解する。分解した各行列は、いくつかのパワースペクトルによって構成される基底行列と、それらのパワースペクトルの時変な音量を表すパワーによって構成されるアクティベーション行列となる。ここで重要なのは、分解された各パワースペクトルが、観測信号の中で主となる要素、すなわち各音源信号を表していると考えられることである。ＮＭＦの利点として、クリーンな音響信号からあらかじめパワースペクトルを学習しておき、混合音に対してＮＭＦを適用しパワーのみを推定することで、特定の音を分離・抽出することが可能な点が上げられる。
【０００４】
また、音源信号の空間的な情報も利用して音源分離を行うために、ＮＭＦを多チャンネルの音響信号へと拡張するアプローチがいくつか知られている（非特許文献３、非特許文献４）。
【先行技術文献】
【非特許文献】
【０００５】
【非特許文献１】D. D. Lee, and H. S. Seung, “Learning the parts of objects with nonnegative matrix factorization,”Nature, vol. 401, pp.788-791, 1999.
【非特許文献２】P. Smaragdis, and J. C. Brown, “Non-negative matrix factorization for polyphonic music transcription,”Proc. WASPAA 2003, Oct. 2003, pp. 177-180.
【非特許文献３】A. Ozerov, and C. Fevotte, “Multichannel nonnegative matrix factorization in convolutive mixtures for audio source separation,” IEEE Trans. Audio, Speech and Language Processing, vol. 18, no. 3,pp. 550-563, Mar.2010.
【非特許文献４】H. Sawada, H. Kameoka, S. Araki and N. Ueda, “Efficient algorithms for multichannel extensions of Itakura-Saito nonnegative matrix factorization,” IEEE International Conference on Acoustics,Speech and Signal Processing (ICASSP) 2012, pp. 261-264, 2012.
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかし、従来技術においては、２つの問題がある。１つ目は、各音源信号のパワースペクトルが、１つの基底パワースペクトルによって表現できることを仮定していた点である。実際の音源信号のパワースペクトルは時変であることが多く、１つの基底パワースペクトルで表現するのは不十分な場合が多い。例えば、無音状態、音の立ち上がり、持続状態などの音源信号の状態に応じて、音源は異なるパワースペクトルを持つ場合があり、それらを１つの基底パワースペクトルによって表現するのは不十分であると考えられる。
【０００７】
２つ目は、残響を考慮していない点である。残響下において観測信号から音源信号を推定するためには、直接波だけでなく反射波も含めて観測信号をモデル化しなければならないと考えられるが非特許文献３及び非特許文献４の手法においては、それがなされていない。
【０００８】
本発明では、上記問題を解決するために成されたものであり、音源分離、音響イベント検出、及び残響除去を統合的に精度良く行うことができる信号解析装置、方法、及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００９】
上記目的を達成するために、第１の発明に係る信号解析装置は、Ｉ個の音源からの音源信号が混合された多チャンネル観測信号の時系列データを入力として、各時刻ｔｌにおける各周波数ωｋの観測時間周波数成分ｙ（ωｋ，ｔｌ）を表す多チャンネル観測時間周波数成分を出力する混合音時間周波数展開部と、前記多チャンネル観測時間周波数成分が与えられたもとでの、各音源ｉの、各周波数ωk及び各状態ｑにおけるパワースペクトルｗi,k,qを表す基底パワースペクトルと、各音源ｉの、各時刻ｔｌにおけるパワーｈi.lを表すアクティベーションパラメータと、各音源ｉの各時刻ｔn及び各周波数ωkにおける空間相関行列Ｃi,k,nを表す空間相関行列の時系列と、各音源ｉの各時刻ｔｌにおける音源状態ｚi,lを表す状態系列の条件付き確率を表す目的関数を最大化するように、前記混合音時間周波数展開部によって出力された前記多チャンネル観測時間周波数成分、前記基底パワースペクトル、前記アクティベーションパラメータ、前記空間相関行列の時系列、及び前記状態系列に基づいて、前記基底パワースペクトルの更新、前記アクティベーションパラメータの更新、前記空間相関行列の時系列の更新、及び前記状態系列の更新の各々を行うパラメータ更新部と、予め定められた収束条件を満たすまで、前記パラメータ更新部による更新を繰り返し行う収束判定部と、を含んで構成されている。
【００１０】
第２の発明に係るパラメータ推定方法は、混合音時間周波数展開部と、パラメータ更新部と、収束判定部と、を含む信号解析装置における、パラメータ推定方法であって、前記混合音時間周波数展開部は、Ｉ個の音源からの音源信号が混合された多チャンネル観測信号の時系列データを入力として、各時刻ｔｌにおける各周波数ωｋの観測時間周波数成分ｙ（ωｋ，ｔｌ）を表す多チャンネル観測時間周波数成分を出力し、前記パラメータ更新部は、前記多チャンネル観測時間周波数成分が与えられたときの、各周波数ωk及び各状態ｑに対する各音源ｉの音源信号のパワースペクトルｗi,k,qを表す基底パワースペクトルと、各時刻ｔｌにおける各音源ｉの音源信号のパワーｈi.lを表すアクティベーションパラメータと、各時刻ｔn及び各周波数ωkにおける各音源ｉの伝達周波数特性の成分ａi,k,nに基づく空間相関行列Ｃi,k,nを表す空間相関行列の時系列と、各時刻ｔｌにおける各音源ｉの音源信号の状態ｚi,lを表す状態系列との確率を表す目的関数を最大化するように、前記混合音時間周波数展開部によって出力された前記多チャンネル観測時間周波数成分、前記基底パワースペクトル、前記アクティベーションパラメータ、前記空間相関行列の時系列、及び前記状態系列に基づいて、前記基底パワースペクトルの更新、前記アクティベーションパラメータの更新、前記空間相関行列の時系列の更新、及び前記状態系列の更新の各々を行い、前記収束判定部は、予め定められた収束条件を満たすまで、前記パラメータ更新部による更新を繰り返し行う。
【００１１】
第１及び第２の発明によれば、前記混合音時間周波数展開部により、Ｉ個の音源からの音源信号が混合された多チャンネル観測信号の時系列データを入力として、各時刻ｔｌにおける各周波数ωｋの観測時間周波数成分ｙ（ωｋ，ｔｌ）を表す多チャンネル観測時間周波数成分を出力し、パラメータ更新部により、多チャンネル観測時間周波数成分が与えられたときの、各周波数ωk及び各状態ｑに対する各音源ｉの音源信号のパワースペクトルｗi,k,qを表す基底パワースペクトルと、各時刻ｔｌにおける各音源ｉの音源信号のパワーｈi.lを表すアクティベーションパラメータと、各時刻ｔn及び各周波数ωkにおける各音源ｉの伝達周波数特性の成分ａi,k,nに基づく空間相関行列Ｃi,k,nを表す空間相関行列の時系列と、各時刻ｔｌにおける各音源ｉの音源信号の状態ｚi,lを表す状態系列との確率を表す目的関数を最大化するように、混合音時間周波数展開部によって出力された多チャンネル観測時間周波数成分、基底パワースペクトル、アクティベーションパラメータ、空間相関行列の時系列、及び状態系列に基づいて、基底パワースペクトルの更新、アクティベーションパラメータの更新、空間相関行列の時系列の更新、及び状態系列の更新の各々を行い、収束判定部により、予め定められた収束条件を満たすまで、パラメータ更新部による更新を繰り返し行う。
【００１２】
このように、Ｉ個の音源からの音源信号が混合された多チャンネル観測信号の時系列データを入力として、多チャンネル観測時間周波数成分を出力し、多チャンネル観測時間周波数成分が与えられたときの、基底パワースペクトルと、アクティベーションパラメータと、空間相関行列の時系列と、状態系列との確率を表す目的関数を最大化するように、多チャンネル観測時間周波数成分、基底パワースペクトル、アクティベーションパラメータ、空間相関行列の時系列、及び状態系列に基づいて、基底パワースペクトルの更新、アクティベーションパラメータの更新、空間相関行列の時系列の更新、及び状態系列の更新の各々を行い、収束判定部により、予め定められた収束条件を満たすまで、パラメータ更新部による更新を繰り返し行うことにより、音源分離、音響イベント検出、残響除去を統合的に精度良く行うためのパラメータを推定することができる。
【００１３】
また、第１の発明において、前記目的関数を、前記基底パワースペクトル、前記アクティベーションパラメータ、前記空間相関行列の時系列、及び前記状態系列が与えられたときの前記多チャンネル観測時間周波数成分の確率と、前記基底パワースペクトル、前記アクティベーションパラメータ、前記空間相関行列の時系列、及び前記状態系列が出力される確率を表す事前確率との積、又は前記積の対数とし、前記パラメータ更新部は、前記積、又は前記積の対数を最大化するように、前記混合音時間周波数展開部によって出力された前記多チャンネル観測時間周波数成分、前記基底パワースペクトル、前記アクティベーションパラメータ、前記空間相関行列の時系列、及び前記状態系列に基づいて、前記基底パワースペクトルの更新、前記アクティベーションパラメータの更新、前記空間相関行列の時系列の更新、及び前記状態系列の更新の各々を行ってもよい。
【００１４】
また、第１の発明において、前記目的関数を、前記多チャンネル観測時間周波数成分、前記基底パワースペクトル、前記アクティベーションパラメータ、前記空間相関行列の時系列、前記状態系列、（ｉ、ｋ、ｌ、ｎ）の全ての組み合わせについての補助変数Ｒi,k,l,n、及び（ｋ、ｌ）の全ての組み合わせについての補助変数Ｕk,lを用いて表され、かつ、前記積の対数の下限関数である補助関数とし、前記パラメータ更新部は、前記補助関数を大きくするように、前記基底パワースペクトル、前記アクティベーションパラメータ、及び前記空間相関行列の時系列に基づいて、前記補助変数、及び前記状態系列に基づいて、前記補助変数Ｒi,k,l,n及び前記補助変数Ｕk,lを更新し、前記混合音時間周波数展開部によって出力された前記多チャンネル観測時間周波数成分、前記基底パワースペクトル、前記アクティベーションパラメータ、前記空間相関行列の時系列、前記状態系列、及び前記補助変数Ｒi,k,l,n及び前記補助変数Ｕk,lに基づいて、前記基底パワースペクトルの更新、前記アクティベーションパラメータの更新、前記空間相関行列の時系列の更新、及び前記状態系列の更新の各々を行ってもよい。
【００１５】
また、第１の発明において、前記補助関数は、負の逆行列に対するトレースの凹性を利用したＪｅｎｓｅｎの不等式と、負の対数関数の凸性を利用した接線不等式とを用いて定められた下限関数としてもよい。
【００１６】
また、第１の発明において、前記パラメータ更新部は、前記基底パワースペクトルのうち、各周波数ωk及び各状態ｑに対するパワースペクトルｗi,k,qが既知又は予め推定された音源ｉを除いた各音源ｉの音源信号のパワースペクトルｗi,k,qを更新してもよい。
【００１７】
また、本発明のプログラムは、コンピュータを、上記の信号解析装置を構成する各部として機能させるためのプログラムである。
【発明の効果】
【００１８】
以上説明したように、本発明の信号解析装置、方法、及びプログラムによれば、Ｉ個の音源からの音源信号が混合された多チャンネル観測信号を入力として、多チャンネル観測時間周波数成分が与えられたもとでの、各音源の、基底パワースペクトルと、アクティベーションパラメータと、空間相関行列の時系列と、状態系列の条件付き確率を表す目的関数を最大化するように、多チャンネル観測時間周波数成分、基底パワースペクトル、アクティベーションパラメータ、空間相関行列の時系列、及び状態系列に基づいて、基底パワースペクトルの更新、アクティベーションパラメータの更新、空間相関行列の時系列の更新、及び状態系列の更新の各々を行い、予め定められた収束条件を満たすまで、パラメータ更新部による更新を繰り返し行うことにより、音源分離、音響イベント検出、及び残響除去を統合的に精度良く行うことができる。
【図面の簡単な説明】
【００１９】
【図１】本発明の第１の実施の形態に係る信号解析装置の機能的構成を示すブロック図である。
【図２】本発明の第１の実施の形態に係る信号解析装置におけるパラメータ推定処理ルーチンを示すフローチャート図である。
【図３】混合音のスペクトログラムを示す図である。
【図４】無響下でのホッチキスの音のスペクトログラムを示す図である。
【図５】残響除去済み分散音のスペクトログラムを示す図である。
【図６】音響イベント検出結果を示す図である。
【図７】従来法による分離音のスペクトログラムを示す図である。
【図８】本発明の第２の実施の形態に係る信号解析装置の機能的構成を示すブロック図である。
【図９】本発明の第２の実施の形態に係る信号解析装置におけるパラメータ推定処理ルーチンを示すフローチャート図である。
【図１０】本発明の第３の実施の形態に係る信号解析装置の機能的構成を示すブロック図である。
【図１１】本発明の第３の実施の形態に係る信号解析装置におけるパラメータ推定処理ルーチンを示すフローチャート図である。
【発明を実施するための形態】
【００２０】
以下、図面を参照して本発明の実施の形態を詳細に説明する。
【００２１】
＜発明の概要＞
まず、本実施の形態における概要について説明する。本実施の形態において、非特許文献３及び非特許文献４の手法をそのまま利用して、音源信号の状態や残響を考慮した精度良い音源分離を行うためには、従来の手法とは別に、残響除去と、音源信号の状態推定とを行う必要がある。しかし、実環境においてどのように残響がかかるかは各音源信号によって異なるため、残響除去の精度は音源分離性能に依存する。また、複数の音源信号の混合した信号からある特定の音源信号の状態を推定するよりも、他の音が混じっていない音源信号からその音源信号の状態を推定する方が簡単であることから、音源信号の状態推定精度も当然ながら音源分離性能に依存する。
【００２２】
そのため、音源分離、音響イベント検出、及び残響除去という３つの問題は、相互に依存関係があり、その精度向上のためには、本来同時に解くことが望ましいと考えられる。そこで、本実施の形態においては、音源信号、音響イベント、及び残響に関するパラメータを用いて、非特許文献３及び非特許文献４におけるモデル化よりも詳細に多チャンネル観測信号をモデル化し、そのモデルに基づく画一的最適化規準によって音源分離、音響イベント検出、及び残響除去を統合的に行い、その精度を向上させる。
【００２３】
＜本実施の形態の原理＞
次に、本実施の形態の原理について説明する。本実施の形態においては、音源信号、音響イベント、及び残響に関するパラメータによって音響信号の生成モデルを構築すること、画一的規準の最適化によって各パラメータを求めるための、収束性の保障された反復アルゴリズムを実現すること、そして、パラメータ推定によって音源分離、音響イベント検出、及び残響除去を統合的に精度良く行えることを目的とする。本実施の形態においては、具体的には以下１〜５により実現する。
【００２４】
１．音源信号のパワースペクトル、音源信号の各時刻におけるパワー、音源信号の状態，及び音源信号の空間相関行列の時系列を、同一の規準を大きくするように交互に更新する。
２．同一の規準を、パラメータが決まった時に多チャンネル観測信号が出力される確率を表す尤度関数と、各パラメータが出力される確率を表す事前確率との積(またはその対数)とする。
３．多チャンネル観測信号の出力確率の対数を上回らず、かつ、これに接する関数で、各パラメータと補助変数によって表されるものを同一の規準とし、この規準を大きくするように各パラメータと補助変数を交互に更新する。
４．同一の規準は、負の逆行列に対するトレースの凹性を利用したJensenの不等式と、負の対数関数の凸性を利用した接線不等式を用いて作られる下限関数である。
５．あらかじめ既知である(あるいは推定した)パラメータを除くパラメータのみを交互に更新する。
【００２５】
次に、多チャンネルfactorial HMMによる多チャンネル観測時間周波数成分生成モデルについて説明する。まず、多チャンネル観測信号の生成プロセスについて説明する。Ｉ個の音源信号がＭ個のマイクロフォンで観測される場合を考えると、
【００２６】
【数１】
2016045221.tif 000003
【００２７】
をｍ番目のマイクで観測される多チャンネル観測信号、
【００２８】
【数２】
2016045221.tif 000004
【００２９】
をｉ番目の音源信号だとすると、多チャンネル観測信号は時間領域において下記（１）式となる。なお、記号の上又は後に「＾」が付与されている記号は、テンソル、行列、又はベクトル表記を表す。
【００３０】
【数３】
2016045221.tif 000005
【００３１】
ここで、
【００３２】
【数４】
2016045221.tif 000006
【００３３】
である。ａｉ，ｍ（ｔ）は、ｉ番目の音源とｍ番目のマイクの間の室内インパルス応答を表す。ここで、室内インパルス応答長が時間周波数展開における時間窓長よりも十分に短い場合、瞬時混合近似を用いて多チャンネル観測信号は下記（２）式のように、時間周波数領域において表される。
【００３４】
【数５】
2016045221.tif 000007
【００３５】
ただし、
【００３６】
【数６】
2016045221.tif 000008
【００３７】
である。ここで、
【００３８】
【数７】
2016045221.tif 000009
【００３９】
は、ｍ番目のマイクで観測された多チャンネル観測信号の周波数ωｋ、時刻ｔｌにおける時間周波数成分であり、
【００４０】
【数８】
2016045221.tif 000010
【００４１】
はｉ番目の音源信号の周波数ωｋ、時刻ｔｌにおける時間周波数成分である。ａ＾ｉ（ωｋ）は、ｉ番目の音源信号に対する周波数ωｋにおける伝達周波数特性を表す。
【００４２】
【数９】
2016045221.tif 000011
【００４３】
と、
【００４４】
【数１０】
2016045221.tif 000012
【００４５】
とはそれぞれ時間周波数領域における周波数及び時間のインデックスである。しかし、残響がある場合には、一般的に、室内インパルス応答長は時間窓長に対して十分に短いとはいえず、上記（２）式の瞬時混合近似は成り立たない。そこで、時間周波数領域における畳み込みの混合の形で多チャンネル観測信号を近似すると、下記（３）式のように表される。
【００４６】
【数１１】
2016045221.tif 000013
【００４７】
ここで、ａ＾ｉ（ωｋ，ｔｎ）は、ｉ番目の音源信号に対する周波数ωｋにおける伝達周波数特性の時刻ｔｎの成分であり、
【００４８】
【数１２】
2016045221.tif 000014
【００４９】
は、伝達周波数特性の時間周波数領域における時間インデックスである。ここで、ａ＾ｉ（ωｋ，ｔｎ）はｉ番目の音源信号が時間周波数領域においてｔｎだけ先の時刻にどれだけ影響を与えるか、すなわち時間周波数領域においてどれだけ残響がかかるかを表している。なお、以後ωｋ、ｔｌ、ｔｎの各々をｋ、ｌ、ｎの各々として表す。
【００５０】
次に、上記（３）式に基づいて多チャンネル観測信号の生成プロセスを確率的に下記（４）式として記述する。音源信号ｓｉ，ｋ，ｌが平均０、分散σｉ，ｋ，ｌ２の複素正規分布に従うと仮定すると、ａ＾１：Ｉ，ｋ，１：Ｎとｓｉ，ｋ，ｌ−Ｎ：ｌとが既知の条件下で多チャンネル観測信号ｙ＾ｋ，ｌは上記（３）式より同じく複素正規分布に従う。
【００５１】
【数１３】
2016045221.tif 000015
【００５２】
ただし、Ｃ＾ｉ，ｋ，ｎ＝ａ＾ｉ，ｋ，ｎａ＾ｉ，ｋ，ｎＨは空間相関行列と呼ばれる行列であり、また、
【００５３】
【数１４】
2016045221.tif 000016
【００５４】
次に、ＨＭＭを用いた音源信号スペクトルのモデル化について説明する。まず音源信号がある１つのパワースペクトルを持つと仮定し、非特許文献１及び非特許文献２のＮＭＦを適用すると、音源信号ｓｉ，ｋ，ｌのパワースペクトルの期待値δｉ，ｋ，ｌ２は、下記（５）式のように分解することができる。
【００５５】
【数１５】
2016045221.tif 000017
【００５６】
ただし、ｗｉ，ｋとｈｉ，ｌとは非負の値を持つ。ｗｉ，１：Ｋはｉ番目の音源信号のパワースペクトルを表し、ｈｉ，ｌは時刻ｌにおいてどのくらいの音量で鳴っているか、すなわちパワーを表す。この時音源信号の生成プロセスは下記（６）式のように表される。
【００５７】
【数１６】
2016045221.tif 000018
【００５８】
しかし多くの場合、無音状態、音の立ち上がり、定常状態など音源信号はその状態に応じて複数のスペクトルを持つので、単一のスペクトルによるモデル化では不十分である。そこで、時刻ｌにおけるｉ番目の音源信号の状態を表す隠れ変数ｚｉ，ｌ∈｛１，．．．，Ｑ｝を導入し、状態系列ｚｉ，１，．．．，ｚｉ，Ｌがマルコフ連鎖に従うと仮定し、下記（７）式のように表す。
【００５９】
【数１７】
2016045221.tif 000019
【００６０】
ただしCategorical(ｘ;ｙ＾)＝ｙｘであり、ρ＾ｑ＝（ρｑ，１，．．．，ρｑ，Ｑ）は状態ｑから各状態１，．．．，Ｑに遷移する時の遷移確率を表し、ρ＾＝（ρｑ，ｑ´）Ｑ×Ｑは遷移行列である。Ｑは音源の状態数を表す。ここで、パワーｈｉ，ｌが各状態ｚｉ，ｌに応じて異なるハイパーパラメータを持つガンマ分布から生成されると仮定すると下記（８）式のように表される。
【００６１】
【数１８】
2016045221.tif 000020
【００６２】
ただし、α１：Ｑとβ１：Ｑとはそれぞれガンマ分布のスケールパラメータと形状パラメータであり、
【００６３】
【数１９】
2016045221.tif 000021
【００６４】
である。パワーｈｉ，ｌは無音状態において小さな値をとってほしいので、小さな値をとる確率が高くなるような分布になるようにガンマ分布のパラメータを設定し、残りの状態（有音状態に対応）に対しては、一様分布に近くなるようにガンマ分布のパラメータを設定すればよい。時刻ｌにおけるｉ番目の音源信号のパワースペクトルもｚｉ，ｌに応じて決まると仮定すると、音源信号ｓｉ，ｋ，ｌの生成プロセスは、ｗｉ，ｋ，１：Ｑ，ｈｉ，ｌ，ｚｉ，ｌが既知の条件下で下記（９）式のように表される。
【００６５】
【数２０】
2016045221.tif 000022
【００６６】
多チャンネル観測信号の最終的な生成モデルはａ＾ｉ：Ｉ，ｋ，０：Ｎ，ｗ１：Ｉ，ｋ，１：Ｑ，ｈ１：Ｉ，ｌ−Ｎ：ｌ，ｚ１：Ｉ，ｌ−Ｎ：ｌが既知の条件下で、上記（７）式と上記（８）式と合わせて下記（１０）式のように表される。
【００６７】
【数２１】
2016045221.tif 000023
【００６８】
上記の生成モデルを定めることにより、以下説明するパラメータ推定アルゴリズムを適用することができる。
【００６９】
次に、モデルパラメータの推定について説明する。パラメータの推定は、多チャンネル観測時間周波数成分Ｙ＾＝ｙ＾１：Ｋ，１：Ｌが与えられたときに、スペクトル生成モデルパラメータΘ＾の条件付き確率Ｐ（Θ＾｜Ｙ＾）を最大化する問題として定式化される。推定すべきパラメータΘ＾は、音源信号の基底パワースペクトルＷ＾＝ｗ１：Ｉ，１：Ｋ，１：Ｑ、アクティベーションパラメータＨ＾＝ｈ１：Ｉ，１：Ｌ、空間相関行列の時系列Ｃ＾＝Ｃ＾１：Ｉ，１：Ｋ，０：Ｎ、及び音源の状態系列Ｚ＾ｚ１：Ｉ，１：Ｌである。ここで、Ｗ＾とＨ＾とが音源信号、Ｃ＾が残響、Ｚ＾が音響イベントに関するパラメータとなっており、当該パラメータの各々を推定することで、各々音源分離、残響除去、及び音響イベント検出を行うことに対応している。
【００７０】
ここで、Θ＾の条件付き確率Ｐ（Θ＾｜Ｙ＾）を最大化するΘ＾を求めることは難しいが、各変数について局所最適化を繰り返すことは可能である。この時Ｐ（Θ＾｜Ｙ＾）は下記（１１）式及び下記（１２）式のように表される。
【００７１】
【数２２】
2016045221.tif 000024
【００７２】
ここで、
【００７３】
【数２３】
2016045221.tif 000025
【００７４】
は定数部分を除いて一致することを意味する。
【００７５】
本実施の形態において用いるアルゴリズムでは、各変数についてｌоｇＰ（Θ＾｜Ｙ＾
）の最大化を反復することでパラメータ推定を行う。ｌоｇＰ（Θ＾｜Ｙ＾）の最大化は、補助関数法を用いて各パラメータについて逐次的に実行可能である。ここで、ｌоｇＰ（Θ＾｜Ｙ＾）を具体的に、下記（１３）式で表す。
【００７６】
【数２４】
2016045221.tif 000026
【００７７】
である。ここで、目的関数ｌоｇＰ（Θ＾｜Ｙ＾）を
【００７８】
【数２５】
2016045221.tif 000027
【００７９】
と置き、負の逆行列関数の凹性を利用したＪｅｎｓｅｎの不等式と負の対数関数の凸性を利用した接線不等式を適用すると下記（１４）式のように表される。
【００８０】
【数２６】
2016045221.tif 000028
【００８１】
ここで、Ｒ＾ｉ，ｋ，ｌ，ｎとＵ＾ｋ，ｌはΣｉ，ｎＲ＾ｉ，ｋ，ｌ，ｎ＝Ｉ＾を満たす得るミート正定値行列であり、Ｒ＾とＵ＾の集合をΛ＾で表す。ｔｒ（・）は行列のトレースを表す。上記（１４）式の統合成立条件は、下記（１５）式及び下記（１６）式である。
【００８２】
【数２７】
2016045221.tif 000029
【００８３】
ここで、任意のΘ＾について、Λ＾が上記（１５）式及び上記（１６）式で与えられるとき、補助関数
【００８４】
【数２８】
2016045221.tif 000030
【００８５】
は目的関数
【００８６】
【数２９】
2016045221.tif 000031
【００８７】
と等しい。そして任意の固定されたΛ＾について
【００８８】
【数３０】
2016045221.tif 000032
【００８９】
を増加させるΘ＾は、上記（１４）式により
【００９０】
【数３１】
2016045221.tif 000033
【００９１】
を必ず増加させる。そのため、上記（１５）式及び上記（１６）式によるΛ＾の更新と、
【００９２】
【数３２】
2016045221.tif 000034
【００９３】
を増加させるようなΘ＾の更新を繰り返すことにより、目的関数は局所最適解に到達するまで、単調に増加する。
【００９４】
次に、パラメータの更新について説明する。Λ＾を固定したとき、補助関数
【００９５】
【数３３】
2016045221.tif 000035
【００９６】
は、基底パワースペクトルＷ＾、及びアクティベーションパラメータＨ＾について、下記（１７）式〜下記（２０）式により最大化される。
【００９７】
【数３４】
2016045221.tif 000036
【００９８】
ここで、
【００９９】
【数３５】
2016045221.tif 000037
【０１００】
を最大化するＣ＾は、下記（２１）式に示すＲｉｃｃａｔｉ方程式に従って求められる。
【０１０１】
【数３６】
2016045221.tif 000038
【０１０２】
Ｚ＾の更新に関しては、基底パワースペクトルＷ＾、アクティベーションパラメータＨ＾、空間相関行列の時系列Ｃ＾を固定したもとで行うＶｉｔｅｒｂｉアルゴリズムにより、
【０１０３】
【数３７】
2016045221.tif 000039
【０１０４】
を最大化する状態系列Ｚ＾を取得する。
【０１０５】
＜本発明の第１の実施の形態に係る信号解析装置の構成＞
次に、本発明の第１の実施の形態に係る信号解析装置の構成について説明する。図１に示すように、本発明の第１の実施の形態に係る信号解析装置１００は、ＣＰＵと、ＲＡＭと、後述するパラメータ推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この信号解析装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部９０と、を含んで構成されている。
【０１０６】
入力部１０は、残響がかかっておらず、他の音源が混じっていないクリーンな音響信号（以後、クリーン音響信号）の時系列データと当該音響信号が何の音源に対応しているかを表すラベルとのペアを受け付け、データベース２２に記憶する。また、入力部１０は、マイクロフォンから出力された残響がかかっており、クリーン音響信号を受け付けた複数の音源からの音源信号が混じっている混合音の音響信号（以後、混合音音響信号）の時系列データを受け付ける。
【０１０７】
演算部２０は、データベース２２と、時間周波数展開部２４と、パラメータ推定部２６と、パラメータ更新部３２と、収束判定部３４と、音声信号生成部４０と、を含んで構成されている。
【０１０８】
データベース２２には、入力部１０において受け付けたクリーン音響信号の時系列データが記憶されている。
【０１０９】
時間周波数展開部２４は、データベース２２に記憶されているクリーン音響信号の時系列データに基づいて、各時刻ｔｌにおける各周波数ωｋの観測時間周波数成分ｙ（ωｋ，ｔｌ）を表す多チャンネル観測時間周波数成分Ｙ＾を計算する。なお、第１の実施の形態においては、短時間フーリエ変換やウェーブレット変換などの時間周波数展開を行う。
【０１１０】
パラメータ推定部２６は、時間周波数展開部２４において取得した多チャンネル観測時間周波数成分Ｙ＾に対して従来技術である、多チャンネルＮＭＦを用いてパワースペクトルｗｉ，ｋ，ｑの推定を行い、基底パワースペクトルＷ＾を取得する。具体的には、上記（１０）式に示された生成モデルにおいて、音源信号の数Ｉ＝１、伝達周波数特性における残響時間長Ｎ＝０とした状態でパワースペクトルｗｉ，ｋ，ｑの推定を行い、結果として得られたパワースペクトルを、処理対象としたクリーン音響信号に対応したパワースペクトルｗｉ，ｋ，ｑとして用いる。また、処理対象としたクリーン音響信号のラベルと、処理対象のクリーン音響信号に対応したパワースペクトルｗｉ，ｋ，ｑとをペアにして保持する。
【０１１１】
混合音時間周波数展開部２８は、時間周波数展開部２４と同様に、入力部１０において受け付けた混合音音響信号の時系列データに基づいて、各時刻ｔｌにおける各周波数ωｋの観測時間周波数成分ｙ（ωｋ，ｔｌ）を表す多チャンネル観測時間周波数成分Ｙ＾を計算する。なお、第１の実施の形態においては、短時間フーリエ変換やウェーブレット変換などの時間周波数展開を行う。
【０１１２】
パラメータ更新部３２は、上記（１４）式に示す目的関数を最大化するように、混合音時間周波数展開部２８において取得した多チャンネル観測時間周波数成分Ｙ＾と、パラメータ推定部２６において取得した基底パワースペクトルＷ＾と、初期値である、又は前回更新した、各時刻ｔｌにおける各音源ｉの音源信号のパワーｈｉ，ｌを表すアクティベーションパラメータＨ＾と、初期値である、又は前回更新した、各時刻ｔｎ及び各周波数ωｋにおける各音源ｉの伝達周波数特性の成分ａｉ，ｋ，ｎに基づいて求められる、空間相関行列Ｃ＾ｉ，ｋ，ｎを表す空間相関行列の時系列Ｃ＾と、初期値である、又は前回更新した各時刻ｔｌにおける各音源ｉの音源信号の状態ｚｉ，ｌを表す状態系列と、に基づいて、補助変数Ｒ＾と補助変数Ｕ＾との集合であるΛ＾の更新と、アクティベーションパラメータＨ＾の更新と、空間相関行列の時系列Ｃ＾の更新と、各音源ｉの音源信号の状態ｚｉ，ｌの更新とを行う。
【０１１３】
具体的には、まず、パラメータ推定部２６において取得した基底パワースペクトルＷ＾と、初期値である、又は前回更新したアクティベーションパラメータＨ＾と、初期値である、又は前回更新した空間相関行列の時系列Ｃ＾とに基づいて、上記（１５）式、及び上記（１６）式に基づいて、補助変数Ｒ＾と補助変数Ｕ＾と（以後、Λ＾とする）を更新する。次に、更新したΛ＾と、初期値である、又は前回更新した空間相関行列の時系列Ｃ＾と、混合音時間周波数展開部２８において取得した多チャンネル観測時間周波数成分Ｙ＾と、パラメータ推定部２６において取得した基底パワースペクトルＷ＾と、初期値である、又は前回更新したアクティベーションパラメータＨ＾とに基づいて、上記（１８）式〜上記（２０）式に従って、アクティベーションパラメータＨ＾を更新する。
【０１１４】
次に、パラメータ推定部２６において取得した基底パワースペクトルＷ＾と、更新したアクティベーションパラメータＨ＾と、初期値である、又は前回更新した空間相関行列の時系列Ｃ＾とに基づいて、上記同様、Λ＾を更新する。次に、更新したΛ＾と、初期値又は前回更新した空間相関行列の時系列Ｃ＾と、混合音時間周波数展開部２８において取得した多チャンネル観測時間周波数成分Ｙ＾と、パラメータ推定部２６において取得した基底パワースペクトルＷ＾と、更新したアクティベーションパラメータＨ＾とに基づいて、上記（２１）式〜上記（２２）式に従って、空間相関行列の時系列Ｃ＾を更新する。
【０１１５】
次に、パラメータ推定部２６において取得した基底パワースペクトルＷ＾と、更新したアクティベーションパラメータＨ＾と、更新した空間相関行列の時系列Ｃ＾とに基づいて、上記と同様にΛ＾を更新する。次に、パラメータ推定部２６において取得した基底パワースペクトルＷ＾と、更新したアクティベーションパラメータＨ＾と、更新した空間相関行列の時系列Ｃ＾とに基づいて、Ｖｉｔｅｒｂｉアルゴリズムに従って、
【０１１６】
【数３８】
2016045221.tif 000040
【０１１７】
を最大化する状態系列Ｚ＾を更新する。そして、更新した各パラメータに基づく目的関数
【０１１８】
【数３９】
2016045221.tif 000041
【０１１９】
の値を収束判定部３４に出力する。
【０１２０】
収束判定部３４は、パラメータ更新部３２において取得した目的関数の値と前回の目的関数の値との差分が、予め定められた閾値以下である場合に、収束条件を満たすと判定する。収束条件を満たすまで、パラメータ更新部３２における更新処理と、収束判定部３４における収束条件の判定処理を繰り返す。
【０１２１】
音声信号生成部４０は、パラメータ推定部２６において取得した基底パワースペクトルＷ＾と、混合音時間周波数展開部２８において取得した多チャンネル観測時間周波数成分Ｙ＾と、パラメータ更新部３２において更新したアクティベーションパラメータＨ＾及び空間相関行列の時系列Ｃ＾とに基づいて、下記（２３）式に示す多チャンネルウィーナーフィルタに従って、ｉ番目の音響信号に対応する残響が除去された分離音＊ｙ＾ｉ，ｋ，ｌを算出し、出力部９０から出力する。また、音声信号生成部４０は、パラメータ更新部３２において更新した状態系列Ｚに基づいて、ｉ番目の音源信号のラベルに対応する音響イベントを検出し、出力部９０に出力する。
【０１２２】
【数４０】
2016045221.tif 000042
【０１２３】
＜本発明の第１の実施の形態に係る信号解析装置の作用＞
次に、本発明の第１の実施の形態に係る信号解析装置１００の作用について説明する。まず、入力部１０においてクリーン音響信号の時系列データとラベルとのペアを受け付け、データベース２２に記憶する。次に、入力部１０において、マイクロフォンから出力された混合音音響信号の時系列データを受け付けると、信号解析装置１００は、図２に示すパラメータ推定処理ルーチンを実行する。
【０１２４】
まず、ステップＳ１００では、データベースに記憶されているクリーン音響信号の時系列データとラベルとのペアを読み込む。
【０１２５】
次に、ステップＳ１０２では、ステップＳ１００において取得したクリーン音響信号の時系列データに基づいて、多チャンネル観測時間周波数成分Ｙ＾を取得する。
【０１２６】
次に、ステップＳ１０４では、ステップＳ１０２において取得した多チャンネル観測時間周波数成分Ｙ＾に基づいて、基底パワースペクトルＷ＾を取得する。
【０１２７】
次に、ステップＳ１０６では、入力部１０において受け付けた混合音音響信号の時系列データに基づいて、多チャンネル観測時間周波数成分Ｙ＾を取得する。
【０１２８】
ステップＳ１０７では、アクティベーションパラメータＨ＾、及び空間相関行列の時系列Ｃ＾について、初期値を設定する。
【０１２９】
ステップＳ１０８では、ステップＳ１０４において取得した基底パワースペクトルＷ＾と、ステップＳ１０７で初期値が設定された、又はステップＳ１１０において前回更新したアクティベーションパラメータＨ＾と、ステップＳ１０７で初期値が設定された、又はステップＳ１１４において前回更新した空間相関行列の時系列Ｃ＾とに基づいて、上記（１５）式、及び上記（１６）式に基づいて、Λ＾を更新する。
【０１３０】
次に、ステップＳ１１０では、ステップＳ１０８において更新したΛ＾と、ステップＳ１０７で初期値が設定された、又はステップＳ１１４において前回更新した空間相関行列の時系列Ｃ＾と、ステップＳ１０６において取得した多チャンネル観測時間周波数成分Ｙ＾と、ステップＳ１０４において取得した基底パワースペクトルＷ＾と、ステップＳ１０７で初期値が設定された、又はステップＳ１１０において前回更新したアクティベーションパラメータＨ＾とに基づいて、アクティベーションパラメータＨ＾を更新する。
【０１３１】
次に、ステップＳ１１２では、ステップＳ１０４において取得した基底パワースペクトルＷ＾と、ステップＳ１１０において更新したアクティベーションパラメータＨ＾と、ステップＳ１０７で初期値が設定された、又はステップＳ１１４において前回更新した空間相関行列の時系列Ｃ＾とに基づいて、上記（１５）式、及び上記（１６）式に基づいて、Λ＾を更新する。
【０１３２】
次に、ステップＳ１１４では、ステップＳ１１２において更新したΛ＾と、ステップＳ１０７で初期値が設定された、又はステップＳ１１４において前回更新した空間相関行列の時系列Ｃ＾と、ステップＳ１０６において取得した多チャンネル観測時間周波数成分Ｙ＾と、ステップＳ１０４において取得した基底パワースペクトルＷ＾と、ステップＳ１１０において更新したアクティベーションパラメータＨ＾とに基づいて、上記（２１）式〜上記（２２）式に従って、空間相関行列の時系列Ｃ＾を更新する。
【０１３３】
次に、ステップＳ１１６では、ステップＳ１０４において取得した基底パワースペクトルＷ＾と、ステップＳ１１０において更新したアクティベーションパラメータＨ＾と、ステップＳ１１４において更新した空間相関行列の時系列Ｃ＾とに基づいて、上記（１５）式、及び上記（１６）式に基づいて、Λ＾を更新する。
【０１３４】
次に、ステップＳ１１８では、ステップＳ１０４において取得した基底パワースペクトルＷ＾と、ステップＳ１１０において取得したアクティベーションパラメータＨ＾と、ステップＳ１１４において取得した空間相関行列の時系列Ｃ＾とに基づいて、Ｖｉｔｅｒｂｉアルゴリズムに従って、状態系列Ｚ＾を更新する。
【０１３５】
次に、ステップＳ１２０では、収束条件を満たすか否かを判定する。収束条件を満たした場合には、パラメータ推定処理ルーチンを終了し、収束条件を満たしていない場合には、ステップＳ１０８へ移行し、ステップＳ１０８〜ステップＳ１２０の処理を繰り返す。
【０１３６】
＜実験例＞
第１の実施の形態における信号解析装置１００による音源分離・残響除去・音響イベント検出の統合的手法に関し、適切に音源分離、残響除去、音響イベント検出が実行可能であることの検証のために行った予備実験について説明する。
【０１３７】
ＲＷＣＰ非音声ドライソース（非特許文献５：S. Nakamura, K. Hiyane, F. Asano, T. Nishiura, and T. Yamada, “Acoustical sound database in real environments for sound scene understanding and hands-free speech recognition,” in Proc. 2nd International Conference on Language Resources & Evaluation (LREC 2000), pp. 965-968, 2000.）の中のホッチキスの音とベルの音に対して、ＲＷＣＰ実環境データベース（非特許文献５）内の残響時間６００ｍｓのインパルス応答を畳み込んで人工的に多チャンネルの残響下混合音声を作成した。図３に作成した混合音のスペクトログラムを示す。パワースペクトルの状態数Ｑ＝２とし、ｑ＝１が無音状態となるようにハイパーパラメータα１：Ｑ，β１：Ｑを調整した上で、あらかじめクリーンな音響信号からパワースペクトルを学習し、本実施の形態における信号解析装置１００を適用した。
【０１３８】
無響下でのホッチキスの音（元の音源信号）のスペクトログラム（図４）、本実施の形態によって得られた残響除去済み分離音（図５）、音響イベント検出結果（図６）を示す、図４では黒がその時刻で推定された状態を表す。また従来法によって得られた分離音のスペクトログラム（図７）を示す。従来法には非特許文献４の手法を用いた。従来法では残響が音源信号として推定されてしまっているのに対して、本実施の形態における手法では残響が除去され図４で示した元の音源信号により近い分離音が得られていることが分かる。また、音源分離性能の客観指標として信号対干渉比(Signal-to-Interference-Ratio; SIR)（非特許文献６：E. Vincent, R. Gribonval, and C. Fevotte, “Performance measurement in blind audio source separation,” IEEE Trans. ASLP, IEEE Transactions on Audio, Speech, and Language Processing,pp. 1462-1469, 2006.）を用いた。高いＳＩＲは高い分離性能を示す。２つの音源におけるＳＩＲの平均は、本実施の形態による分離音では３９．６７[dB]、従来法による分離音では３５．９４[dB]であり，本実施の形態による手法が従来法と比べて高い分離性能を示していることが分かる。これにより、本実施の形態による手法によって音源分離・残響除去・音響イベント検出が統合的に行われ、従来法に比べて高い精度で音源分離が行われていることが分かる。
【０１３９】
以上説明したように、本発明の第１の実施の形態に係る信号解析装置によれば、Ｉ個の音源からの音源信号が混合された多チャンネル観測信号を入力として、多チャンネル観測時間周波数成分が与えられたもとでの、各音源の、基底パワースペクトルと、アクティベーションパラメータと、空間相関行列の時系列と、状態系列の条件付き確率を表す目的関数を最大化するように、多チャンネル観測時間周波数成分、基底パワースペクトル、アクティベーションパラメータ、空間相関行列の時系列、及び状態系列に基づいて、基底パワースペクトルの更新、アクティベーションパラメータの更新、空間相関行列の時系列の更新、及び状態系列の更新の各々を行い、予め定められた収束条件を満たすまで、パラメータ更新部による更新を繰り返し行うことにより、音源分離、音響イベント検出、及び残響除去を統合的に精度良く行うことができる
【０１４０】
また、画一的最適化規準に基づいて音源分離・音響イベント検出・残響除去を統合的に精度よく行うことができる。
【０１４１】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１４２】
例えば、第１の実施の形態においては、多チャンネルウィーナーフィルタに従って、音響信号に対応する残響が除去された分離音を算出する場合について説明したが、これに限定されるものではなく、
【０１４３】
【数４１】
2016045221.tif 000043
【０１４４】
に時間周波数領域の多チャンネル観測信号ｙ＾ｋ，ｌの位相を付加して分離音を得てもよい。
【０１４５】
また、第１の実施の形態においては、今回の目的関数と前回の目的関数との差分が予め定められた閾値以下である場合に収束条件を満たすと判定する場合について説明したが、これに限定されるものではない。例えば、予め定められた繰り返し回数の更新を行ったことを収束条件としてもよい。
【０１４６】
また、更新するパラメータの順番には任意性があるため、第１の実施の形態の順番に限定されない。
【０１４７】
次に、第２の実施の形態に係る信号解析装置について説明する。
【０１４８】
第２の実施の形態においては、一部のパワースペクトルを学習し、当該学習されたパワースペクトルを固定した上で、学習していないパワースペクトルを含む残りのパラメータの各々を、多チャンネル観測信号を基に推定する点が第１の実施の形態と異なる。なお、第１の実施の形態に係る信号解析装置１００と同様の構成及び作用については、同一の符号を付して説明を省略する。
【０１４９】
＜本発明の第２の実施の形態に係る信号解析装置の構成＞
次に、本発明の第２の実施の形態に係る信号解析装置の構成について説明する。図８に示すように、本発明の第２の実施の形態に係る信号解析装置２００は、ＣＰＵと、ＲＡＭと、後述するパラメータ推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この信号解析装置２００は、機能的には図８に示すように入力部２１０と、演算部２２０と、出力部９０と、を含んで構成されている。
【０１５０】
入力部２１０は、残響がかかっておらず、他の音源が混じっていないクリーンな音響信号（以後、クリーン音響信号）の時系列データと当該音響信号が何の音源に対応しているかを表すラベルとのペアを受け付け、データベース２２２に記憶する。また、入力部２１０は、マイクロフォンから出力された残響がかかっており、クリーン音響信号を受け付けた音源以外の音源を含む複数の音源からの音源信号が混じっている混合音の音響信号（以後、混合音音響信号）の時系列データを受け付ける。
【０１５１】
演算部２２０は、データベース２２２と、時間周波数展開部２４と、パラメータ推定部２２６と、パラメータ更新部２３２と、収束判定３４と、音声信号生成部４０と、を含んで構成されている。
【０１５２】
パラメータ推定部２２６は、時間周波数展開部２４において取得した多チャンネル観測時間周波数成分Ｙ＾に対して従来技術である、多チャンネルＮＭＦを用いて予め定められたパワースペクトルｗｉ，ｋ，ｑの推定を行う。具体的には、上記（１０）式に示された生成モデルにおいて、音源信号の数Ｉ＝１、伝達周波数特性における残響時間長Ｎ＝０とした状態でパワースペクトルｗｉ，ｋ，ｑの推定を行い、結果として得られたパワースペクトルを、処理対象としたクリーン音響信号に対応したパワースペクトルｗｉ，ｋ，ｑとして用いる。
【０１５３】
パラメータ更新部２３２は、上記（１４）式に示す目的関数を最大化するように、混合音時間周波数展開部２８において取得した多チャンネル観測時間周波数成分Ｙ＾と、パラメータ推定部２２６において取得した既知の各音源ｉのパワースペクトルｗｉ，ｋ，ｑ及び既知の音源以外の各音源ｉのパワースペクトルｗｉ，ｋ，ｑとからなる基底パワースペクトルＷ＾と、初期値である、又は前回更新した、各時刻ｔｌにおける各音源ｉの音源信号のパワーｈｉ，ｌを表すアクティベーションパラメータＨ＾と、初期値である、又は前回更新した、各時刻ｔｎ及び各周波数ωｋにおける各音源ｉの伝達周波数特性の成分ａｉ，ｋ，ｎに基づいて、空間相関行列Ｃ＾ｉ，ｋ，ｎを表す空間相関行列の時系列Ｃ＾と、初期値である、又は前回更新した各時刻ｔｌにおける各音源ｉの音源信号の状態ｚｉ，ｌを表す状態系列Ｚ＾と、に基づいて、Ｒ＾とＵ＾との集合であるΛ＾の更新と、基底パワースペクトルＷ＾の更新と、アクティベーションパラメータＨ＾の更新と、空間相関行列の時系列Ｃ＾の更新と、各音源ｉの音源信号の状態ｚｉ，ｌの更新とを行う。
【０１５４】
具体的には、まず、パラメータ推定部２２６において取得した既知の音源ｉの固定されているパワースペクトルｗｉ，ｋ，ｑ、及び初期値である、又は前回更新したそれ以外の音源ｉのパワースペクトルｗｉ，ｋ，ｑとからなる基底パワースペクトルＷ＾と、初期値である、又は前回更新したアクティベーションパラメータＨ＾と、初期値である、又は前回更新した空間相関行列の時系列Ｃ＾とに基づいて、上記（１５）式、及び上記（１６）式に従って、Λ＾を更新する。次に、更新したΛ＾と、基底パワースペクトルＷ＾と、初期値である、又は前回更新したアクティベーションパラメータＨ＾と、初期値である、又は前回更新した空間相関行列の時系列Ｃ＾とに基づいて、上記（１７）式に従って、当該それ以外の音源ｉのパワースペクトルｗｉ，ｋ，ｑを更新し、基底パワースペクトルＷ＾を一部更新する。次に、更新した基底パワースペクトルＷ＾と、初期値である、又は前回更新したアクティベーションパラメータＨ＾と、初期値又は前回更新した空間相関行列の時系列Ｃ＾とに基づいて、上記（１５）式、及び上記（１６）式に従って、Λ＾を更新する。次に、更新したΛ＾と、初期値である、又は前回更新した空間相関行列の時系列Ｃ＾と、混合音時間周波数展開部２８において取得した多チャンネル観測時間周波数成分Ｙ＾と、一部更新した基底パワースペクトルＷ＾と、初期値である、又は前回更新したアクティベーションパラメータＨ＾とに基づいて、上記（１８）式〜上記（２０）式に従って、アクティベーションパラメータＨ＾を更新する。次に、一部更新した基底パワースペクトルＷ＾と、更新したアクティベーションパラメータＨ＾と、初期値又は前回更新した空間相関行列の時系列Ｃ＾とに基づいて、上記同様、Λ＾を更新する。次に、更新したΛ＾と、初期値である、又は前回更新した空間相関行列の時系列Ｃ＾と、混合音時間周波数展開部２８において取得した多チャンネル観測時間周波数成分Ｙ＾と、一部更新した基底パワースペクトルＷ＾と、更新したアクティベーションパラメータＨ＾とに基づいて、上記（２１）式〜上記（２２）式に従って、空間相関行列の時系列Ｃ＾を更新する。次に、一部更新した基底パワースペクトルＷ＾と、更新したアクティベーションパラメータＨ＾と、更新した空間相関行列の時系列Ｃ＾とに基づいて、上記と同様にΛ＾を更新する。次に、一部更新した基底パワースペクトルＷ＾と、更新したアクティベーションパラメータＨ＾と、更新した空間相関行列の時系列Ｃ＾とに基づいて、Ｖｉｔｅｒｂｉアルゴリズムに従って、
【０１５５】
【数４２】
2016045221.tif 000044
【０１５６】
を最大化する状態系列Ｚ＾を更新する。そして、更新した各パラメータに基づく目的関数
【０１５７】
【数４３】
2016045221.tif 000045
【０１５８】
の値を収束判定部３４に出力する。
【０１５９】
＜本発明の第２の実施の形態に係る信号解析装置の作用＞
次に、本発明の第２の実施の形態に係る信号解析装置２００の作用について説明する。まず、入力部２１０においてクリーン音響信号の時系列データとラベルとのペアを受け付け、データベース２２２に記憶する。次に、入力部２１０において、マイクロフォンから出力された混合音音響信号の時系列データを受け付けると、信号解析装置２００は、図９に示すパラメータ推定処理ルーチンを実行する。
【０１６０】
ステップＳ２００では、ステップＳ１０２において取得した多チャンネル観測時間周波数成分Ｙ＾に基づいて、パワースペクトルｗｉ，ｋ，ｑを取得する。
【０１６１】
ステップＳ２０１では、アクティベーションパラメータＨ＾、及び空間相関行列の時系列Ｃ＾について、初期値を設定する。また、基底パワースペクトルＷ＾のうち、既知の音源以外の各音源ｉのパワースペクトルｗｉ，ｋ，ｑについて、初期値を設定する。
【０１６２】
ステップＳ２０２では、ステップＳ２００において取得した既知の音源ｉの固定されているパワースペクトルｗｉ，ｋ，ｑ、及びステップＳ２０１で初期値が設定された、又は前回のステップＳ２０３において取得した既知の音源以外の音源ｉのパワースペクトルｗｉ，ｋ，ｑからなる基底パワースペクトルＷ＾と、ステップＳ２０１で初期値が設定された、又は前回のステップＳ２０６において取得したアクティベーションパラメータＨ＾と、ステップＳ２０１で初期値が設定された、又は前回のステップＳ２１０において取得した空間相関行列の時系列Ｃ＾と、に基づいて、Λ＾を更新する。
【０１６３】
次に、ステップＳ２０３では、ステップＳ２０２において取得したΛ＾と、ステップＳ２００において取得した既知の音源ｉの固定されているパワースペクトルｗｉ，ｋ，ｑ及びステップＳ２０１で初期値が設定された、又は前回のステップＳ２０３において取得した既知の音源以外の音源ｉのパワースペクトルｗｉ，ｋ，ｑからなる基底パワースペクトルＷ＾と、ステップＳ２０１で初期値が設定された、又は前回のステップＳ２０６において取得したアクティベーションパラメータＨ＾と、ステップＳ２０１で初期値が設定された、又は前回のステップＳ２１０において取得した空間相関行列の時系列Ｃ＾とに基づいて、当該既知の音源以外の音源ｉのパワースペクトルｗｉ，ｋ，ｑを更新し、基底パワースペクトルＷ＾を更新する。
【０１６４】
次に、ステップＳ２０４では、ステップＳ２０３において取得した基底パワースペクトルＷ＾と、ステップＳ２０１で初期値が設定された、又は前回のステップＳ２０６において取得したアクティベーションパラメータＨ＾と、ステップＳ２０１で初期値が設定された、又は前回のステップＳ２１０において取得した空間相関行列の時系列Ｃ＾とに基づいて、Λ＾を更新する。
【０１６５】
次に、ステップＳ２０６では、ステップＳ２０４において取得したΛ＾と、ステップＳ２０３において取得した基底パワースペクトルＷ＾と、ステップＳ２０１で初期値が設定された、又は前回のステップＳ２０６において取得したアクティベーションパラメータＨ＾と、ステップＳ２０１で初期値が設定された、又は前回のステップＳ２１０において取得した空間相関行列の時系列Ｃ＾とに基づいて、アクティベーションパラメータＨ＾を更新する。
【０１６６】
次に、ステップＳ２０８では、ステップＳ２０３において取得した基底パワースペクトルＷ＾と、ステップＳ２０６において取得したアクティベーションパラメータＨ＾と、ステップＳ２０１で初期値が設定された、又は前回のステップＳ２１０において取得した空間相関行列の時系列Ｃ＾とに基づいて、Λ＾を更新する。
【０１６７】
次に、ステップＳ２１０では、ステップＳ２０８において更新したΛ＾と、ステップＳ２０１で初期値が設定された、又はステップＳ２１０において前回更新した空間相関行列の時系列Ｃ＾と、ステップＳ１０６において取得した多チャンネル観測時間周波数成分Ｙ＾と、ステップＳ２０３において取得した基底パワースペクトルＷ＾と、ステップＳ２０６において更新したアクティベーションパラメータＨ＾とに基づいて、上記（２１）式〜上記（２２）式に従って、空間相関行列の時系列Ｃ＾を更新する。
【０１６８】
次に、ステップＳ２１２では、ステップＳ２０３において取得した基底パワースペクトルＷ＾と、ステップＳ２０６において取得したアクティベーションパラメータＨ＾と、ステップＳ２１０において取得した空間相関行列の時系列Ｃ＾とに基づいて、Λ＾を更新する。
【０１６９】
次に、ステップＳ２１４では、ステップＳ２０３において取得した基底パワースペクトルＷ＾と、ステップＳ２０６において取得したアクティベーションパラメータＨ＾と、ステップＳ２１０において取得した空間相関行列の時系列Ｃ＾とに基づいて、Ｖｉｔｅｒｂｉアルゴリズムに従って、状態系列Ｚ＾を更新する。
【０１７０】
次に、ステップＳ２１６では、収束条件を満たすか否かを判定する。収束条件を満たした場合には、パラメータ推定処理ルーチンを終了し、収束条件を満たしていない場合には、ステップＳ２０２へ移行し、ステップＳ２０２〜ステップＳ２１６の処理を繰り返す。
【０１７１】
以上説明したように、本発明の第２の実施の形態に係る信号解析装置によれば、Ｉ個の音源からの音源信号が混合された多チャンネル観測信号を入力として、多チャンネル観測時間周波数成分が与えられたもとでの、各音源の、基底パワースペクトルと、アクティベーションパラメータと、空間相関行列の時系列と、状態系列の条件付き確率を表す目的関数を最大化するように、多チャンネル観測時間周波数成分、基底パワースペクトル、アクティベーションパラメータ、空間相関行列の時系列、及び状態系列に基づいて、基底パワースペクトルの更新、アクティベーションパラメータの更新、空間相関行列の時系列の更新、及び状態系列の更新の各々を行い、予め定められた収束条件を満たすまで、パラメータ更新部による更新を繰り返し行うことにより、音源分離、音響イベント検出、及び残響除去を統合的に精度良く行うことができる
【０１７２】
次に、第３の実施の形態に係る信号解析装置について説明する。
【０１７３】
第３の実施の形態においては、パワースペクトルの学習を行わずに、全てのモデルパラメータを、多チャンネル観測信号を基に推定する点が第１の実施の形態と異なる。なお、第１の実施の形態に係る信号解析装置１００と同様の構成及び作用については、同一の符号を付して説明を省略する。
【０１７４】
＜本発明の第３の実施の形態に係る信号解析装置の構成＞
次に、本発明の第３の実施の形態に係る信号解析装置の構成について説明する。図１０に示すように、本発明の第３の実施の形態に係る信号解析装置３００は、ＣＰＵと、ＲＡＭと、後述するパラメータ推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することができる。この信号解析装置３００は、機能的には図１０に示すように入力部３１０と、演算部３２０と、出力部９０と、を含んで構成されている。
【０１７５】
入力部３１０は、マイクロフォンから出力された残響がかかっており、複数の音源からの音源信号が混じっている混合音の音響信号（以後、混合音音響信号）の時系列データを受け付ける。
【０１７６】
演算部３２０は、混合音時間周波数展開部２８と、パラメータ更新部３３２と、収束判定部３４と、音声信号生成部４０とを含んで構成されている。
【０１７７】
パラメータ更新部３３２は、上記（１４）式に示す目的関数を最大化するように、混合音時間周波数展開部２８において取得した多チャンネル観測時間周波数成分Ｙ＾と、初期値である、又は前回更新した各音源ｉのパワースペクトルｗｉ，ｋ，ｑとからなる基底パワースペクトルＷ＾と、初期値である、又は前回更新した、各時刻ｔｌにおける各音源ｉの音源信号のパワーｈｉ，ｌを表すアクティベーションパラメータＨ＾と、初期値である、又は前回更新した、各時刻ｔｎ及び各周波数ωｋにおける各音源ｉの伝達周波数特性の成分ａｉ，ｋ，ｎに基づいて、空間相関行列Ｃ＾ｉ，ｋ，ｎを表す空間相関行列の時系列Ｃ＾と、初期値である、又は前回更新した各時刻ｔｌにおける各音源ｉの音源信号の状態ｚｉ，ｌを表す状態系列Ｚ＾と、に基づいて、Ｒ＾とＵ＾との集合であるΛ＾の更新と、基底パワースペクトルＷ＾の更新と、アクティベーションパラメータＨ＾の更新と、空間相関行列の時系列Ｃ＾の更新と、各音源ｉの音源信号の状態ｚｉ，ｌの更新とを行う。
【０１７８】
具体的には、まず、初期値である、又は前回更新した音源ｉのパワースペクトルｗｉ，ｋ，ｑからなる基底パワースペクトルＷ＾と、初期値である、又は前回更新したアクティベーションパラメータＨ＾と、初期値である、又は前回更新した空間相関行列の時系列Ｃ＾とに基づいて、上記（１５）式、及び上記（１６）式に従って、Λ＾を更新する。次に、更新したΛ＾と、基底パワースペクトルＷ＾と、初期値である、又は前回更新したアクティベーションパラメータＨ＾と、初期値である、又は前回更新した空間相関行列の時系列Ｃ＾とに基づいて、上記（１７）式に従って、基底パワースペクトルＷ＾を更新する。次に、更新した基底パワースペクトルＷ＾と、初期値である、又は前回更新したアクティベーションパラメータＨ＾と、初期値である、又は前回更新した空間相関行列の時系列Ｃ＾とに基づいて、上記（１５）式、及び上記（１６）式に従って、Λ＾を更新する。次に、更新したΛ＾と、初期値である、又は前回更新した空間相関行列の時系列Ｃ＾と、混合音時間周波数展開部２８において取得した多チャンネル観測時間周波数成分Ｙ＾と、更新した基底パワースペクトルＷ＾と、初期値である、又は前回更新したアクティベーションパラメータＨ＾とに基づいて、上記（１８）式〜上記（２０）式に従って、アクティベーションパラメータＨ＾を更新する。次に、更新した基底パワースペクトルＷ＾と、更新したアクティベーションパラメータＨ＾と、初期値又は前回更新した空間相関行列の時系列Ｃ＾とに基づいて、上記同様、Λ＾を更新する。次に、更新したΛ＾と、初期値である、又は前回更新した空間相関行列の時系列Ｃ＾と、混合音時間周波数展開部２８において取得した多チャンネル観測時間周波数成分Ｙ＾と、更新した基底パワースペクトルＷ＾と、更新したアクティベーションパラメータＨ＾とに基づいて、上記（２１）式〜上記（２２）式に従って、空間相関行列の時系列Ｃ＾を更新する。次に、更新した基底パワースペクトルＷ＾と、更新したアクティベーションパラメータＨ＾と、更新した空間相関行列の時系列Ｃ＾とに基づいて、上記と同様にΛ＾を更新する。次に、更新した基底パワースペクトルＷ＾と、更新したアクティベーションパラメータＨ＾と、更新した空間相関行列の時系列Ｃ＾とに基づいて、Ｖｉｔｅｒｂｉアルゴリズムに従って、
【０１７９】
【数４４】
2016045221.tif 000046
【０１８０】
を最大化する状態系列Ｚ＾を更新する。そして、更新した各パラメータに基づく目的関数
【０１８１】
【数４５】
2016045221.tif 000047
【０１８２】
の値を収束判定部３４に出力する。
【０１８３】
＜本発明の第３の実施の形態に係る信号解析装置の作用＞
次に、本発明の第３の実施の形態に係る信号解析装置３００の作用について説明する。入力部３１０においてマイクロフォンから出力された混合音音響信号の時系列データを受け付けると、信号解析装置３００は、図１１に示すパラメータ推定処理ルーチンを実行する。
【０１８４】
ステップＳ３００では、パワースペクトル行列Ｗ＾、アクティベーションパラメータＨ＾、及び空間相関行列の時系列Ｃ＾について、初期値を設定する。
【０１８５】
ステップＳ３０１では、ステップＳ３００で初期値が設定された、又は前回のステップＳ３０２において取得したパワースペクトル行列Ｗ＾と、ステップＳ３００で初期値が設定された、又は前回のステップＳ３０６において取得したアクティベーションパラメータＨ＾と、ステップＳ３００で初期値が設定された、又は前回のステップＳ３１０において取得した空間相関行列の時系列Ｃ＾とに基づいて、Λ＾を更新する。
【０１８６】
次に、ステップＳ３０２では、ステップＳ３０１において取得したΛ＾と、ステップＳ３００で初期値が設定された、又は前回のステップＳ３０２において取得したパワースペクトル行列Ｗ＾と、ステップＳ３００で初期値が設定された、又は前回のステップＳ３０６において取得したアクティベーションパラメータＨ＾と、ステップＳ３００で初期値が設定された、又は前回のステップＳ３１０において取得した空間相関行列の時系列Ｃ＾とに基づいて、基底パワースペクトルＷ＾を更新する。
【０１８７】
次に、ステップＳ３０４では、ステップＳ３０２において取得した基底パワースペクトルＷ＾と、ステップＳ３００で初期値が設定された、又は前回のステップＳ３０６において取得したアクティベーションパラメータＨ＾と、ステップＳ３００で初期値が設定された、又は前回のステップＳ３１０において取得した空間相関行列の時系列Ｃ＾とに基づいて、Λ＾を更新する。
【０１８８】
次に、ステップＳ３０６では、ステップＳ３０４において取得したΛ＾とステップＳ３０２において取得した基底パワースペクトルＷ＾と、ステップＳ３００で初期値が設定された、又は前回のステップＳ３０６において取得したアクティベーションパラメータＨ＾と、ステップＳ３００で初期値が設定された、又は前回のステップＳ３１０において取得した空間相関行列の時系列Ｃ＾とに基づいて、アクティベーションパラメータＨ＾を更新する。
【０１８９】
次に、ステップＳ３０８では、ステップＳ３０２において取得した基底パワースペクトルＷ＾と、ステップＳ３０６において取得したアクティベーションパラメータＨ＾と、ステップＳ３００で初期値が設定された、又は前回のステップＳ３１０において取得した空間相関行列の時系列Ｃ＾とに基づいて、Λ＾を更新する。
【０１９０】
次に、ステップＳ３１０では、ステップＳ３０８において更新したΛ＾と、ステップＳ３００で初期値が設定された、又はステップＳ３１０において前回更新した空間相関行列の時系列Ｃ＾と、ステップＳ１０６において取得した多チャンネル観測時間周波数成分Ｙ＾と、ステップＳ３０２において取得した基底パワースペクトルＷ＾と、ステップＳ３０６において更新したアクティベーションパラメータＨ＾とに基づいて、上記（２１）式〜上記（２２）式に従って、空間相関行列の時系列Ｃ＾を更新する。
【０１９１】
次に、ステップＳ３１２では、ステップＳ３０２において取得した基底パワースペクトルＷ＾と、ステップＳ３０６において取得したアクティベーションパラメータＨ＾と、ステップＳ３１０において取得した空間相関行列の時系列Ｃ＾とに基づいて、Λ＾を更新する。
【０１９２】
次に、ステップＳ３１４では、ステップＳ３０２において取得した基底パワースペクトルＷ＾と、ステップＳ３０６において取得したアクティベーションパラメータＨ＾と、ステップＳ３１０において取得した空間相関行列の時系列Ｃ＾とに基づいて、Ｖｉｔｅｒｂｉアルゴリズムに従って、状態系列Ｚ＾を更新する。
【０１９３】
次に、ステップＳ３１６では、収束条件を満たすか否かを判定する。収束条件を満たした場合には、パラメータ推定処理ルーチンを終了し、収束条件を満たしていない場合には、ステップＳ３０１へ移行し、ステップＳ３０１〜ステップＳ３１６の処理を繰り返す。
【０１９４】
以上説明したように、本発明の第３の実施の形態に係る信号解析装置によれば、Ｉ個の音源からの音源信号が混合された多チャンネル観測信号を入力として、多チャンネル観測時間周波数成分が与えられたもとでの、各音源の、基底パワースペクトルと、アクティベーションパラメータと、空間相関行列の時系列と、状態系列の条件付き確率を表す目的関数を最大化するように、多チャンネル観測時間周波数成分、基底パワースペクトル、アクティベーションパラメータ、空間相関行列の時系列、及び状態系列に基づいて、基底パワースペクトルの更新、アクティベーションパラメータの更新、空間相関行列の時系列の更新、及び状態系列の更新の各々を行い、予め定められた収束条件を満たすまで、パラメータ更新部による更新を繰り返し行うことにより、音源分離、音響イベント検出、及び残響除去を統合的に精度良く行うことができる
【０１９５】
なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。
【０１９６】
また、本願明細書中において、プログラムが予めインストールされている実施形態として説明したが、当該プログラムを、コンピュータ読み取り可能な記録媒体に格納して提供することも可能であるし、ネットワークを介して提供することも可能である。
【符号の説明】
【０１９７】
１０   入力部
２０   演算部
２２   データベース
２４   時間周波数展開部
２６   パラメータ推定部
２８   混合音時間周波数展開部
３２   パラメータ更新部
３４   収束判定部
４０   音声信号生成部
９０   出力部
１００ 信号解析装置
２００ 信号解析装置
２１０ 入力部
２２０ 演算部
２２２ データベース
２２６ パラメータ推定部
２３２ パラメータ更新部
３００ 信号解析装置
３１０ 入力部
３２０ 演算部
３３２ パラメータ更新部
【図１】
2016045221.tif 000048
【図２】
2016045221.tif 000049
【図８】
2016045221.tif 000050
【図９】
2016045221.tif 000051
【図１０】
2016045221.tif 000052
【図１１】
2016045221.tif 000053
【図３】
2016045221.tif 000054
【図４】
2016045221.tif 000055
【図５】
2016045221.tif 000056
【図６】
2016045221.tif 000057
【図７】
2016045221.tif 000058