"複数の信号が混合した信号を入力して個別の信号に分離する信号分離装置であり、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換手段と、前記信号変換手段の生成した観測信号スペクトログラムから信号分離結果を生成する信号分離手段を有し、前記信号分離手段は、前記観測信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により、信号分離結果を生成する構成であることを特徴とする信号分離装置。前記瞬時混合ICAを適用した処理は、時間周波数領域の観測信号と分離行列から時間周波数領域の分離信号を生成し、生成した時間周波数領域の分離信号と、多次元確率密度関数から導出される多次元スコア関数によって計算される分離行列とがほぼ収束するまで分離行列を修正し、修正した分離行列を適用して時間周波数領域の分離信号を生成する処理であることを特徴とする請求項1に記載の信号分離装置。前記信号分離手段は、複数の信号入力源の観測信号各々に対応して生成される複数の観測信号スペクトログラムシフトセットを積み重ねた複数チャンネル対応の観測信号スペクトログラムシフトセットに対して、瞬時混合ICAを適用して信号分離結果を生成することを特徴とする請求項1に記載の信号分離装置。前記信号分離手段は、前記シフトの際に生じた隙間をゼロまたはゼロに近い値、または前記観測信号スペクトログラムの両端の値をコピーして設定して、前記観測信号スペクトログラムシフトセットを生成することを特徴とする請求項1に記載の信号分離装置。前記信号分離手段は、前記シフトをシフトではみ出した一端のデータを他端にコピーする巡回シフト処理を実行することを特徴とする請求項1に記載の信号分離装置。前記信号分離手段は、最小シフト量を0、最大シフト量を観測信号から分離結果を生成する際のフレームタップ数[L]として設定した複数のシフトデータを生成し、生成した異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成することを特徴とする請求項1に記載の信号分離装置。前記信号分離手段は、周波数に応じて前記フレームタップ数[L]を変更して前記観測信号スペクトログラムシフトセットを生成することを特徴とする請求項1に記載の信号分離装置。前記信号分離手段は、前記観測信号スペクトログラムに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により第1の信号分離結果を生成し、該第1の信号分離結果から、どの音源にも対応しないと判定される不要チャンネル除去処理を実行し、該除去処理後に残存する観測信号スペクトログラムをフレーム方向へシフトさせて観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICAを適用して信号分離結果を生成する構成であることを特徴とする請求項1に記載の信号分離装置。複数の信号が混合した信号を入力して個別の信号に分離する信号分離装置であり、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換手段と、前記信号変換手段の生成した観測信号スペクトログラムから信号分離結果を生成する信号分離手段を有し、前記信号分離手段は、前記観測信号スペクトログラムに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により信号分離結果Y1~Ynを生成し、信号分離結果Y1~Ynの各々に対応する信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により残響除去処理を実行し、残響除去済みスペクトログラムの統合処理によって、残響を除去した信号分離結果を生成する構成であることを特徴とする信号分離装置。前記瞬時混合ICAを適用した処理は、時間周波数領域の観測信号と分離行列から時間周波数領域の分離信号を生成し、生成した時間周波数領域の分離信号と、多次元確率密度関数から導出される多次元スコア関数によって計算される分離行列とがほぼ収束するまで分離行列を修正し、修正した分離行列を適用して時間周波数領域の分離信号を生成する処理であることを特徴とする請求項9に記載の信号分離装置。信号分離装置において、複数の信号が混合した信号を入力して個別の信号に分離する信号分離方法であり、信号変換手段が、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換ステップと、信号分離手段が、前記信号変換ステップにおいて生成した観測信号スペクトログラムから信号分離結果を生成する信号分離ステップを有し、前記信号分離ステップは、前記観測信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により、信号分離結果を生成するステップであることを特徴とする信号分離方法。信号分離装置において、複数の信号が混合した信号を入力して個別の信号に分離する信号分離方法であり、信号変換手段が、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換ステップと、信号分離手段が、前記信号変換ステップにおいて生成した観測信号スペクトログラムから信号分離結果を生成する信号分離ステップを有し、前記信号分離ステップは、前記観測信号スペクトログラムに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により信号分離結果Y1~Ynを生成し、信号分離結果Y1~Ynの各々に対応する信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により残響除去処理を実行し、残響除去済みスペクトログラムの統合処理によって、残響を除去した信号分離結果を生成するステップであることを特徴とする信号分離方法。信号分離装置において、複数の信号が混合した信号を入力して個別の信号に分離する信号分離処理を実行させるコンピュータプログラムであり、信号変換手段に、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成させる信号変換ステップと、信号分離手段に、前記信号変換ステップにおいて生成した観測信号スペクトログラムから信号分離結果を生成させる信号分離ステップを有し、前記信号分離ステップは、前記観測信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により、信号分離結果を生成させるステップであることを特徴とするコンピュータプログラム。本発明は、このような状況に鑑みてなされたものであり、複数の信号が混合された音信号を独立成分分析IndependentComponentAnalysis;ICAを用いて信号毎の高精度な分離処理を実現する信号分離装置、および信号分離方法、並びにコンピュータプログラムを提供することを目的とするものであり、特に、タップ数の大きい畳み込み混合に対する分離精度を向上させた信号分離装置、および信号分離方法、並びにコンピュータプログラムを提供することを目的とする。本発明の第1の側面は、複数の信号が混合した信号を入力して個別の信号に分離する信号分離装置であり、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換手段と、前記信号変換手段の生成した観測信号スペクトログラムから信号分離結果を生成する信号分離手段を有し、前記信号分離手段は、前記観測信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により、信号分離結果を生成する構成であることを特徴とする信号分離装置にある。さらに、本発明の信号分離装置の一実施態様において、前記瞬時混合ICAを適用した処理は、時間周波数領域の観測信号と分離行列から時間周波数領域の分離信号を生成し、生成した時間周波数領域の分離信号と、多次元確率密度関数から導出される多次元スコア関数によって計算される分離行列とがほぼ収束するまで分離行列を修正し、修正した分離行列を適用して時間周波数領域の分離信号を生成する処理であることを特徴とする。さらに、本発明の信号分離装置の一実施態様において、前記信号分離手段は、複数の信号入力源の観測信号各々に対応して生成される複数の観測信号スペクトログラムシフトセットを積み重ねた複数チャンネル対応の観測信号スペクトログラムシフトセットに対して、瞬時混合ICAを適用して信号分離結果を生成することを特徴とする。さらに、本発明の信号分離装置の一実施態様において、前記信号分離手段は、前記シフトの際に生じた隙間をゼロまたはゼロに近い値、または前記観測信号スペクトログラムの両端の値をコピーして設定して、前記観測信号スペクトログラムシフトセットを生成することを特徴とする。さらに、本発明の信号分離装置の一実施態様において、前記信号分離手段は、前記シフトをシフトではみ出した一端のデータを他端にコピーする巡回シフト処理を実行することを特徴とする。さらに、本発明の信号分離装置の一実施態様において、前記信号分離手段は、最小シフト量を0、最大シフト量を観測信号から分離結果を生成する際のフレームタップ数[L]として設定した複数のシフトデータを生成し、生成した異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成することを特徴とする。さらに、本発明の信号分離装置の一実施態様において、前記信号分離手段は、周波数に応じて前記フレームタップ数[L]を変更して前記観測信号スペクトログラムシフトセットを生成することを特徴とする。さらに、本発明の信号分離装置の一実施態様において、前記信号分離手段は、前記観測信号スペクトログラムに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により第1の信号分離結果を生成し、該第1の信号分離結果から、どの音源にも対応しないと判定される不要チャンネル除去処理を実行し、該除去処理後に残存する観測信号スペクトログラムをフレーム方向へシフトさせて観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICAを適用して信号分離結果を生成する構成であることを特徴とする。さらに、本発明の第2の側面は、複数の信号が混合した信号を入力して個別の信号に分離する信号分離装置であり、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換手段と、前記信号変換手段の生成した観測信号スペクトログラムから信号分離結果を生成する信号分離手段を有し、前記信号分離手段は、前記観測信号スペクトログラムに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により信号分離結果Y1~Ynを生成し、信号分離結果Y1~Ynの各々に対応する信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により残響除去処理を実行し、残響除去済みスペクトログラムの統合処理によって、残響を除去した信号分離結果を生成する構成であることを特徴とする信号分離装置にある。さらに、本発明の信号分離装置の一実施態様において、前記瞬時混合ICAを適用した処理は、時間周波数領域の観測信号と分離行列から時間周波数領域の分離信号を生成し、生成した時間周波数領域の分離信号と、多次元確率密度関数から導出される多次元スコア関数によって計算される分離行列とがほぼ収束するまで分離行列を修正し、修正した分離行列を適用して時間周波数領域の分離信号を生成する処理であることを特徴とする。さらに、本発明の第3の側面は、信号分離装置において、複数の信号が混合した信号を入力して個別の信号に分離する信号分離方法であり、信号変換手段が、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換ステップと、信号分離手段が、前記信号変換ステップにおいて生成した観測信号スペクトログラムから信号分離結果を生成する信号分離ステップを有し、前記信号分離ステップは、前記観測信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により、信号分離結果を生成するステップであることを特徴とする信号分離方法にある。さらに、本発明の第4の側面は、信号分離装置において、複数の信号が混合した信号を入力して個別の信号に分離する信号分離方法であり、信号変換手段が、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換ステップと、信号分離手段が、前記信号変換ステップにおいて生成した観測信号スペクトログラムから信号分離結果を生成する信号分離ステップを有し、前記信号分離ステップは、前記観測信号スペクトログラムに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により信号分離結果Y1~Ynを生成し、信号分離結果Y1~Ynの各々に対応する信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により残響除去処理を実行し、残響除去済みスペクトログラムの統合処理によって、残響を除去した信号分離結果を生成するステップであることを特徴とする信号分離方法にある。さらに、本発明の第5の側面は、信号分離装置において、複数の信号が混合した信号を入力して個別の信号に分離する信号分離処理を実行させるコンピュータプログラムであり、信号変換手段に、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成させる信号変換ステップと、信号分離手段に、前記信号変換ステップにおいて生成した観測信号スペクトログラムから信号分離結果を生成させる信号分離ステップを有し、前記信号分離ステップは、前記観測信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により、信号分離結果を生成させるステップであることを特徴とするコンピュータプログラムにある。なお、本発明のコンピュータプログラムは、例えば、様々なプログラムコードを実行可能なコンピュータシステムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、CDやFD、MOなどの記録媒体、あるいは、ネットワークなどの通信媒体によって提供可能なコンピュータプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータシステム上でプログラムに応じた処理が実現される。本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。本発明の一実施例の構成によれば、複数の信号が混合した入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成し、観測信号スペクトログラムから信号分離結果を生成する信号分離処理において、観測信号スペクトログラムを時間周波数領域において畳み込み混合された観測信号として解釈し、時間周波数領域の畳み込み混合を解く処理により信号分離結果を生成する、あるいは、観測信号スペクトログラムに対する時間方向の短時間フーリエ変換STFTによりモジュレーションスペクトログラムを生成してモジュレーションスペクトログラムを瞬時混合として解釈して信号分離結果を生成する構成としたので、直接波、反射波など様々な遅延量を持つ混合された音信号について、遅延量を考慮した高精度な分離処理が実現される。以下、図面を参照しながら本発明の信号分離装置、および信号分離方法、並びにコンピュータプログラムの詳細について説明する。本発明は、前述したように複数の原信号が混合されて取得された混合信号の信号解析によって原信号を分離復元する処理を実行する信号分離処理を行なうものであり、独立成分分析ICA:IndependentComponentAnalysisによる信号分離処理を行なう構成である。具体的には、図5に示すように、N個の音源111-1~111-Nから異なる音が鳴っていて、それらをn個のマイク121-1~121-nで観測するような状況において、マイク121-1~121-nによって取得された混合信号に基づいて独立成分分析ICAによる信号分離処理を行なう。先に説明したように、ある1つのマイクjただし1≦j≦nで観測される信号観測信号は前述した式[1.1]のように、原信号と伝達関数との畳み込み演算を全音源について総和した式として表わせる畳み込み混合。さらに、全てのマイク1~nについての観測信号を一つの式で表わすと、前述した式[1.2]のように表わせ、この畳み混合を解く手法として2つの方法、すなわち、1時間領域で畳み込み混合を直接解く。時間領域逆畳み込み2観測信号を時間周波数領域に変換し、瞬時混合問題として解く。これらの手法があったが、2観測信号を時間周波数領域に変換し瞬時混合問題として解くという処理を行なう前提として、従来の時間周波数領域ICAの枠組みでは、時間領域の畳み混合が時間周波数領域では瞬時混合で表わされると考えていた。それに対し本発明では、時間周波数領域でも依然として畳み込み混合であると考える。この概念について図6を参照して説明する。図6に示す図6aは、原信号、すなわち、図5に示す各音源111-1~111-Nの出力する原信号のスペクトログラムを縦に積み重ねたものである。それぞれの音源のスペクトログラムをS1,S2、両者を縦に積み上げたものをSとする。なお、スペクトログラムは、前述したように、横軸をtフレーム番号、縦軸をω周波数ビン番号としてXkω,tの絶対値である|Xkω,t|を色の濃淡で表現した図である。図6aに示す原信号のスペクトログラムにおいて、t番目のフレームの信号をベクトルで表現したものをStとおく。なお、スペクトログラムの1フレーム分をスペクトルと呼ぶ。従来は、Stがフレーム遅延なしでマイクに届くと考えていたが、本発明ではフレーム遅延があると考える。すなわち、図5を参照して説明すると、それぞれの音源111-1~111-Nでスペクトルという名のベクトルが独立に発生し、それらが0以上の遅延を伴ってセンサーとしてのマイク121-1~121-nに届く。これらには直接波と反射波が含まれる。異なる音源からの直接波、また直接波と反射波、さらには単純な反射と複雑な反射など、様々な信号がマイクによって取得されることになり、その信号には様々な遅延量が存在すると推定される。ここで遅延の最大値をL1とすると、図6aに示す原信号のスペクトログラムにおけるt番目のフレーム信号のベクトル表現であるスペクトルStの影響は観測信号のt番目からtL番目のフレームに及ぶことになる。図6bは、観測信号のスペクトログラムであり、各マイク121-1~121-nによって取得された観測信号について、短時間フーリエ変換STFTを実行して生成した観測信号のスペクトログラムXである。短時間フーリエ変換STFTについて、図7を用いて説明する。例えば図5に示すような環境においてk番目のマイクによって収録された観測信号xkを図7aに示す。この観測信号xkから一定長を切り出した切り出しデータであるフレーム171~173にハニング窓やサイン窓等の窓関数を作用させる。なお、切り出した単位をフレームと呼ぶ。切り出す長さサンプルポイント数は、従来法の時間周波数領域ICAにおいて最も高精度の分離結果が得られる長さ図3によれば、512ポイントまたは1024ポイント付近と同じ値でよい。1フレーム分のデータに対して、離散フーリエ変換有限区間のフーリエ変換のこと。略称DFTまたは高速フーリエ変換FFTを施すことにより、周波数領域のデータであるスペクトルXktを得るtはフレーム番号。切り出すフレームの間には、図に示すフレーム171~173のように重複があってもよく、そうすることで連続するフレームのスペクトルXkt-1~Xkt1を滑らかに変化させることができる。また、スペクトルをフレーム番号に従って並べたものをスペクトログラムと呼ぶ。図7bがスペクトログラムの例である。なお、短時間フーリエ変換STFTにおいて切り出すフレーム間に重複がある場合は、逆フーリエ変換FTにおいてもフレームごとの逆変換結果波形波形を重複つきで重ね合わせる。これをオーバラップ加算overlapaddという。逆変換結果は、オーバラップ加算overlapaddの前にサイン窓等の窓関数を再び作用させても良く、これを、weightedoverlapaddWOLAという。WOLAにより、フレーム間の不連続性に由来するノイズを低減することができる。図6bは、図7を参照して処理によって得られる観測信号のスペクトログラムであり、スペクトログラムを縦に積み重ねたものである。それぞれのセンサーマイクのスペクトログラムをX1,X2、両者を縦に積み上げたものをXとする。観測信号のスペクトログラムをXとすると、XtからXtLのL1個のフレームは原信号スペクトルStの影響を受けている。逆にいうと、図6bの観測信号中のt番目のフレームの観測信号Xtは、それより前のL1フレーム分の原信号の影響を受けている。このように、観測信号中のt番目のフレームの観測信号Xtが、それより前のL1フレーム分の原信号の影響を受けていることを考慮すると、観測信号Xtは、以下に示す式[6.1]のような畳み込み混合で表わすことができる。上記式[6.1]は、先に説明した式[1.2]と似ているが、式[6.1]は時間周波数領域の式であることに注意されたい。L=0の場合は、従来の瞬時混合と等価となる。すなわち、観測信号Xtが原信号スペクトルStのみによって影響されている場合はL=0となり、従来の瞬時混合と等価となる。両者の畳み込みを区別するため、式[1.2]のLを時間タップ数、式[6.1]のLをフレームタップ数、と定義する。なお、上記式[6.1]は、STFTにおいてフレームのシフト幅を1とした場合には厳密に成立する。また、フレームのシフト幅を2以上に設定した場合でも、近似的に成立する。この点についての詳細は、発明者自身の論文である以下の文献を参照されたい。[Hiroe,A.BlindVectorDeconvolution:ConvolutiveMixtureModelsinShort-TimeFourierTransformDomain.InM.E.Daviesetal.Eds.:ICA2007,LNCS4666,pp.471479,2007.]短時間フーリエ変換STFTの窓長よりも残響の時間の方が長い場合、残響の影響は1フレームでは完結せず、複数のフレームに及ぶ。複数のフレームに跨がる残響は、時間周波数領域での畳み込みとして表現できるため、本発明で導入する時間周波数領域での畳み込み混合という考え方によって、STFTの窓長を越える残響も除去することが可能である。すなわち、先に説明した図3のSTFTの窓長と時間周波数領域ICAの分離精度の関係をプロットしたグラフを例にして説明すると、長い窓2048や4096などの代わりに、短めの窓512や1024と複数のフレームタップ16や32との組み合わせが可能となり、長い窓のトレードオフを回避しつつ長い窓と同等のタイムスパン時間タップ数とフレーム方向へのシフト幅とフレームタップ数とから算出される時間を確保することが可能となる。また、時間領域逆畳み込みと比べ、ずっと少ないタップ数の畳み込みで済む数十のオーダーため、時間領域逆畳み込みの課題も回避できる。なお、以降では、原信号から観測信号が生成される際のフレームタップ数をLという文字で表わし、一方、観測信号から分離結果を生成する際のフレームタップ数をLと表わす。Lはその環境の残響時間およびSTFTの窓長とシフト幅から決まる値である。一方、LはLとは異なる値に設定することができる。L=0とすると、従来法と等価になる。観測信号のフレームタップ数Lは、以下の式で計算することができる。L=Tr×Fs/Sただし、Tr:環境の残響時間Fs:サンプリング周波数S:STFTのシフト幅である。例えば、残響時間Tr=0.3秒、サンプリング周波数Fs=16000Hz、シフト幅S=256、とすると、原信号から観測信号が生成される際のフレームタップ数Lは、L=18.75である。すなわち、残響の影響は19フレームに及ぶ端数切り上げことが分かる。観測信号Xから分離結果Y、すなわち、図6bの観測信号Xから図6cの分離結果Yを生成するためのフレームタップ数Lについては、Lが既知であればすなわち、残響時間が既知であれば、L=αLとすればよいαは適切な正の実数。Lが未知である場合、Lは例えば以下のいずれかの方法で決定することができる。第一の方法は、L=64やL=100といった一定の値に決め打つことである。基本的に、Lが大きくなるほど計算量も増えるため、計算量と分離性能との兼ね合いからLを決定しても良い。第二の方法は、何らかの方法で残響時間を測定し、その残響時間から上記の式で求めたLの値の定数倍をL、すなわちL=αLとする方法である。残響時間の測定方法としては、例えば装置自体に装備されたスピーカーからインパルス性の音を発し、その音が十分減衰するまでの時間を計測する。第三の方法は、既知の原信号から生成された観測信号に対してさまざまなLの下で分離を行ない、最も良い分離結果をもたらすLの値を採用することである。そのためには、例えば装置の周辺にスピーカーを複数設置し、それぞれから既知の音を鳴らし、それらの音を複数のマイクで観測する。その観測結果に対して、異なるL例えばL=0~100のそれぞれの値で分離結果を生成する。分離結果と原信号とから、後述のSIRsignal-interferenceratioという分離性能尺度を計算し、最高のSIRをもたらすLを採用する。環境が同じであれば、原信号が未知の場合でも、そのLが最高の分離信号をもたらす可能性が高い。例えば上記いずれかの方法によって、L、すなわち、観測信号Xから分離結果Yを生成するためのフレームタップ数L、具体的には、例えば、図6bの観測信号Xから図6cの分離結果Yを生成するためのフレームタップ数Lを決定し、このフレームタップ数Lを用いて、観測信号の複数の連続フレームから分離結果を生成する。時間周波数領域において畳み込み混合された観測信号を分離する処理方式としては、たとえば以下の手法のいずれかを適用することが可能である。1時間周波数領域において、畳み込み混合を直接解く。2スペクトログラムを時間方向へもう一度短時間フーリエ変換STFTし、瞬時混合として解く。3シフト積み重ねと瞬時混合ICAを組み合わせた処理によって解く。以下では、それぞれの方法について説明する。なお、上記の3シフト積み重ねと瞬時混合ICAを組み合わせた処理は、1時間周波数領域において、畳み込み混合を直接解くと同等の分離処理を実現する方式であり、観測信号スペクトログラムをシフトしながら積み重ねた後、その結果に対して従来の時間周波数領域の瞬時混合ICAを適用する手法である。詳細については後段で説明する。1時間周波数領域において、畳み込み混合を直接解くまず、時間周波数領域において、畳み込み混合を直接解くことで、時間周波数領域において畳み込み混合された観測信号を分離する処理について説明する。再び図6を参照して説明する。前述の通り、原信号スペクトログラムのt番目のフレームStは、観測信号のt番目からtL番目のフレームに影響を与える。従って、原信号の1フレーム分を推定するためには、観測信号がLフレーム分かそれ以上必要である。その値をLとする。分離信号中のt番目のフレームを基準にした場合、例えば、図6cの分離信号中のYtを基準として考えると、Stを推定するためには少なくとも以降のL1フレーム分のデータが必要である。そこで、原信号の推定結果=分離結果であるYtを、先に示した式[6.3]のように、観測信号XtからXtLまでの畳み込み混合として表わす。一方、分離信号中のtL番目のフレームを基準にした場合、例えば、図6cの分離信号中のYtLを基準として考えると、Stを推定するためには直前のL1フレーム分のデータが必要である。そこで、分離信号Ytは式[6.2]のようにXt-LからXtまでの畳み込み混合として表わす。両者の式は、Stとのフレームのずれが異なるが、本質的には等価であるため、以下では式[6.2]からYtを推定する方法について説明する。混合は同じ周波数ビンでのみ起こると仮定するすなわち、伝播の途中で周波数の変調が起こることはないと仮定すると、全周波数ビンの混合の式である式[6.1]は、周波数ビンごとの混合の式である式[6.4]のように書き表すことができる。その仮定の下では、式[6.2]の分離行列W[l]は、式[6.5]のように、対角行列から構成される行列として表わせるため、W[l]を推定するためには式[6.5]の非零の成分のみを推定すればよい。式[6.2]から学習規則ΔWの式を求める処理は以下のように行なう。スペクトログラム全体での独立性を表わす尺度として、式[4.5]で計算されるKullback-Leiblar情報量IYを考える。なお、この手法は、特開2006-238409に記載したと同様の処理である。Ytの成分であるY1t~Yntを互いに独立にするためには、式[4.5]のKullback-Leiblar情報量IYを最小にする分離行列W[0]~W[L]を求めれば良いわけである。なお、特開2006-238409において示した方法は瞬時混合だったため、分離行列は1つだけ推定すればよかったが、本発明では、L1個のフレームの畳み込み混合であるため、分離行列もL1個推定する必要がある。ここでY1t~Yntは互いに独立という仮定チャンネル間の独立性の他に、Ykt-L~Yktも互いに独立という仮定フレーム間の独立性を設けると、最終的に、以下に示す式[7.1]の学習規則が導出される。すなわち、分離行列W[0]~W[L]を求めるためには、式[6.2],[7,1],[7.8]をW[0]~W[L]が収束するまでまたは一定回数繰り返す。ただし、式[7,1]のΔW[l]ω,W[l]ωは、それぞれΔW[l]とW[l]から周波数ビンωに対応する要素を抽出した部分行列式[6.6]であり、Rω[l]は式[7.2]で計算されるクロス項である。式[7.2]のφωYtは、スコア関数からなるベクトルであり式[7.4]、これは本出願人の先の出願特開2006-238409において示したスコア関数からなるベクトルと同一である。スコア関数は確率密度関数の対数微分として定義され式[7.5]、特開2006-238409において開示したと同様に多変量のスコア関数を使用することで、パーミュテーションの発生を阻止できる。スコア関数の具体例は特開2006-238409において説明したと同一でよく、例えば式[7.6]を用いる。この式において、αkω,m,γkωは正の実数、βkωは非負の実数である。簡単な例として、式[7.7]を適用してもよい。式[7.8]において、ηは学習率と呼ばれる正の実数である。ηは例えば0.1といった定数でも良いが、式[7.9]のように適用的に算出しても良い。ただし、この式において∥Wω∥はW[0]ω~W[L]ωの全要素の2乗和式[7.10]、∥ΔWω∥も同様にΔW[0]ω~ΔW[L]ωの全要素の2乗和、η0はηの上限値を表わす正の実数である。式[7.8]を用いると、学習の始めはηが比較的小さな値となり∥ΔWω∥が大きいため、Wωがオーバーフローするのを回避できる。一方で学習の終わりではηが比較的大きな値となり∥ΔWω∥がゼロ行列に近いため、Wωが目的の値に早く収束する。なお、式[6.2]の代わりに式[6.3]を用いる場合は、学習において式[6.3],[7,1],[7.8]を繰り返す。ただし、式[7.1]のRω[l]として、式[7.2]の代わりに式[7.3]を用いる。上記で式[7.1]を導出する際に、Ykt-L~Yktも互いに独立という仮定を置いていたが、代わりにYkt-L~Yktは互いに依存という仮定を置くと、別の学習規則である以下に示す式[8.1]が得られる式[7.1]は共通。式[7.2]と式[8.1]との違いはスコア関数の引数にあり、式[7.2]はYtのみを引数としているのに対して式[8.1]はYt-L~Ytを全て引数としている。このスコア関数は式[8.4]で定義され、この式に現われるPYkt,,Ykt-Lは、隣接するL1個のフレームのデータが同時に発生する確率を表わしている。そのため、式[8.1]を用いると、隣り合ったフレーム間での依存関係が分離行列に一層反映され得る。スコア関数の例としては、式[8.5]式[8.6]はさらにその具体例が挙げられる。なお、式[8.1]は式[6.2]に対応した式である。式[6.2]の代わりに式[6.3]を用いる場合は、式[8.2]が対応する。なお、上記の説明では、独立性の尺度としてKullbackLeiblar情報量を採用していたが、他の尺度を用いても良い。KullbackLeiblar情報量以外で独立性を表す尺度としては、非正規性や尖度kurtosisなどがあり、それらの量を最大または最小とするように分離行列を更新してもよい。2スペクトログラムを時間方向へもう一度STFTし、瞬時混合として解く次に、スペクトログラムを時間方向へもう一度短時間フーリエ変換STFTし、瞬時混合として解くことで、時間周波数領域において畳み込み混合された観測信号を分離する処理について説明する。畳み込みをタップ数よりも長い窓長で短時間フーリエ変換STFTすると、畳み込みはただの積に変換される。これは、時間周波数領域の畳み込み混合についても同様である。すなわち、時間周波数領域の畳み込み混合である上述した式[6.4]を時間方向に再び短時間フーリエ変換STFTすると、以下に示す式[9.1]が得られる。ただし、X,A,Sは式[6.4]のX,A,Sの各要素を短時間フーリエ変換STFTした結果である。上記式[9.1]は瞬時混合の式であり、観測信号を独立な成分へ分離するためには式[9.2]を考えればよい。ここで、図8、図9を用いて、スペクトログラムXから、時間方向に再び短時間フーリエ変換STFTしたXモジュレーションスペクトログラムへの変換について説明する。比較のため、波形xからスペクトログラムXへの変換についても説明する。図8aは、観測信号の波形であるこの図ではチャンネル数=2としてあるが、チャンネル数は任意である。図8bは、観測信号の波形図8aを短時間フーリエ変換STFTすることで生成されたスペクトログラムであるチャンネルごとにSTFTを行ない、それぞれの結果を縦に並べて表示してある。窓長=Nでフーリエ変換するとN個の周波数成分が得られるが、実数データの変換においては負の周波数成分は正の周波数成分の共役複素数の関係にある共役対称と呼ぶため、直流成分と正の周波数成分とのN/21=M本の周波数ビンだけ考慮すればよい。図8bに示す周波数ビン201は、周波数ビンの1本を示している。なお、通常、スペクトログラムはXの絶対値をプロットしたものを指すが、ここではX自体もスペクトログラムと呼ぶ。原信号Sや分離結果Yについても同様である。ここでさらに、図8bに示すスペクトログラムXについて、周波数ビンごとに短時間フーリエ変換STFTを行なう。スペクトログラムをもう一度STFTして生成されたデータをモジュレーションスペクトログラムと呼ぶ。2度目の短時間フーリエ変換STFTの窓長をLとすると、1本の周波数ビン、例えば図8bのビン201からL本のビンが生成されるため、それを奥行き方向で表現する。これが、図9cに示すビン202であり、これらを集積した結果が、図9cに示すデータとなる。すなわち、図9cは、図8bに示すスペクトログラムXについて、周波数ビンごとに短時間フーリエ変換STFTを行なって生成したモジュレーションスペクトログラムであり、図9cに示すような直方体の構造のモジュレーションスペクトログラムXで表わされる。奥行き方向も周波数成分であるが、波形の周波数成分ではなくてエンベロープの周波数成分である。2度目の短時間フーリエ変換STFTでは変換前データも複素数であるため、変換結果は共役対称にはならない。従って、L本のビンは全て考慮しなければならない。新たに生成されたビンを、奥行き方向の代わりに縦方向に配置する。すなわち、図9cに示すビン202を図9dに示すビン203のように配置すると、モジュレーションスペクトログラムは図9dに示すように平面でも表現可能である。図9dに示すモジュレーションスペクトログラムXは、図8bに示すスペクトログラムXと一見似ているが、周波数ビンの意味合いが異なることに注意されたい。1チャンネル辺りのビンの本数は、図8bに示すスペクトログラムXがL本、図9dに示すモジュレーションスペクトログラムXがM×L本である。ここで先に示した数式[9.n]に戻ると、式[9.1],[9.2]のXに相当するのが、図9cに示す立体版モジュレーションスペクトログラムXであり、ωが縦方向の周波数ビンを、ω2が奥行き方向のビンを表わしている。式[9.2]において、ω,ω2というペアをまとめてωというインデックスで表わすと、式[9.3]が得られる。式[9.3]は、図9dに示す平面版モジュレーションスペクトログラムXに対応している。式[9.2]または式[9.3]から学習規則ΔWの式を求めるためには、以下のように考える。モジュレーションスペクトログラム全体での独立性を表わす尺度として、式[9.5]で計算されるKullback-Leiblar情報量を考える。この式は式[4.5]とほぼ同一だが、HYkは1チャンネル分のモジュレーションスペクトログラムから算出されるエントロピー、HYはモジュレーションスペクトログラム全体から算出される同時エントロピーである。HYkの計算方法について、図10を参照して説明する。図10は、図9cに示す立体版モジュレーションスペクトログラムXに相当する。すなわち、例えば、観測信号の波形図8aを短時間フーリエ変換STFTすることで生成された図8bに示すスペクトログラムXに対して、さらに周波数ビンごとに短時間フーリエ変換STFTを行なって生成したモジュレーションスペクトログラムに相当する。この図10に示す立体版モジュレーションスペクトログラムXにおいて、例えば、1番目のチャンネルのエントロピー計算においては、図10における1番目のフレームのモジュレーションスペクトログラムY1t221は、平面を表わし、それを引数とする多変量確率密度関数PY1t222にY1tを代入することで、エントロピーHY1223を求める。式[9.3]は、変数名の違いを除くと式[3.5]と同一である。従って、学習規則を導出するためには、式[5.2]の変数名を付け替えればよく、結果として式[9.5]を得る。すなわち、式[9.3],[9.5],[9.6]をWが収束するまで繰り返せば、Y1t~Yntが互いに独立になる。互いに独立になったモジュレーションスペクトログラムY1~Ynそれぞれに対して逆フーリエ変換とoverlapaddを作用させると、互いに独立なスペクトログラムY1~Ynが得られる。上記の説明では、独立性の尺度としてKullbackLeiblar情報量を採用していたが、1と同様に他の尺度を用いても良い。また、分離行列更新の式として自然勾配法に基づく式を導出したが、代わりに他のアルゴリズムを用いてもよい。他のアルゴリズムとしては、正規直交制約つき勾配法や不動点法やニュートン法などがあるが、この点は従来の瞬時混合ICAと同様である。3シフト積み重ねと瞬時混合ICAを組み合わせた処理によって解く。次に、シフト積み重ねと瞬時混合ICAを組み合わせた処理によって、時間周波数領域において畳み込み混合された観測信号を分離する処理について説明する。この3番目の処理方式は、先に説明した[1時間周波数領域において、畳み込み混合を直接解く方式]とほぼ同等の分離処理を実現する方式であり、本出願人の先の特許出願である特開2006-238409において開示した瞬時混合ICA処理を利用して実現される。本方式は、例えば観測信号スペクトログラムをシフトしながら積み重ねた後、その結果に対して時間周波数領域の瞬時混合ICA、すなわち、本出願人の先の特許出願である特開2006-238409において開示した瞬時混合ICAを適用することで実現される。この3番目の手法の適用により、パーミュテーション置換問題が解決され、かつ直接波、反射波など様々な遅延量を持つ混合された音信号について、遅延量を考慮した高精度な分離処理が実現される。まず、この3番目の手法について説明する前に、観測信号の分離処理において発生するパーミュテーション置換問題と、この問題を解決した本出願人の先の特許出願である特開2006-238409の瞬時混合ICAの概要について、再度、簡潔に説明する。n個の音源が発するお互いに独立な原信号をs1~snとし、それらを要素とするベクトルをsとしたとき、マイクロホンで観測される観測信号xは、原信号sに前述した式[1.2]の畳み込み混合演算を施したものとなる。次に、観測信号xに対して短時間フーリエ変換を施し、時間周波数領域の信号Xを得る。Xの要素をXkω,tとすると、Xkω,tは複素数値をとる。Xkω,tの絶対値である|Xkω,t|を色の濃淡で表現した図が例えば、図6bに示す観測信号のスペクトログラムである。このスペクトログラムは、例えば図5に示すマイク121-1~121-nによって取得された観測信号について、短時間フーリエ変換STFTを実行して生成した観測信号のスペクトログラムXである。スペクトログラムは、例えば、横軸をtフレーム番号、縦軸をω周波数ビン番号としてXkω,tの絶対値である|Xkω,t|を色の濃淡で表現した図である。続いて、信号Xの各周波数ビンに、分離行列Wωを乗算することで分離信号Yを得る。そして、分離信号Yを逆フーリエ変換することで時間領域の分離信号yを得ることができる。しかし、前述したように、従来の時間周波数領域の独立成分分析では、信号の分離処理を周波数ビン毎に行っており、周波数ビンの間の関係は考慮していない。そのため、分離自体は成功しても、周波数ビンの間でスケーリング及び分離先の不統一が発生する可能性がある。スケーリングの不統一については、音源毎に観測信号を推定する方法により解決できるが、分離先の不統一、例えばω=1ではY1にS1由来の信号が現れるのに対してω=2ではY1にS2由来の信号が現れるといったパーミュテーション置換問題は解決できない。本出願人の先の特許出願である特開2006-238409は、このパーミュテーション置換問題を解決する手法を開示した。すなわち、スペクトログラム全体での分離を表わす式については、先に説明した以下に示す数式[4.4]を用い、スペクトログラム全体での独立性を最大にする分離行列Wを求めるという手法を採用した。具体的には、スペクトログラム全体での独立性として、式[4.5]で表わされるKLKullback-Leiblar情報量IYを導入し、IYを最小にする分離行列Wを求める。KL情報量IYは、スペクトログラムごとのエントロピーの総和から、スペクトログラム全体の同時エントロピーを引いたものであり、全てのスペクトログラムがお互いに独立となった場合に最小理想的には0となる。KL情報量IYの定義式[4.5]において、HYkは各チャンネルについてのスペクトログラム1枚分のエントロピーを表し、HYは全チャンネルについてのスペクトログラム1枚分の同時エントロピーを表す。例えば、n=2のときのHYkとHYとの関係は、先に図2を参照して説明したとおりである。図2において、PYktは、Yktの確率密度関数であり、HYkは各チャンネルについてのスペクトログラム1枚分のエントロピーである。Kullback-Leiblar情報量IYは、スペクトログラムごとのエントロピー11,12の総和から、スペクトログラム全体の同時エントロピー13を引いたものであり、全てのスペクトログラムがお互いに独立となった場合に最小理想的には0となる。スペクトログラム全体でのKL情報量IYを最小にするためには、先に説明したように以下に示す式[5.1]~[5.3]をWおよびYが収束するまで繰り返す。なお、式[5.3]に出てくるΔWω,Wω,Yω,tは、それぞれΔW,W,Ytからω番目の周波数ビンに対応する要素を抽出した部分行列である。こうすることで、パーミュテーション問題のない分離結果を得ることが可能となった。3番目の処理方式は、この特開2006-238409において開示した時間周波数領域の瞬時混合ICAを適用する手法である。特開2006-238409において示されている時間周波数領域の瞬時混合ICAを適用した処理は、具体的には、信号分離処理として、時間周波数領域の観測信号と初期値が代入された分離行列から時間周波数領域の分離信号を生成し、生成した時間周波数領域の分離信号と、多次元確率密度関数から導出される多次元スコア関数によって計算される分離行列とがほぼ収束するまで分離行列の修正を行い、この修正された分離行列を適用して時間周波数領域の分離信号を生成する処理として実行される。詳細については、特開2006-238409に開示された通りである。以下説明する3番目の処理方式、すなわち、[3シフト積み重ねと瞬時混合ICAを組み合わせた処理によって時間周波数領域において畳み込み混合された観測信号を分離する処理では、この特開2006-238409において開示した時間周波数領域の瞬時混合ICAを適用する。具体的には、例えば観測信号スペクトログラムをシフトしながら積み重ねた後、その結果に対して時間周波数領域の瞬時混合ICAを適用する。以下、この3番目の手法について説明する。本手法では、音声入力部である複数のマイクの各々の観測信号スペクトログラムに対して、フレーム番号をずらしながら縦に積み重ねたベクトルを生成する。例えばk番目のマイクに相当するkチャンネル目の観測信号スペクトログラム、すなわち、上記の式[4.1]の観測信号スペクトログラムXktに対して、フレーム番号をずらしながら縦に積み重ねたベクトルを考える。さらに、それを全チャンネル分積み重ねたベクトルを考える。以下に示す式[11.1]のベクトルXtである。式[11.1]のベクトルXtは、nチャンネル分のベクトルを含む。なお、チャンネルごとのベクトルをXktと示している。上記数式[11.1]に示すベクトルXtの作成手順について、図11以下を参照して説明する。図11は、各マイクの入力信号に基づいて生成されるチャンネルごとの観測信号スペクトログラムXktから、チャンネルごとのベクトルXtを生成する処理について説明する図である。図11aに示すデータ301、すなわちXkは観測信号1チャンネル分のスペクトログラム、すなわちk番目のマイクに相当するkチャンネル目の観測信号スペクトログラムXkであり、先に説明した図6bのX1やX2に相当する。このXkを、左にl小文字のエルフレームずつシフトした結果をXk[l]とする。図11bには、観測信号スペクトログラムXkを、シフト量lをl=0~Lまで、順次、変化させながら縦に複数積み重ねた構造を示している。データ311-0が、シフト量l=0、データ311-1が、シフト量l=lエルフレーム:データ311-Lが、シフト量l=Lフレームである。なお、Lは前述したように、観測信号から分離結果を生成する際のフレームタップ数である。1つの観測信号スペクトログラムから、これらの複数の異なるフレーム方向へのシフト量を持つ観測信号スペクトログラムシフトセットを生成し、これを観測信号スペクトログラムシフトセット[X]とする。観測信号スペクトログラムシフトセット[X]から1フレーム分を切り出すと、図11bに示す数式312となる。この数式は、上述した式[11.1]に含まれる1つのチャンネル対応のベクトル[Xkt]に対応する。式[11.1]は、先に説明したように、1つのチャンネル対応の観測信号スペクトログラムXktを、フレーム番号をずらしながら縦に積み重ねて生成される観測信号スペクトログラムシフトセットからなるベクトルを、さらに全チャンネル分積み重ねて生成される複数チャンネル対応観測信号スペクトログラムシフトセットからなるベクトルである。なお、図11bに示すように、シフトの際に生じた隙間、すなわち、図11bに示すデータ311-0~311-Lの斜線部分には、ゼロに近い値を代入しておくか、両端の値X1やXTなどをコピーして設定する。または、後述のゼロ除算対策が施されている場合には、ゼロを代入しても構わない。または、両端の隙間を取り除き、中間のT-Lフレーム分のデータを用いるようにしても構わない。さらには、通常のシフト処理ではなく、長さTの巡回シフトシフトではみ出した左端のデータを右端にコピーするを適用する設定としてもよい。以下において説明する処理例は、巡回シフトによって生成した観測信号スペクトログラムシフトセット[X]を適用した処理例について説明する。図11bに示すような、シフト処理と積み重ね処理で生成された観測信号スペクトログラムシフトセット[X]を元の観測信号スペクトログラム[X]と比較すると、観測信号スペクトログラム[X]はnチャンネル分のスペクトログラム、であるのに対して、観測信号スペクトログラムシフトセット[X]は見かけ上、n×L1チャンネル分のスペクトログラムを含む。nがマイク数に相当するチャンネル数、L1が1つのチャンネルに対応して設定されるシフトデータ数である。この観測信号スペクトログラムシフトセット[X]を、n×L1チャンネルの観測信号スペクトログラムとして、本出願人の先の特許出願である特開2006-238409において開示した瞬時混合ICAを適用した方法で分離処理を行なう。この処理によって、先に説明した1時間周波数領域において、畳み込み混合を直接解く方式と同等な分離を行なうことができる。以降では、その原理について説明する。観測信号スペクトログラムXについて、t-lエル番目からt-lエルL番目のフレームを畳み込むことで分離結果を生成する操作について考察する。すなわち、図12に示すように、Xt-lエルからXt-lエルLまでのL1フレームから1フレーム分の分離結果を生成する操作であり、この処理によって分離信号Y[l]tを得るための算出式は式[11.2]で表わされる。分離結果をY[l]tとおく。分離信号Y[l]tはL1フレームの間の畳み込みであるため、係数の行列はL1個必要となるが、さらに、シフトフレーム数[lエル]によっても異なる値をとるため、分離行列[W]については、2種類の添字をつけて、W[l,0]~W[l,L]と表わす。すなわち、分離行列[W]は、シフトフレーム数[lエル]と、各々のシフトスペクトログラムに応じて設定する。式[11.3]および式[11.4]は、式[11.2]に現れる部分行列の詳細であり、式[11.5]は、式[11.4]に現れる部分行列の詳細を示している。分離信号[Y[l]t]と分離行列[W[l,τ]]は、それぞれ、各チャンネルの成分に対応したベクトルや行列からなる。なお、Wに対する添字τはτ=0~Lである、ここで、式[11.6]で示される、分離結果:Y[0]t~Y[L]tをすべて包含したベクトル分離結果ベクトルYtと、式[11.7]で示される複数の分離行列、W[0,0]~W[L1,L]をすべて包含した行列Wこれらのベクトル[Yt]と、行列[W]とを用いると、分離処理を示す式は、単純に式[11.8]、すなわち、Yt=WXt[11.8]このように示すことができる。従来法として先に説明した、特許文献1特開2006-238409では、スペクトログラム全体での分離を表わす式として、先に説明した数式[4.4]、すなわち、Yt=WXt[4.4]上記式を用いた処理としているが、式[11.8]と式[4.4]と比較すると、式[11.8]は単にチャンネル数がnからn×L1に増えたものとして、式[4.4]を適用したとみなすことができる。すなわち、図13に示すように、複数チャンネル分の観測信号スペクトログラムシフトセット[X]は、X1~Xnによって構成され、これらをn×L1の個別のチャンネルに対応する観測信号スペクトログラムとして考えれば、式[11.8]は単にチャンネル数がnからn×L1に増えたものとして、式[4.4]を適用したとみなすことができる。従って、nチャンネル分の観測信号スペクトログラムXを、図11を参照して説明した方法によってn×L1チャンネルに拡張し、その結果である観測信号スペクトログラムシフトセット[X]に対して、特開2006-238409の学習式である式[5.1]~[5.3]を繰り返し適用すると、分離結果であるYと分離行列Wとが得られるのである。ただし、式[5.1]~[5.3]の変数の詳細である式[5.4]~[5.7]において、nはn×L1に読み替えること。また、kは1≦k≦nではなく、1≦k≦n×L1を表わすインデックスとなる。分離結果であるYはn×L1チャンネル分のスペクトログラムを含んでいるが、所望のものはnチャンネル分またはn未満であるため、必要に応じてスペクトログラムの選択を行なう。選択の方法としては、分離結果Yの中からY1[0],Y2[0],...,Yn[0]のように特定のシフト量[lエル]に該当する成分のみを残すといった方法が適用可能である。または、観測信号から分離結果を生成する際のフレームタップ数をLの値の決定方法と同様に、既知の信号を用いて最適なフレーム方向へのシフト量[lエル]を求めても良い。すなわち、既知の信号をスピーカー等から鳴らして本発明の手法で集音および分離を行なった後、分離結果のYk[0]~Yk[L]それぞれについて分離精度の尺度であるSIRsignal-interference-ratioを計算する。そして最も高い分離精度SIRをもたらすシフト数:lエルに対応した分離結果[Yk[l]]を選択するといった処理が可能である。この3シフト積み重ねと瞬時混合ICAを組み合わせた処理によって、時間周波数領域において畳み込み混合された観測信号を分離する処理のシーケンスを説明するフローチャートを図14に示す。図14のフローにおける各ステップの処理について説明する。まず、ステップS11において、観測信号スペクトログラムをシフトしながら積み重ねる。この処理は、図11を参照して説明した処理であり、各マイクによって取得される観測信号から生成される観測信号スペクトログラムに対して、シフトフレームlエル単位で順次シフトとして、フレームタップ数をLに相当するシフト量になるまでシフトデータを生成して積み重ねて、観測信号スペクトログラムシフトセット[X]を生成する。次にステップS12において、瞬時混合ICAまたは、変更したスコア関数を用いて分離結果Yを求める。すなわち、観測信号スペクトログラムシフトセット[X]に対して、特開2006-238409の学習式である式[5.1]~[5.3]を繰り返し適用して、分離結果であるYと分離行列Wとを算出する。ただし、式[5.1]~[5.3]の変数の詳細である式[5.4]~[5.7]において、nはn×L1に読み替えること。また、kは1≦k≦nではなく、1≦k≦n×L1を表わすインデックスとなる。なお、スコア関数は確率密度関数の対数微分として定義され、式[5.7]によって定義される。先の[1時間周波数領域において、畳み込み混合を直接解く]方式に式[7.5]について説明したように、特開2006-238409において開示したと同様、多変量のスコア関数を使用することで、パーミュテーションの発生を阻止できる。このスコア関数を用いた処理については後述する。次に、ステップS13において、必要に応じて分離結果Yの中から所望のスペクトログラムを選択する。すなわち、上述したように、分離結果であるYはn×L1チャンネル分のスペクトログラムを含んでいるが、所望のものはnチャンネル分またはn未満であるため、必要に応じてスペクトログラムの選択を行なう。選択方法としては、分離結果Yの中からY1[0],Y2[0],...,Yn[0]のように特定のシフト量[lエル]に該当する成分のみを残すといった方法が適用可能である。この際、最も高い分離精度SIRをもたらすシフト数:lエルに対応した分離結果[Yk[l]]を選択するといった処理が可能である。上記で説明した方法は、先に、[1時間周波数領域において、畳み込み混合を直接解く]方式において説明した式[7.2]~式[7.5]を用いた方法とほぼ同等の処理を実行していることに相当する。すなわち、本処理例では、n×L1チャンネルの信号をお互いに独立となるように分離する処理であり、例えば、図13を参照して説明すると、複数チャンネル分の観測信号スペクトログラムシフトセット[X]を適用した結果として得られる分離結果である信号Y331の中のスペクトログラム1枚分である信号Y1[0]341は、他音源に由来する信号Yn[0]343やYn[L]344と独立となるだけでなく、同一音源に由来するはずのY1[L]342とも独立になる。一方、上記で使用するスコア関数式[5.7]ほかを変更することで、先に、[1時間周波数領域において、畳み込み混合を直接解く]方式において説明した式[8.1]~式[8.4]を用いた方式と同等の処理も行なうことが可能である。[1時間周波数領域において、畳み込み混合を直接解く]方式において説明した式[8.1]~式[8.4]を用いた方式は、Ykt-L~Yktは互いに依存という仮定に基づく処理である。本処理例[3シフト積み重ねと瞬時混合ICAを組み合わせた処理]においても、分離結果の依存を考慮した処理が可能である。すなわち、図13を参照して説明すると、Y1[0]341は、Yn[0]343やYn[L]344とは独立で、Y1[L]342とは依存関係があるという分離を行なうことができる。以下では、その方法について説明する。同一の音源に由来する分離結果Yk[0],...,Yk[L]の間で依存関係を持たせるには、先に説明したΔWωの算出式[5.2]の代わりに、以下に示す式[12.1]を用いる。ただし、式[12.1]中のYω,tおよびWωは、それぞれYおよびWからω番目の周波数ビンの成分を抽出したベクトルおよび行列であり、式[12.3]および式[12.4]のように表わされる。φωYtは、式[12.5]で表わされる通り、n×L1個のスコア関数を要素に持つベクトルである。スコア関数の具体例は後述する。式[12.5]と式[5.6]との違いは、スコア関数の引数にある。すなわち、式[5.6]をn×L1チャンネルに拡張した場合は、n×L1個のスコア関数が全て異なる引数をとるのに対し、式[12.5]ではφkω[0]Ykt~φkω[L]Yktは同一の引数Yktをとるため、引数はn種類である。スコア関数φkω[l]Yktは、YktすなわちYk[0],...,Yk[L]を引数とする多次元多変量確率密度関数の対数微分として定義される式[12.5]。このように、一つの確率密度関数に複数の引数を含め、そこから導出されるスコア関数を用いてICAの学習を行なうと、引数となっている要素同士は依存関係を持つ独立にはならないことが理論的に示されている。すなわち、再び図13を参照して説明すると、Y1[0],...,Y1[L]の組である信号Y1351は、組の内部の各要素は依存関係を持つが、別の組の信号、例えばYn352とは独立になる。ここで、多次元確率密度関数とスコア関数の具体例について説明する。多次元確率密度関数の一種に、球状分布と呼ばれるものがある。これは、以下に示す式[13.1]の通り、スカラーを引数にとる関数にベクトルのL2ノルムを代入することで生成される∝は比例を表わす。L2ノルムは、各要素の絶対値の2乗和の平方根であり、式[13.2]のmに2を代入することで得られる。球状分布の例として、式[13.3]のような指数分布に基づくものγは正の実数を用いると、対応するスコア関数として式[13.4]が導出される。この式を[12.5]に代入すればよい。なお、先に、[1時間周波数領域において、畳み込み混合を直接解く]方式において説明した式[7.6]と同様に、式[13.4]に対しても変更を及ぼして構わない。その例を式[13.5]に示す。変更の例としては、1ゼロ除算を防ぐために分母に正の値βk[l]ωを加える。さらに、その値として、kやlエルやωごとに異なるものを用いる。2L2ノルムの代わりにL-mノルム式[13.2]を用いる。3スコア関数の係数Kの代わりに、kやlエルやωごとに異なる正値γk[l]ωを用いるこのようなことを行なう。式[12.1]は自然勾配法に基づく更新式であるが、それ以外のアルゴリズムも使用可能である。例えば、独立性による等分散適用的分離EquivariantAdaptiveSeparationviaIndependence:EASIと呼ばれる、信号の無相関化と分離とを同時に行なうアルゴリズムに基づく更新式は、式[12.2]の通りである。このアルゴリズムを用いると、自然勾配法に比べて少ないループ回数で学習を収束させることができる。なお、式[12.1]および式[12.2]において行列の要素の対称性に注目すると、計算量を削減することが可能である。その点について説明する。式[12.1]のEt[]の内部は、式[12.7]のようなL1n×L1nの行列に展開される上線は共役複素数を表わす。この式の各要素について平均を取る際に、各要素の1番目の項であるφkω[α]Yktと2番目の要素であるYi[β]ω,tとの間α,βは0≦α,β≦Lを満たす整数で相対的なシフト量が同じであれば、平均後の値はほぼ同じ値となる。すなわち、式[12.8]の関係が成り立つ。特に、シフトとして前述の巡回シフトを用いた場合は、全く同一の値となる。この性質を用いると、式[12.7]の{L1n}2個の要素のうち、実際に値を計算する必要のあるのは2L1n2個だけでよく、残りの要素については、式[12.8]に従って値を再利用すればよい。同様に、式[12.2]についても、計算量の削減が可能である。Et[]の内部の3項のうち、1番目は式[12.1]と同様の計算が行なえる。また、2番目については1番目の項を求めた後、単にエルミート転置を計算すればよい式[12.9]。3番目の項については、式[12.10]の変形を行なうことで、計算量削減が可能となる。ただし、式[12.10]のXω,tは式[11.1]からω番目の周波数ビンに対応した要素を抽出したベクトルであり、式[12.11]のように表わせる。17あるEt[Xω,tXω,tH]は学習のあいだ常に一定である。従って、Et[Xω,tXω,tH]については、学習前に一度だけ計算しておけばよく、学習中に毎回平均操作を行なう必要はない。すなわち、式[12.10]の左辺よりも右辺の方が計算量を削減できるのである。さらに、Et[Xω,tXω,tH]の計算においては、式[12.8]と同様の対称性である式[12.12]および、対角線に対する対称性である式[12.13]が成り立つ。そのため、{L1n}2個の要素のうち、実際に値を計算する必要があるのはL1n2個だけでよい。[具体的構成例および処理例]本発明の信号分離装置の構成例を図15および図16に示す。図15は時間周波数領域で畳み込み混合を解く方式を実行する信号分離装置、図16はモジュレーションスペクトログラムに変換してから瞬時混合を解く方式を実行する信号分離装置に対応する構成例である。1時間周波数領域で畳み込み混合を解く方式を実行する構成先に、図15に示す時間周波数領域で畳み込み混合を解く方式を実行する信号分離装置の構成および処理について説明する。なお、以下に説明する処理の統括的な制御は制御部409において実行される。制御部409は、例えば、装置の記憶部図示せずに予め記憶された以下に説明する処理を実行するプログラムに従って処理を制御する。以下、各構成部の処理について説明する。複数の音源が発する独立な音を複数のマイク401で観測し、AD変換部402において入力アナログ信号をデジタル信号に変換してデジタル観測信号を得る。デジタル観測信号は短時間フーリエ変換STFT部403に入力され短時間フーリエ変換処理が行なわれ、観測信号のスペクトログラムを得る。ここまでの処理は、例えば、図6bに示す観測信号のスペクトログラムXを得る処理に相当する。信号分離部404は、短時間フーリエ変換STFT部403で生成した観測信号のスペクトログラムXを独立な成分に分離する。この図15に示す信号分離装置は、時間周波数領域において畳み込み混合された観測信号の分離処理として時間周波数領域において畳み込み混合を直接解く方式を適用しており、式[6.2]および[7.2][7.1][7.8]の演算を分離行列および分離結果が十分収束するまでまたは一定回数繰り返し行なうことで観測信号の分離処理を実行する。この分離処理によって、図6cに示す分離結果Yを得る。なお、畳み込み演算部408で行なう処理は、先に、図6を参照して説明した処理に従った処理である。すなわち、観測信号中のt番目のフレームの観測信号Xtが、遅延の最大値をL1として、前のL1フレーム分の原信号の影響を受けていることを考慮した処理である。すなわち、観測信号Xtを前述したフレームタップ数Lを適用した式[6.1]の畳み込み混合で表し、さらに、図6cの分離信号中のYtLを基準とし、Stを推定するため、直前のL1フレーム分のデータを考慮して、分離信号Ytを式[6.2]のようにXt-LからXtまでの畳み込み混合として表わして、式[6.2]と式[7.2]を適用して行なう畳み込み演算である。観測信号Xから分離結果Y、すなわち、図6bの観測信号Xから図6cの分離結果Yを生成するためのフレームタップ数Lは、前述したように、Lが既知であればすなわち、残響時間が既知であれば、L=αLとすればよく、Lが未知である場合、Lは、例えば、以下のいずれかの方法で決定する。aL=64やL=100といった一定の値に決め打つ。b残響時間を測定し、その残響時間から求めたLの値をLとする。cさまざまなLの下で分離を行ない、最も良い分離結果をもたらすLの値を採用する。例えばSIRsignal-interferenceratioという分離性能尺度を計算し、最高のSIRをもたらすLを採用する。上記いずれかの方法によって、L、すなわち、観測信号Xから分離結果Yを生成するためのフレームタップ数L、具体的には、例えば、図6bの観測信号Xから図6cの分離結果Yを生成するためのフレームタップ数Lを決定し、このフレームタップ数Lを用いて、観測信号の複数の連続フレームから分離結果を生成する。リスケーリング部405では、分離信号の各周波数ビンに対してスケールを揃えるリスケーリング処理を行なう。リスケーリングとは、周波数ビンごとのスケールを調整する処理である。また、分離処理前に観測信号に正規化平均や分散の調整を行なっていた場合は、ここで元に戻す。逆フーリエ変換部406は、逆フーリエ変換によって分離信号のスペクトログラムを時間領域の信号へと変換する。変換された信号は、必要に応じて後段処理実行部407へ送られる。後段の処理とは、スピーカーからの再生や音声認識などである。なお、後段の処理によっては、逆フーリエ変換部を省略することも可能である。このように、図15に示す信号分離装置は、複数の音信号が混合した信号を入力して個別の音信号に分離する信号分離装置であり、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換手段STFT部403と、信号変換手段STFT部403の生成した観測信号スペクトログラムから信号分離結果を生成する信号分離手段信号分離部404を有し、信号分離手段信号分離部404は、観測信号スペクトログラムを時間周波数領域において畳み込み混合された観測信号として解釈して、畳み込み演算部408における畳み込み演算の実行により信号分離結果を生成する。なお、信号変換手段STFT部403は、入力信号に対して短時間フーリエ変換STFTを実行して時間周波数領域に変換し観測信号スペクトログラムを生成する処理を実行する。また、信号分離手段信号分離部404は、フレーム番号tの分離信号Ytを、観測信号Xt-L~Xtの畳み込み混合として設定し、分離信号Ytに含まれる個別の音声信号成分であるY1t~Ynt各々の独立性を高める処理により信号分離結果を生成する。具体的には、分離信号Ytに含まれる個別の音信号成分であるY1t~Ynt各々の独立性を高める処理として、独立性算出尺度であるKullback-Leiblar情報量IYを適用し、Kullback-Leiblar情報量IYを最小にする分離行列の更新処理により信号分離結果を生成する。なお、3シフト積み重ねと瞬時混合ICAを組み合わせた処理によって時間周波数領域において畳み込み混合された観測信号を分離する処理を実行する装置構成としては、例えば、図15に示す構成から畳み込み演算部408を省いた構成が適用できる。なお、信号分離部において実行する処理は異なる。3シフト積み重ねと瞬時混合ICAを組み合わせた処理を行なう装置では、STFT部403が、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する信号変換手段として機能し、信号分離部404は、信号変換手段の生成した観測信号スペクトログラムから信号分離結果を生成する処理を行なう構成であり、信号分離部404では、先に図11~図14を参照して説明したように、観測信号スペクトログラムをフレーム方向へシフトさせて、各々が異なるシフト量を持つデータを積み重ねた観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により、信号分離結果を生成する。なお、瞬時混合ICAを適用した処理は、特開2006-238409に開示された手法、すなわち、時間周波数領域の観測信号と分離行列から時間周波数領域の分離信号を生成し、生成した時間周波数領域の分離信号と、多次元確率密度関数から導出される多次元スコア関数によって計算される分離行列とがほぼ収束するまで分離行列を修正し、修正した分離行列を適用して時間周波数領域の分離信号を生成する処理として実行される。2モジュレーションスペクトログラムに変換してから瞬時混合を解く方式を実行する構成次に、図16に示すモジュレーションスペクトログラムに変換してから瞬時混合を解く方式を実行する信号分離装置の構成、および処理について説明する。なお、以下に説明する処理の統括的な制御は制御部461において実行される。制御部461は、例えば、装置の記憶部図示せずに予め記憶された以下に説明する処理を実行するプログラムに従って処理を制御する。以下、各構成部の処理について説明する。複数の音源が発する独立な音を複数のマイク451で観測し、AD変換部452において入力アナログ信号をデジタル信号に変換してデジタル観測信号を得る。デジタル観測信号は、第1短時間フーリエ変換STFT部453に入力され、短時間フーリエ変換STFT処理が行なわれ、観測信号のスペクトログラムを得る。この段階で得られる信号は、例えば、図8bに示すスペクトログラムXである。さらに、第1段階の短時間フーリエ変換STFT処理によって得られた観測信号のスペクトログラムを第2短時間フーリエ変換STFT部454に入力して、周波数ビンごとに再び短時間フーリエ変換STFTを実行し、モジュレーションスペクトログラムを得る。この第2短時間フーリエ変換STFT部454における短時間フーリエ変換STFTによって得られるモジュレーションスペクトログラムが例えば図9c,dに示すモジュレーションスペクトログラムXである。信号分離部455は、モジュレーションスペクトログラムXを入力して、このモジュレーションスペクトログラムXを独立な成分に分離する。この分離処理は、先に図10を参照して説明した処理である。すなわち、図10は、図9cに示す立体版モジュレーションスペクトログラムXに相当し、この図10に示す立体版モジュレーションスペクトログラムXにおいて、例えば、1番目のチャンネルのエントロピー計算においては、図10における1番目のフレームのモジュレーションスペクトログラムY1t221は、平面を表わし、それを引数とする多変量確率密度関数PY1t222にY1tを代入することで、エントロピーHY1223を求める。式[9.3]は、変数名の違いを除くと式[3.5]と同一である。従って、学習規則を導出するためには、式[5.2]の変数名を付け替えればよく、結果として式[9.5]を得る。すなわち、式[9.3],[9.5],[9.6]をWが収束するまで繰り返せば、Y1t~Yntが互いに独立になる。次に、第1リスケーリング部456でモジュレーションスペクトログラムに対してリスケーリングを行なう。リスケーリングとは、周波数ビンごとのスケールを調整する処理である。さらに、第1逆フーリエ変換FT部457で、リスケーリングされたモジュレーションスペクトログラムに対して逆フーリエ変換FT処理を実行して、モジュレーションスペクトログラムをスペクトログラムへ変換する。その後、再び第2リスケーリング部458でリスケーリングを行なった後、第2逆フーリエ変換FT部459で、リスケーリングされたスペクトログラムに対して逆フーリエ変換FT処理を実行して、スペクトログラムを波形に変換する。波形に変換された信号は、必要に応じて後段処理実行部461へ送られ、必要に応じた後段処理を実行する。後段の処理とは、スピーカーからの再生や音声認識などである。このように、図16に示す信号分離装置は、複数の信号が混合した信号を入力して個別の信号に分離する信号分離装置であり、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成する第1信号変換手段第1STFT部453と、第1信号変換手段第1STFT部453の生成した観測信号スペクトログラムに対するデータ変換を実行しモジュレーションスペクトログラムを生成する第2信号変換手段第2STFT部454と、第2信号変換手段第2STFT部454の生成した前記モジュレーションスペクトログラムから信号分離結果を生成する信号分離手段信号分離部455を有し、信号分離手段信号分離部455は、モジュレーションスペクトログラムを瞬時混合として解釈し信号分離結果を生成する。第1信号変換手段第1STFT部453は、入力信号に対して短時間フーリエ変換STFTを実行して時間周波数領域に変換し観測信号スペクトログラムを生成する。さらに、第2信号変換手段第2STFT部454は、観測信号スペクトログラムに対して時間方向の短時間フーリエ変換STFTを実行しモジュレーションスペクトログラムを生成する。信号分離手段信号分離部455は、モジュレーションスペクトログラムに含まれる分離信号対応の信号成分Y1~Yn各々の独立性を高める処理により信号分離結果を生成する。具体的には、分離信号対応の信号成分Y1~Yn各々の独立性を高める処理として、独立性算出尺度であるKullback-Leiblar情報量を適用し、Kullback-Leiblar情報量を最小にする分離行列の更新処理により信号分離結果を生成する。なお、逆フーリエ変換手段第1逆FT部457は、信号分離手段信号分離部455において得られた分離信号対応の信号成分Y1~Yn各々に対して逆フーリエ変換を実行して分離信号対応のスペクトログラムY1~Ynを生成する。本発明の信号分離装置の実行する処理のシーケンスの一例について図17に示すフローチャートを参照して説明する。ステップS101において、マイクで音を観測する。例えば先に図5を参照して説明したように、複数の音源から出力される音の混合信号をマイクで取得する。次に、ステップS102において、観測信号に対する短時間フーリエ変換STFT処理を実行しスペクトログラムを得る。短時間フーリエ変換は、先に図7を参照して説明した処理であり、この処理によって、スペクトログラムを得る。このスペクトログラムは、例えば図6bに示すスペクトログラムである。次に、ステップS103において、観測信号のスペクトログラムに対し、ICAによる分離処理を行なう。分離処理の処理シーケンスの詳細については後述する。分離結果に対し、ステップS104において、必要に応じて逆フーリエ変換IFTを実行し、その後、必要に応じてステップS105において後段処理を実行する。ステップS103において実行する分離処理の詳細シーケンスについて、図18と図19に示すフローチャートを参照して説明する。図18、図19に示す分離処理シーケンスは、それぞれ、先に、図15、図16を参照して説明した信号分離装置において実行する分離処理の具体的シーケンであり、図18は、図15の信号分離装置の実行する時間周波数領域で畳み込み混合を解く方式における分離処理、図19は、図16の信号分離装置の実行するモジュレーションスペクトログラムに変換してから瞬時混合を解く方式における分離処理、これらの詳細シーケンスである。まず、図18を参照して、図15の信号分離装置の実行する時間周波数領域で畳み込み混合を解く方式における分離処理、すなわち時間周波数領域での逆畳み込みを行なう分離処理シーケンスについて説明する。最初に、ステップS201において、観測信号スペクトログラムに対して正規化を行なう。本処理における正規化処理は、スペクトログラムの各周波数ビンに対して、平均を0に設定し分散を1とする処理、または以降の処理に都合のよい値に調整する処理である。次に、ステップS202において、分離行列の初期化処理、すなわち、分離行列W[τ]に初期値を代入する。初期値は、W[0]に対しては単位行列を、τ>0の分離行列W[τ]に対してはゼロ行列を代入すればよい。または、前回の学習で求まった分離行列が存在している場合は、それを初期値として用いても良い。ステップS203~S210は学習のループであり、分離行列および分離結果が収束するまでこのループを繰り返す。すなわち、ステップS203:分離行列が収束したか否かの判定、ステップS204:分離信号Yの計算、ステップS205:周波数ビンループの開始ω=1,,M、ステップS206:フレームタップループの開始τ=0,,L、ステップS207:τ番目のフレームタップに対応する増分ΔW[τ]の計算、ステップS208:フレームタップループの終了、ステップS209:ΔW[0]ω~W[L]ωの更新、ステップS210:周波数ビンループの終了、これらのステップからなるループを繰り返し実行する。ステップS204の分離結果Yの計算には、先に説明した式[6.2]、または式[6.3]を用いる。Y=[Y1,,YT]とする。ステップS205~S210は周波数ビンについてのループであり、Mを周波数ビンの本数として、1≦ω≦Mを満たす各周波数ωについて、ステップS206~S209を繰り返す。なお、ループの代わりに、周波数ビンごとの並列処理を行なう構成としてもよい。なお、本出願と同一出願人の先の特許出願であり公開された特開2006-238409において示した手法法では、推定する分離行列は1つまたは周波数ビンごとに1つだけであったが、本発明ではフレームタップの個数だけ分離行列を推定する必要がある。そこで、フレームタップの個数分だけループを回すステップS206~S208。ステップS207では、τ番目のフレームタップに対応する増分ΔW[τ]ωを求める。ΔW[τ]ωの計算には、式[7.1]を用いる。前述の通り、この式[7.1]のRω[l]は、分離結果Yの計算に式[6,2]、または式[6.3]のいずれの式を用いたかによって異なる。分離結果Yの計算に式[6.2]を用いた場合はRω[l]の計算に式[7.2]または式[8.1]を用い、分離結果Yの計算に式[6.3]を用いた場合はRω[l]の計算に式[7.3]または式[8.2]を用いる。ステップS206~S208のフレームタップのループを抜けた後、ステップS209において、式[7.8]を用いて分離行列ΔW[0]ω~W[L]ωを更新する。なお、この処理は、ステップS210の後で全周波数ビンの分をまとめて行なっても構わない。一方、フレームタップの内部には入れられないことに注意。ステップS205~S210の周波数ビンのループを抜けた後、再び、ステップS203の収束チェックに戻る。ステップS204において、で分離行列が収束したまたは、所定の回数だけループしたと判定された場合は、分岐を右に進みステップS211に移行する。なお、ステップS203における分離行列が収束したか否かの判定は、例えばΔWのノルム∥ΔW∥行列のノルムは、例えば前記した式[7.10]で計算するがある値を下回ったかどうかまたは∥ΔW∥/∥W∥がある値を下回ったかどうかで判断してもよいし、または、単純に一定回数のループ数を予め設定し、そのループ数を実行してもよい。ステップS203において、分離行列がまだ収束していないと判定された場合は、ステップS204~S210の処理を繰り返し実行する。ステップS204において、で分離行列が収束したまたは、所定の回数だけループしたと判定された場合は、分岐を右に進みステップS211に移行し、ステップS211において、リスケーリングを行なう。リスケーリングとは、周波数ビンごとのスケールを調整する処理である。また、正規化処理ステップS201で周波数ビンの平均や分散を変更した場合は、ここで必要に応じて元に戻す。なお、ステップS211において実行するリスケーリングの係数は、以下のようにして求める。先に示した式[7.11]を用いて、ある周波数ビンにおいて観測信号と分離結果との2乗誤差が最小となるようなスケールを求める具体的には、最小二乗法などを用いる。そして分離結果を、そのスケールを乗じた値に更新する式[7.12]。また、必要に応じて、分離行列自体も同様に更新する式[7.13]。または、以下のように行なっても良い。式[7.14]を用いて、観測信号を分離結果と定数との線形和で表現する。スケールαk1ω~αknωおよび定数項βkωは、式[7.15]で求める具体的には、最小二乗法などを用いる。スケールが求まったら、式[7.16]を用いて分離結果を更新する。必要に応じて、分離行列も更新する。なお、式[7.14]に出てくるαkjωYjω,tを全て出力すると、singleinputmultipleoutputSIMO形式の出力が得られる。ICAのSIMO出力とは、観測信号を、それぞれの音源に由来する成分に分解することであり、例えばαkjωYjω,tは、Yjをi番目の音源の推定結果とすると、k番目のマイクで観測される信号の内、i番目の音源に由来する成分を表わしている。以上で、時間周波数領域で畳み込み混合を解く場合についてのフローチャートの解説を終わる。次に、モジュレーションスペクトログラム領域で瞬時混合を解く場合の処理について、図19に示すフローチャートを参照して説明する。図19は、図16の信号分離装置の実行するモジュレーションスペクトログラムに変換してから瞬時混合を解く方式における分離処理の詳細シーケンスである。ステップS301は、観測信号スペクトログラムに対して正規化を行なう。この処理は、図18のフローにおけるステップS201の正規化処理と同様の処理であり、スペクトログラムの各周波数ビンに対して、平均を0に設定し分散を1とする処理、または以降の処理に都合のよい値に調整する処理である。ステップS302では、周波数ビンごとに短時間フーリエ変換STFTを行ない、モジュレーションスペクトログラム、すなわち、図9c,dに示すモジュレーションスペクトログラムXを生成する。なお、このモジュレーションスペクトログラムの生成には、先に図16を参照して説明したように、デジタル観測信号に対する第1短時間フーリエ変換STFT部453における短時間フーリエ変換STFT処理を行なって観測信号のスペクトログラム例えば、図8bに示すスペクトログラムXを得て、さらに、第1段階の短時間フーリエ変換STFT処理によって得られた観測信号のスペクトログラムを第2短時間フーリエ変換STFT部454に入力して、周波数ビンごとに再び短時間フーリエ変換STFTを実行することが必要となる。この第2短時間フーリエ変換STFT部454における短時間フーリエ変換STFTによって得られるモジュレーションスペクトログラムが例えば図9c,dに示すモジュレーションスペクトログラムXである。モジュレーションスペクトログラムは、図9c,dに示すように、立方体形式式[9.2]に相当と、平面形式式[9.3]に相当とがあるが、以降の説明では平面形式を用いる。すなわち、図9cに示す縦方向と奥行き方向の両方のビンをまとめてωというインデックスで表現する。ステップS303では、モジュレーションスペクトログラムの各ビンωに対して、再び正規化を行なう。学習のループの前に、ステップS304では、分離行列Wに初期値を代入しておく。初期値は、単位行列でよいが、前回の学習で求まった分離行列でも良い。ステップS305~ステップS310は学習のループであり、分離行列Wが収束するまでまたは一定回数繰り返す。ステップS305における収束性判定は、図18を参照して説明したステップS203における処理と同様の判定であり、分離行列が収束したか否かの判定は、例えばΔWのノルム∥ΔW∥行列のノルムは、例えば前記した式[7.10]で計算するがある値を下回ったかどうかまたは∥ΔW∥/∥W∥がある値を下回ったかどうかで判断してもよいし、または、単純に一定回数のループ数を予め設定し、そのループ数を実行してもよい。ステップS306で、分離結果モジュレーションスペクトログラムであるYを計算する。この計算は、式[9.3]を全てのωとtに対して行なえばよい。ステップS307~S310は、図9cに示すモジュレーションスペクトログラムの各ビンω、すなわち縦方向と奥行き方向の両方のビンωについてのループである。なお、各ビンについての繰り返し処理とするループの代わりに、各ビンについての処理を並列処理として実行してもよい。ステップS308では、分離行列の増分を計算し式[9.5]、ステップS309においてで分離行列を更新する式[9.6]。ステップS310において、ループを抜けた後、再びステップS305の収束性判定に戻る。ステップS305において、分離行列が収束したまたは所定の回数ループしたと判定された場合は、条件分岐を右に進む。ステップS311において、リスケーリングを行なう。リスケーリングは、各ビンのスケールを調整する処理である。分離結果のモジュレーションスペクトログラムに対してリスケーリングを行なう。リスケーリングの方法は、先に図18を参照して説明したステップS211の処理とほぼ同様であり、式[7.11]~[7.16]の式のY,X,Wを適宜Y,X,Wに置き換えた式に基づいて行なう。また、必要に応じて、ステップS301の正規化を元に戻す処理も行なう。次に、ステップS312において、モジュレーションスペクトログラムをスペクトログラムへ変換する逆フーリエ変換FTを実行する。その際、必要に応じてWOLAなどを行なう。すなわち、逆フーリエ変換FTにおいてもフレームごとの逆変換結果波形波形を重複つきで重ね合わせる。これをオーバラップ加算overlapaddという。逆変換結果は、オーバラップ加算overlapaddの前にサイン窓等の窓関数を再び作用させても良く、これを、weightedoverlapaddWOLAという。WOLAにより、フレーム間の不連続性に由来するノイズを低減することができる。さらに、ステップS313において、スペクトログラムに対してリスケーリングを行なう。これは、ステップS311のリスケーリングと同様の処理である。なお、図17のフローにおけるステップS104と、図19に示すフローにおけるステップS312において実行する逆フーリエ変換FTにおいては、分離結果のスペクトログラムやモジュレーションスペクトログラムの他に、分離行列自体も、必要に応じて逆フーリエ変換FTを施す。[変形例]次に、上述した実施例を変形した実施例について説明する。上記の実施例では、分離結果を生成する際に適用するフレームタップLは、すなわち観測信号から分離結果を生成する際のフレームタップLは、全ての周波数で一定値を用いていた。これを、周波数毎で一律とするのではなく周波数ごとにフレームタップLの値を変えても良い。例えば、高い周波数の成分は、低い周波数の成分と比べて急激に減衰するため、残響時間は短い。そこで、高い周波数に対応する周波数ビンでは、フレームタップLの値を低い周波数ビンよりも少なくしても良い。こうすることで、分離性能を保ったまま計算量を削減することができる。また、図16の信号分離装置、および図19に示すフローチャートを参照して説明した方法、すなわち、モジュレーションスペクトログラムに変換してから瞬時混合を解く方式における分離処理においては、2度目の短時間フーリエ変換STFTにおいて、周波数ビンごとにフレームタップ数Lを異ならせる他に、シフト幅を異ならせることも可能である。ただし、周波数ビンごとにフレームタップ数やシフト幅を異ならせると、モジュレーションスペクトログラムにおいて1フレームあたりの時間長が異なる可能性が出てくる。例えば、2度目の短時間フーリエ変換STFTにおいて、低い周波数はタップ数=32シフト幅=16を用い、高い周波数はタップ数=16シフト幅=8を用いると、変換後のモジュレーションスペクトログラムにおける1フレームあたりの時間長は、低い周波数が高い周波数の倍となる。すなわち、低い周波数の方が単位時間当たりのフレーム数が少ない半分である。1フレーム当たりの時間長が一定である場合は、図10に示すように、モジュレーションスペクトログラムからYkt221を切り出して独立性を計算することができるが、一定でない場合はそれが難しい。そういう場合は、以下に説明する方法方法1~3のいずれかを用いることで、フレームの不一致に対処する。方法1フレームデータの間引き生成されたモジュレーションスペクトログラムにおいて、単位時間当たりのフレーム数が多い方のビンからデータを間引くことで、フレーム数が少ない方のビンとデータの個数を合わせる。上記の32タップ16シフトと16タップ8シフトの例では、16タップ8シフトの短時間フーリエ変換STFTを行なったビンに対して、一つ置きにデータを間引くと、両者で単位時間当たりのフレーム数が一致する=1フレーム当たりの時間が同じようになる。方法2フレームデータの補間上述の方法1とは逆に、個数が少ない方を多い方に合わせる方法。上記の32タップ16シフトと16タップ8シフトの例では、32タップ16シフトを行なったビンに対して、データの補間を行なう。例えば、前後のフレームデータの平均を取ることで、中間に新しいデータを挿入する。方法3フレームデータの重複上述の方法2と同様に、個数が少ない方を多い方に合わせる方法。上記の32タップ16シフトと16タップ8シフトの例では、32タップ16シフトを行なったビンに対して、データを2回ずつ重複させることで、16タップ8シフトのビンとデータ数を合わせる。次に、図11~図14を参照して説明した3シフト積み重ねと瞬時混合ICAを組み合わせた処理による方法、すなわち、観測信号スペクトログラムをシフトしながら積み重ね、それを瞬時混合ICA例えば、特開2006-238409に記載の手法によって、時間周波数領域において畳み込み混合された観測信号を分離する処理において、周波数ごとに[L]の値、すなわち、観測信号から分離結果を生成する際のフレームタップ数[L]の値を異ならせるという変形例について説明する。この変形例、すなわち、周波数ごとにフレームタップ数[L]の値を異ならせるという変形例を実現するためには、以下のようにすればよい。周波数ビンごとに異なるLをLωと表記する。図11を参照して説明したシフト処理において、シフト量が[Lω]を超えたら、その周波数ビンのデータを[0]に置き換える。その方法について、図20を参照して説明する。周波数ビンごとに異なるフレームタップ数[Lω]の値を、周波数ビン番号ωに応じて以下のように変更したいとする。Mはスペクトログラム1枚あたりの周波数ビン数1≦ω<M/4では、Lω=2M/4≦ω<M/2では、Lω=1M/2≦ω<Mでは、Lω=0これを実現するためには、先に、図11を参照して説明したシフト処理によって生成されるデータXk[0],Xk[1],Xk[2]に対して以下の操作を行なう。Xk[0]は、Xkそのまま。全ての周波数ビンで、シフト=0は必要、Xk[1]は、M/2≦ωの周波数ビンを0でマスク。M/2≦ωでは、1以上のシフトは不要Xk[2]は、M/4≦ωの周波数ビンを0でマスク。M/4≦ωでは、2以上のシフトは不要具体的には、図20bに示すように、黒く塗りつぶされているデータ部分5112が、0でマスクされる箇所である。なお、実際の処理においては、マスクされた部分のメモリを確保する必要はなく、スペクトログラムへのアクセスの際にマスク該当箇所をスキップすれば、処理時間やメモリ量の増加を防ぐことができる。なお、本発明の前処理として、従来の時間周波数領域の瞬時混合ICA例えば特開2006-238409を組み合わせると、処理時間の増加をある程度抑えることができる。以降では、両者の組み合わせについて説明する。以下の各処理例について、順次説明する。1基本的な2段階分離2チャンネル数の削減3残響除去として利用1基本的な2段階分離従来の時間周波数領域の瞬時混合ICAにおいて、残響よりも短い分析フレームまたは分析窓を用いた場合、複数のフレームにまたがる妨害音は除去しきれない。その反面、本発明よりも1回目のSTFTにおける分析フレーム長が同じであれば計算量は少ない。そこで、最初に従来の時間周波数領域ICAで分離を行い、その結果のスペクトログラムを本発明の方法でさらに分離すれば、最初から本発明だけを用いる場合と比べて少ない時間で同等の分離精度を達成することができる。特に、本発明における1時間周波数領域において、畳み込み混合を直接解く方式を用いる場合は、従来法と本発明とをシームレスに動作させることが可能である。すなわち、式[7.2]および式[8.1]または、式[7.3]および式[8.2]においてL=0とすると従来法と等価になるという特徴を利用することができ、図18に示したフローにおけるステップS203~S210の学習ループにおいて、ループ回数が少ないうちはL=0、ループ回数がある値を超えたらLを本来の値とすればよい。または、ループ回数の増加にともなって、Lを少しずつ増加させても構わない。2チャンネル数の削減一般に、ICAの計算量は、チャンネル数の2乗に比例する。そのため、チャンネル数を削減することができれば、計算量を大幅に削減することができる。2段階分離を用いると、本発明のステップのチャンネル数を削減することもできる。その方法について説明する。時間周波数領域のICAにおいて、音源数よりもマイク数の方が多い場合、出力チャンネルのうちのいくつかは、どの音源にも対応しないと判定される信号が出力される。例えば、マイク数=4音源数=3の場合、出力チャンネルのうち3つは音源に対応しているが、残りの1つはどの音源にも対応しない、背景雑音と残響音とが混ざったような信号が出力される。このような出力は、他のチャンネルと比べてパワーが極端に小さかったり、他のどのチャンネルとも相関があったりするため、容易に検出できる。そこで、2段階分離においては、図21に示すフローチャートに従って、まず、ステップS501で時間周波数領域の瞬時混合ICAによる分離処理を行なう。この処理は、特開2006-238409において開示した処理として実行可能である。その後、ステップS502において、例えばどの音源にも対応しないと判定される出力不要チャンネルを除去した後、上述した本発明に従った処理、すなわち、1時間周波数領域において、畳み込み混合を直接解く。2スペクトログラムを時間方向へもう一度短時間フーリエ変換STFTし、瞬時混合として解く。3シフト積み重ねと瞬時混合ICAを組み合わせた処理によって解く。これらのいずれかの処理によって、時間周波数領域において畳み込み混合された観測信号を分離する処理を実行すれば、分離処理における計算量を削減することができる。なお、入力チャンネル数=音源数であれば分離は可能であるため、ステップS502においてチャンネル数を削減しても分離精度には影響しない。例えば、上記の1時間周波数領域において、畳み込み混合を直接解く方式に、この2段階処理を適用した場合は、信号分離手段が、観測信号スペクトログラムに対して、瞬時混合ICAIndependentComponentAnalysisを適用した処理により第1の信号分離結果を生成し、該第1の信号分離結果から、どの音源にも対応しないと判定される不要チャンネル除去処理を実行して、除去処理後に残存する観測信号スペクトログラムに対して時間周波数領域の畳み込み混合を解く処理を実行して信号分離結果を生成する。また、2スペクトログラムを時間方向へもう一度短時間フーリエ変換STFTし、瞬時混合として解く方式にこの2段階処理を適用した場合は、第1信号変換手段が、入力信号を時間周波数領域に変換し観測信号スペクトログラムを生成し、不要チャンネル除去手段が、第1信号変換手段の生成した観測信号スペクトログラムに対して、瞬時混合ICAを適用した処理により第1の信号分離結果を生成し、この信号分離結果から、どの音源にも対応しないと判定される不要チャンネル除去処理を実行し、さらに、第2信号変換手段が、不要チャンネルが除去された観測信号スペクトログラムに対してデータ変換を実行してモジュレーションスペクトログラムを生成し、信号分離手段が、モジュレーションスペクトログラムから信号分離結果を生成するといった処理となる。また、3シフト積み重ねと瞬時混合ICAを組み合わせた処理にこの2段階処理を適用した場合は、観測信号スペクトログラムに対して、瞬時混合ICAを適用した処理により第1の信号分離結果を生成し、生成した第1の信号分離結果から、どの音源にも対応しないと判定される不要チャンネル除去処理を実行し、除去処理後に残存する観測信号スペクトログラムをフレーム方向へシフトさせて観測信号スペクトログラムシフトセットを生成し、生成した観測信号スペクトログラムシフトセットに対して、再度、瞬時混合ICAを適用して信号分離結果を生成する構成となる。3残響除去として利用本発明の分離処理、すなわち、1時間周波数領域において、畳み込み混合を直接解く。2スペクトログラムを時間方向へもう一度短時間フーリエ変換STFTし、瞬時混合として解く。3シフト積み重ねと瞬時混合ICAを組み合わせた処理によって解く。これらの処理のうち、3番目のシフト積み重ね従来法を用いた場合、分離自体は前処理の従来法で行ない、本発明は残響除去のみを行なうという役割分担も可能である。こうすることで、計算量はO{n×L1}2からOn×n×L1に削減される。以下はその方法について説明する。先に図11を参照して説明したスペクトログラムのシフト積み重ねを行なうと、1チャンネル分のスペクトログラムが見かけ上はL1チャンネルに拡張される。その結果に対して、従来の時間周波数領域の瞬時混合ICAを用いてL1チャンネルの入力として処理すると、結果としてL1チャンネル分のスペクトログラムが生成される。このような処理を行なっても、音源ごとの成分に分離されるわけではないが、複数のフレームにまたがった成分を取り除く効果、すなわち残響除去の効果はある。そこで、従来の時間周波数領域の瞬時混合ICAで分離を行い、nチャンネル分の分離結果スペクトログラムを生成した後、各チャンネルに対して前述の残響除去を行なうという組み合わせが考えられる。そのような処理について、図22に示すフローチャートを参照して説明する。まず、ステップS601において、時間周波数領域の瞬時混合ICAによる分離処理を行なう。この処理は、特開2006-238409において開示した処理として実行可能である。分離結果としてnチャンネル分のスペクトログラムY1~Ynが生成される。以降の処理は、nチャンネル分のスペクトログラムY1~Ynに対して別個に行なう。第1チャンネル対応のスペクトログラムY1に対する処理がステップS611~S613、第nチャンネル対応のスペクトログラムYnに対する処理がステップS621~S623である。なお、ステップS601の瞬時混合ICAによる分離処理が終了した時点で、先に図20を参照して説明したと同様、不要チャンネルどの音源にも対応しないと判定される出力を除去する処理を行なう構成としてもよい。ステップS611~S613の処理は、先に説明した[3シフト積み重ねと瞬時混合ICAを組み合わせた処理によって解く]方式の処理シーケンスである図14に示すフローのステップS11~S13の処理に対応する処理である。ただし、図14に示すフローのステップS11の処理はnチャンネル分のスペクトログラムをn×L1に拡張する処理だったのに対し、図21に示すフローのステップS611の処理は、1チャンネル分をL1チャンネル分に拡張する処理である。また、ステップS612の残響除去処理は、処理自体は、図14に示すフローにおけるステップS12の処理と同一の処理となるが、前述の理由により、このステップS612の処理の効果は音源の分離ではなくて残響除去として実行される。ステップS613の処理は、L1チャンネル分の残響除去済みスペクトログラムから所望の一つを選択する処理であり、図14のステップS13の処理と同様の処理である。ステップS621~S623の処理は、処理対象が異なるチャンネル対応の信号Ynである点を除いてはステップS611~S613の処理と同様である。全ての出力チャンネルただし不要チャンネルは削除して構わないに対して残響除去と選択とが完了したら、ステップS631において、残ったスペクトログラムを統合する。例えば縦に積み重ねる処理を実行する。この処理によって、複数のフレームにまたがった成分を取り除く処理、すなわち残響除去処理が実現される。[本発明に従った信号分離処理における効果の検証]上述した本発明の方法により、従来の時間周波数領域ICAを超える分離性能が出ることを実験で確かめた。以下、この実験結果に基づいて本発明に従った信号分離処理による効果について説明する。最初に、実験の条件について説明する。音データの収録を、図23に示す環境オフィスの部屋で行なった。マイク数=4間隔=7.5cm、音源数=3であり、音源として以下のWebページで公開されているものを用いた。原信号:ICA99SYNTHETICBENCHMARKShttp://sound.media.mit.edu/ica-bench/sources/src1:beet.wavsrc2:beet9.wavsrc3:mike.wavなお、収録はそれぞれの音源を単独に鳴らした状態で行ない、後で計算機上で混合している。実験は以下の条件で行なった。サンプリング周波数:16kHzSTFTの窓長:64,128,256,512,1024,2048,4096STFTのシフト幅:窓長の1/2窓:短時間フーリエ変換STFT時にサイン窓、逆フーリエ変換FT時に再びサイン窓η0=0.5式ループ回数=200or400方式:方式1式[5.2]従来法に相当方式2式[7.1]式[7.2]以降逆方向畳み込み方式3式[9.5]以降再STFTスコア関数:式[7.7]を使用スコア関数のγの値:方式12γ=sqrtMM:周波数ビンの本数方式3γ=sqrtLMフレームタップ:方式2L=4,5,8,10,15,16,20,25,30,32方式3L=4,8,16,32評価尺度として、波形ベースのsignal-interference-ratioSIRと周波数ビンベースのSIRとを用いている。以下で、SIRの計算方法について説明する。k番目のチャンネルに対応した分離結果波形をyktとし、原信号s1t~sNtの線形結合でyktを近似することを考える以下に示す式[10.1]。s1t~sNtの係数λ1~λNは、式[10.2]の二乗誤差を最小にすることで求まる。yktをi番目の音源sitの推定結果と見なした場合、SIRはsitとそれ以外の音源とのパワー比として定義される式[10.3]。出力チャンネル数=マイク数をnとすると、1つの音源に対してSIRはn通り計算されるが、その内の最大値を音源iのSIRと定義する式[10.4]。以降の実験結果では、3つの音源のからそれぞれ求めたSIRを、さらに平均している。周波数ビンベースのSIRは、周波数ビンごとにSIRを計算した後、全ての周波数ビンについて平均を取ることで計算する式[10.6]。以下では、実験結果について説明する。以下、実験結果を表として示す。各表において、窓長:STFTの窓長、frm-tapはフレームタップ数、SIRwaveは波形ベースのSIR、SIRbinは周波数ビンベースのSIR、を表わす。以下、各表において、1方式1従来法、200回ループ2方式2式[6.1],[7.1],[7.2]、200回ループ3方式3式[9.2],[9.5]、200回ループ4方式1従来法、400回ループ5方式2式[6.1],[7.1],[7.2]、400回ループ6方式3式[9.2],[9.5]、400回ループこれらの実験結果を示す。図24は、以下の3方式による分離結果についての評価データである。1方式1従来法、200回ループ2方式2式[6.1],[7.1],[7.2]、200回ループ3方式3式[9.2],[9.5]、200回ループこれらの3方式を実行した場合の結果データに基づくSIRデータをプロットしたものであり、a波形ベースのSIRsignal-interference-ratiob周波数ビンベースのSIRこれらのSIRデータをプロットしたものである。横軸がSTFTの窓長、縦軸がSIRである。各グラフにおいて、実線:方式1、◆:が方式2、:が方式3、である。いくつかの設定において、方式2と方式3は、従来法を上回っているのが確認できる。次に、横軸として以下の式で計算されるタイムスパンを用いてプロットした評価データを図25に示す。time_span={frame_tap-1×frame_shiftwindow_len}/srateなお、frame_tap:フレームタップ数=Lwindow_len:窓長一度目のSTFTの切り出し区間長frame_shift:窓シフト幅今回は窓長の1/2srate:サンプリング周波数16kHz図25も、以下の3方式による分離結果についての評価データである。1方式1従来法、200回ループ2方式2式[6.1],[7.1],[7.2]、200回ループ3方式3式[9.2],[9.5]、200回ループこれらの3方式を実行した場合の結果データに基づくSIRデータをプロットしたものであり、a波形ベースのSIRsignal-interference-ratiob周波数ビンベースのSIRこれらのSIRデータをプロットしたものである。横軸が上述したタイムスパンTime_spanの窓長、縦軸がSIRである。各グラフにおいて、実線:方式1、◆:が方式2、:が方式3、である。従来は、長いタイムスパンをカバーするためには短時間フーリエ変換STFTの窓長を長くするしかなく、それがSIRの低下を招いていた。それに対し本発明では、短めの窓と複数のフレームタップという組み合わせを用いることで、SIRを低下させずに同等のタイムスパンをカバーすることができる。図26は、以下の3方式による分離結果についての評価データである。4方式1従来法、400回ループ5方式2式[6.1],[7.1],[7.2]、400回ループ6方式3式[9.2],[9.5]、400回ループこれらの3方式を実行した場合の結果データに基づくSIRデータをプロットしたものであり、a波形ベースのSIRsignal-interference-ratiob周波数ビンベースのSIRこれらのSIRデータをプロットしたものである。横軸がSTFTの窓長、縦軸がSIRである。各グラフにおいて、実線:方式1、◆:が方式2、:が方式3、である。次に、分離処理のループ回数を400回に増やして同様の評価実験を行なった。図26に示すデータに対応するデータとして、横軸としてタイムスパンを用いてプロットした評価データを図27に示す。以下の3方式による分離結果についての評価データである。4方式1従来法、400回ループ5方式2式[6.1],[7.1],[7.2]、400回ループ6方式3式[9.2],[9.5]、400回ループこれらの3方式を実行した場合の結果データに基づくSIRデータをプロットしたものであり、a波形ベースのSIRsignal-interference-ratiob周波数ビンベースのSIRこれらのSIRデータをプロットしたものである。横軸が上述したタイムスパンTime_spanの窓長、縦軸がSIRである。各グラフにおいて、実線:方式1、◆:が方式2、:が方式3、である。図26、図27においても、方式2,方式3は、従来法を上回る設定が存在する。このように、本発明によって、従来の時間周波数領域ICAが持っていた窓長と分離性能とのトレードオフという課題を回避することが可能である。次に、別種のデータについての評価実験について説明する。図28は、収録環境であるオフィス環境の見取り図である。図に示すようにほぼ750cm×375cmの長方形の室内で実験を行なった。なお、図に示すように完全な長方形ではなく、一方は高さ153cmのパーティションによって区切られた空間である。部屋の残響時間は0.3秒よりやや短い値である。以降では、0.275秒としてプロットしてある。音源として、以下の3種類の音を用意した。各信号のスペクトログラムを図29に示す。音源1src1:女性1名の発話以降、女声またはF音源2src2:男性1名の発話以降、男声またはM音源3src3:以下のURLで公開されているストリートノイズ以降、雑踏またはShttp://sound.media.mit.edu/ica-bench/sources/street.wav図中のsp1~sp4の各スピーカーから上記の音をそれぞれ再生し、5cm間隔で並べた4本のマイクmic1~mic4で収録した。次に、図30に示す8通りの組み合わせで、スビーカsp1~sp4からの音声出力を行なって4本のマイクmic1~mic4によって入力するデータの解析を行なった。女性1名の発話を[F]、男性1名の発話を[M]、ストリートノイズを[S]、音声出力なしを[0]として、1sp1=S,sp2=0、sp3=F、sp4=M2sp1=S,sp2=0、sp3=M、sp4=F3sp1=F,sp2=S、sp3=0、sp4=M4sp1=M,sp2=S、sp3=0、sp4=M5sp1=0,sp2=0、sp3=F、sp4=M6sp1=0,sp2=0、sp3=M、sp4=F7sp1=F,sp2=0、sp3=0、sp4=M8sp1=M,sp2=0、sp3=0、sp4=Mこれらの8つのパターンである。なお、実験では、1~8の各パターンについて、観測信号が4秒の場合と8秒の場合とについて実験しているため、観測信号のバリエーションは合計で8×2=16通り存在する。観測信号の例を図31に示す。これは、図30に示すパターン中の[TakeNo.=3]に該当する。すなわち、以下の出力パターンである。3sp1=F,sp2=S、sp3=0、sp4=M図31aに示すX1~X4の4枚のスペクトログラムは、図28に示す4本のマイクmic1~mic4で観測された観測信号である。図31bは周波数ビンごとのSIRである。4枚のスペクトログラムの間で、4つの音源の混ざり具合はほぼ同じであることが分かる。音源分離実験は以下の3つの方式について行なった。すなわち、前述の実験から方式2を省き、代わりに前述の3シフト積み重ね瞬時混合ICAの中の1番目の方法を方式4として行なった。方式1式[5.2]従来法に相当方式3式[9.5]以降再STFT方式4式[11.1]式[5.2]以降シフト積み重ね実験の条件は以下とおりである。共通:サンプリング周波数=16kHzサンプルビット数=16観測信号の長さ:4秒および8秒方式1STFTの窓長:256,512,1024,2048,4096,8192STFTのシフト幅:窓長の1/4窓:短時間フーリエ変換STFT時にハニング窓、逆フーリエ変換FT時には窓なし。η0=0.3ループ回数=400スコア関数のγの値:γ=sqrtMM:周波数ビンの本数ただし、観測信号=4秒、STFTの窓長=8192の場合のみ、シフト幅は1/8の1024を使用した。1/4シフトではフレーム数が少なくなりすぎるため。方式3STFT1回目の窓長:512STFT1回目のシフト幅:窓長の1/4窓1回目:短時間フーリエ変換STFT時にハニング窓、逆フーリエ変換FT時には窓なし。η0=0.3ループ回数=400スコア関数のγの値:γ=sqrtML1M:周波数ビンの本数STFT2回目の窓長:L1=4,8,16,32STFT2回目のシフト幅:窓長の1/8端数切り上げ窓2回目:短時間フーリエ変換STFT時にハミング窓、逆フーリエ変換FT時には窓なし。2回目のSTFTでハニング窓ではなくてハミング窓を使った理由は、タップ数が小さい場合でも両端のサンプルを有効に使用するためである。ハニング窓は両端が0なので、有効なサンプル数が2個少なくなってしまう。方式4STFT1回目の窓長:512STFT1回目のシフト幅:窓長の1/4窓1回目:短時間フーリエ変換STFT時にハニング窓、逆フーリエ変換FT時には窓なし。η0=0.3ループ回数=400スコア関数のγの値:γ=sqrtML1M:周波数ビンの本数フレームタップ:L1=2,4,8,12図32と図33は、図31の観測信号に対して方式4で処理をした結果である。L=1すなわち2タップ分でシフト積み重ね図11参照を行なった結果が図32であり、それを8チャンネルの観測信号として分離をした結果が図33である。図33aが分離結果のスペクトログラム、図33bが周波数ビンごとのSIRである。図33aの分離結果のスペクトログラムを見ると、原信号と以下のように対応している。Y2[1],Y4[0]:音源1Y3[0],Y3[1]:音源2Y1[0],Y1[1]:音源3Y2[0],Y4[1]:対応なし分離度合いを表わす尺度として、周波数ビンごとの改善SIRの平均を計算した。図33を例にとると、図33aに示す分離結果スペクトログラムの各チャンネルY1[0],~Y4[1]について、最も強く現れている音源に対してSIRを計算し、さらに全周波数ビンで平均をとった。例えばY2[1]では音源1が最も強く現れているので、音源1へのSIRを計算する。Y4[0]に対しても同様に計算し、両者で値が大きい方を音源1の分離度合いとする。音源23についても同様に計算してから3つの間で平均を取ることで、全体の分離度合いとする。この値から観測信号の平均SIR、すなわち図33bに示す周波数ビンごとのSIRのプロットを全周波数で平均したものを引くと、改善SIRが計算される。最後に、8回のテイクの間で平均を取ることで、1つの実験パラメーターについての分離度合いを計算する。なお、観測信号が4秒の場合と8秒の場合とは、別々に集計した。集計結果は、図34と図35に示す通りである。図34が観測信号=4秒の場合、図35が8秒の場合であり、いずれも縦軸が改善SIR、横軸がタイムスパン対数表示である。両図の縦の破線は部屋の残響時間であり、0.275秒としている。3本の折れ線は、それぞれ従来法方式1再STFT方式3シフト積み重ね方式4に対応する。図34、図35に示すように、従来法では、STFTの窓長分析フレーム長を長くしていっても、ある値観測信号=4秒で1024、8秒で2048で分離精度がピークに達し、それより長くするとかえって分離精度が悪化する。これは、窓を長くし過ぎると、STFT結果の時間分解能が落ちるためである。時間分解能の低下は、観測信号が短い場合ほど強く影響するため、観測信号=4秒の場合の方が8秒の場合よりも短い窓長でピークに達する。一方で、窓が短い場合は、時間分解能は高いものの、フレームをまたがった成分が多くなる残響が1フレームに収まらなくなるため、十分な分離精度が出ない。それに対し、本発明である方法3方法4では、短い窓この実験では512でSTFTした結果に対してさらに複数フレーム用いて分離を行なうため、時間分解能の低下を抑える一方で複数フレームにまたがった成分に対しても対応できる。そのため、従来法と同一のタイムスパンで比較した場合はいっそう高い分離精度を達成でき、また、ピークの分離精度で比較した場合は、より長いタイムスパンでより高い分離精度を達成できる。以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が該実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。なお、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体としてのハードディスクやROMReadOnlyMemoryに予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD-ROM,MOディスク,DVD、磁気ディスク、半導体メモリなどのリムーバブル記録媒体に、一時的あるいは永続的に格納記録しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウエアとして提供することができる。なお、プログラムは、上述したようなリムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトから、コンピュータに無線転送したり、LAN、インターネットといったネットワークを介して、コンピュータに有線で転送し、コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。"