(57)【要約】【課題】  複数の信号が混合された混合信号を信号毎に分離する際に、分離後の後処理を行なうことなく、信号を対応付けて分離することができる信号分離装置及び方法を提供する。【解決手段】  複数の信号が混合された時間領域または時間周波数領域の観測信号と分離行列とから分離信号を生成する複数の分離システム１ｊと、異なる複数の分離システム１ｊから生成される複数の分離信号の間で対応する分離信号の信号組を生成するマッピング部６とを備え、信号組間の独立性が最大となるように分離行列を更新し、分離信号を生成する。【選択図】  図１
2008092363.tif 000002
【特許請求の範囲】
【請求項１】
複数の信号が混合された時間領域または時間周波数領域の観測信号を、独立成分分析を用いて分離信号に分離する信号分離装置において、
上記観測信号と分離行列とから分離信号を生成する複数の分離手段と、
異なる複数の分離手段から生成される複数の分離信号の間で対応する分離信号の信号組を生成する信号組生成手段と、
上記信号組を引数にとる多変量確率密度関数またはスコア関数を用いて上記信号組間の独立性または独立性尺度の変化分を演算し、上記信号組間の独立性が最大となるように上記複数の分離手段を制御する独立性演算手段と
を有し、
各分離手段は、上記観測信号と初期値が代入された分離行列とから分離信号を生成し、上記独立性演算手段で演算された上記信号組間の独立性に基づいて上記分離行列が略々収束するまで該分離行列を修正し、略々収束した分離行列を用いて上記分離信号を生成する
ことを特徴とする信号分離装置。
【請求項２】
上記信号組間の独立性を表す尺度として、上記多変量確率密度関数から計算されるKullback-Leibler情報量を用いることを特徴とする請求項１記載の信号分離装置。
【請求項３】
上記信号組生成手段は、マイクの間隔または設置位置、サンプリング周波数、短時間フーリエ変換の窓長、短時間フーリエ変換のシフト幅、分離行列の初期値、観測信号スペクトログラムの正規化方法から選択される少なくとも１以上の条件が異なる複数の分離手段から生成される複数の分離信号の間で対応する分離信号の信号組を生成することを特徴とする請求項１記載の信号分離装置。
【請求項４】
複数の信号が混合された時間領域または時間周波数領域の観測信号を、独立成分分析を用いて分離信号に分離する信号分離装置において、
上記観測信号と分離行列とから分離信号を生成する分離手段と、
上記分離手段のチャンネル間で対応する分離信号の信号組を生成する信号組生成手段と、
上記信号組を引数にとる多変量確率密度関数またはスコア関数を用いて上記信号組間の独立性または独立性尺度の変化分を演算し、上記信号組間の独立性が最大となるように上記分離手段を制御する独立性演算手段と
を有し、
上記分離手段は、上記観測信号と初期値が代入された分離行列とから分離信号を生成し、上記独立性演算手段で演算された上記信号組間の独立性に基づいて上記分離行列が略々収束するまで該分離行列を修正し、略々収束した分離行列を用いて上記分離信号を生成する
ことを特徴とする信号分離装置。
【請求項５】
複数の信号が混合された時間領域または時間周波数領域の観測信号を、独立成分分析を用いて分離信号に分離する信号分離方法において、
上記観測信号と分離行列とから分離信号を複数の分離手段で生成する工程と、
異なる複数の分離手段から生成される複数の分離信号の間で対応する分離信号の信号組を生成する工程と、
上記信号組を引数にとる多変量確率密度関数またはスコア関数を用いて上記信号組間の独立性または独立性尺度の変化分を演算する工程と、
上記観測信号と初期値が代入された分離行列とから分離信号を生成し、上記スコア関数を用いて演算された信号組間の独立性が最大となるように上記分離行列が略々収束するまで該分離行列を修正する工程と
を有する信号分離方法。
【請求項６】
上記信号組間の独立性を表す尺度として、上記スコア関数から計算されるKullback-Leibler情報量を用いることを特徴とする請求項５記載の信号分離方法。
【請求項７】
上記信号組を生成する工程では、マイクの間隔または設置位置、サンプリング周波数、短時間フーリエ変換の窓長、短時間フーリエ変換のシフト幅、分離行列の初期値、観測信号スペクトログラムの正規化方法から選択される１以上の条件が異なる複数の分離手段から生成される複数の分離信号の間で対応する分離信号の信号組を生成することを特徴とする請求項５記載の信号分離方法。
【請求項８】
複数の信号が混合された時間領域または時間周波数領域の観測信号を、独立成分分析を用いて分離信号に分離する信号分離方法において、
上記観測信号と分離行列とから分離信号を生成する工程と、
チャンネル間で対応する分離信号の信号組を生成する工程と、
上記信号組を引数にとる多変量確率密度関数またはスコア関数を用いて上記信号組間の独立性または独立性尺度の変化分を演算する工程と、
上記観測信号と初期値が代入された分離行列とから分離信号を生成し、上記スコア関数を用いて演算された信号組間の独立性が最大となるように上記分離行列が略々収束するまで該分離行列を修正する工程と
を有する信号分離方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、独立成分分析（Independent Component Analysis；ＩＣＡ）を用いて信号を分離する信号分離装置及びその方法に関する。
【背景技術】
【０００２】
複数の原信号が未知の係数によって線形に混合されているときに、統計的独立性のみを用いて原信号を分離・復元するという独立成分分析（Independent Component Analysis；ＩＣＡ）の手法が信号処理の分野で注目されている。この独立成分分析を応用することで、例えば話者とマイクロフォンとが離れた場所にあり、マイクロフォンで話者の音声以外の音を拾ってしまうような状況でも、音声信号を分離・復元することが可能となる。
【０００３】
図２０に示すようにＮ個の音源からそれぞれ異なる音が鳴っており、それらをｎ個のマイクロフォンで観測するという状況を想定する。ｋ番目（１≦ｋ≦ｎ）のマイクロフォンｋで観測される信号（観測信号）ｘｋ（ｔ）が、それぞれの原信号ｓｊ（ｔ）の線形結合であると仮定すると、ｘｋ（ｔ）は、下記式（１）で表される。また、全てのマイクロフォンについての観測信号を一つの式で表わすと、下記式（２）で表わせる。この式（１）、（２）において、ｘ（ｔ）、ｓ（ｔ）はそれぞれ ｘｋ（ｔ）、ｓｋ（ｔ）を要素とする列ベクトルを表し、Ａはａｉｊ（ｔ）を要素とするｎ行Ｎ列の行列を表す。なお、以下ではＮ＝ｎとする。
【０００４】
【数１】
2008092363.tif 000003
【０００５】
ＩＣＡは、観測信号ｘから、原信号ｓと、ｘからｓを生成する行列（分離行列）とを推定する問題として定式化される。すなわち、分離行列をＷ、推定された原信号（すなわち分離結果）をｙとして、ｙ＝Ｗｘ  なるｙとＷとを求める問題である。
【０００６】
【特許文献１】特開２００３−２６３１８９号公報
【特許文献２】特開２００６−２３８４０９号公報
【特許文献３】特開２００４−１４５１７２号公報
【非特許文献１】“間隔の異なる複数のマイクペアによるブラインド音源分離”，澤田 宏，荒木 章子，向井 良，牧野 昭二，日本音響学会 春季研究発表会, pp.621-622, 2002年3月
【非特許文献２】“マルチモーダル独立成分分析 −複数情報源からの共通特徴抽出法−”赤穂 昭太郎，梅山 伸二，電子情報通信学会論文誌，VOL.J83-A No.6 June 2000，pp.669-676
【発明の開示】
【発明が解決しようとする課題】
【０００７】
ＩＣＡには、どの原信号がどの出力チャンネルに分離されるかが不定であるという問題が存在する。これを「チャンネル間のパーミュテーション問題」と呼ぶ。なお、「周波数ビン間のパーミュテーション問題」と呼ばれる、時間周波数領域のＩＣＡにおいて、どのチャンネルにどの原信号が出力されるかが周波数ビンによって不一致であるという問題も存在するが、この「周波数ビン間のパーミュテーション問題」は、本件発明者によって解決されている（特許文献２参照。）。
【０００８】
上記「チャンネル間のパーミュテーション問題」について、例えば、図２０において２個の音源を２本のマイクで収音し、それらを２つの成分へと分離する、すなわちＮ＝２、ｎ＝２の場合を考える。この場合、２つある出力チャンネルにどの音源が出力されるかは、以下の２通りがありえる。
【０００９】
ケース１：チャンネル１＝音源１、チャンネル２＝音源２
ケース２：チャンネル１＝音源２、チャンネル２＝音源１
分離システムの出力がどちらのケースとなるかは、以下に示すようなさまざまな要因に依存するため、事前に予想することは困難である。
【００１０】
・音源の種類
・音源とマイクとの位置関係
・ＩＣＡのアルゴリズム
・音響処理（フーリエ変換など）、前処理、後処理
・分離行列Ｗの初期値
次に、分離システムが複数ある場合について考える。例えば、上記の音源数＝２の環境において、２入力・２出力の分離システムを２つ動作させる場合を考える。２番目の分離システムは、１番目とは異なる位置のマイクを使用するものであってもよいし（すなわち、音源とマイクとの位置関係が２つの分離システムで異なる）、共有のマイクで別のアルゴリズムや初期値などを用いるものであっても良い。この場合、出力チャンネルにどの音源が出力されるかは、以下の４通りがあり得る。
【００１１】
ケース１：
分離システム１：チャンネル１＝音源１、チャンネル２＝音源２
分離システム２：チャンネル１＝音源１、チャンネル２＝音源２
ケース２：
分離システム１：チャンネル１＝音源１、チャンネル２＝音源２
分離システム２：チャンネル１＝音源２、チャンネル２＝音源１
ケース３：
分離システム１：チャンネル１＝音源２、チャンネル２＝音源１
分離システム２：チャンネル１＝音源１、チャンネル２＝音源２
ケース４：
分離システム１：チャンネル１＝音源２、チャンネル２＝音源１
分離システム２：チャンネル１＝音源２、チャンネル２＝音源１
なお、以降では、分離システムの間で、同一のチャンネルに同一の音源が出力されている場合（ケース１・ケース４）を「チャンネル同士の対応が取れている」と呼び、そうではない場合（ケース２・ケース３）を「チャンネル同士の対応が取れていない」と呼ぶ。
【００１２】
ここで、チャンネルの対応が取れている出力のみを生成する、すなわちケース１や４のみを発生させ、ケース２や３を防止する場合において、上述のＩＣＡを用いた信号分離システム（以下、分離システムという）が複数あり、それらの出力チャンネル同士で分離結果の対応付けを行なう場合について考える。具体例としては、次のようなバリエーションを挙げることができる。
【００１３】
各分離システムが、関連はあるが異なる種類の信号を扱う場合。例えば、一方の分離システムが体内で発生する音の分離を行い、他方の分離システムが体内で発生する電気信号の分離を行なう場合において、それぞれの分離システムの出力から、心臓に由来する音信号（心音）と心臓の電気信号（心電図）とを対応付ける場合。
【００１４】
異なる条件で観測された信号（同一種類）をそれぞれの分離システムが扱う場合。例えば、一方の分離システムが広い間隔のマイクで収録された音信号を扱い、他方の分離システムが狭い間隔のマイクで収録された信号を扱う場合において、同一の音源に由来する出力を２つの分離システムの間で対応付ける場合。他にも、一方のシステムでは横一列に配置された複数のマイクを使用し、他のシステムでは直行する方向に配置された（すなわち、縦一列に配置された）マイクを使用するような場合も同様である。
【００１５】
信号の種類も観測条件も同一だが、ＩＣＡの初期条件がそれぞれの分離システムで異なる場合。例えば、それぞれの分離システムが時間周波数領域の分離システムであり、フーリエ変換の窓長やシフト幅などがそれぞれで異なる場合、又は分離行列の初期値が異なる場合において、同一の音源に由来する出力を２つの分離システムの間で対応付ける場合。
【００１６】
しかしながら、一般に、ＩＣＡには「パーミュテーション（置換）の不定性」と呼ばれる問題があり、どのチャンネルにどの原信号が出力されるかは不定であるため、複数の分離システムを別々に動作させただけでは、対応の取れていない分離結果が出力される、すなわち前述のケース２やケース３となる可能性がある。
【００１７】
ＩＣＡに関する従来技術の中には、上記の問題領域と一部重なるものが存在する。例えば、特許文献１及び非特許文献１には、広間隔マイクを用いた分離システムと狭間隔マイクを用いた分離システムとを用意し、低い周波数は広間隔マイクのシステムの分離結果を採用し、高い周波数は狭間隔マイクの分離結果を採用することにより、信号の分離性能を向上させる方法が提案されている。しかし、この方法においては、両方の分離システムの間で、出力チャンネル同士の対応付けを行なう必要があるが、その方法については言及されていない。
【００１８】
対応付けを行なう方法の１つとして、後処理による並べ替えがある。例えば、分離システム自体は、上記のケース２やケース３を生成するが、その後に何らかの尺度に基づいて出力をチャンネル間で交換し、最終的にケース１やケース４を得る方法である。しかし、後処理で用いる尺度は、信号の種類に依存するため、上記の問題領域全てに対応した方法は存在しない。例えば、音データを扱う場合は、時間方向エンベロープの類似性や音源方向の推定角度といった、周波数ビン間のパーミュテーション問題を解消するために使用されている尺度を流用することで、ある程度はチャンネル間の対応付けができるが、他の種類の信号への応用は困難である。なお、時間方向エンベロープや音源方向を用いた周波数ビン間パーミュテーション解消については、例えば特許文献３を参照されたい。
【００１９】
また、音信号であっても、複数の分離システムでマイクの設置位置が異なる場合は、それぞれのシステムで推定された音源方向が異なるため、音源方向に基づく対応付けが困難になる可能性もある。
【００２０】
さらに、出力チャンネル数や分離システム数が増えるにつれて、対応付けの組み合わせは爆発的に増えるため、後処理で最適な対応付けを見つけるのが計算量的に困難になる。例えば、出力チャンネル数＝４、分離システム数＝３の場合、可能な組み合わせは（４！）３＝１３８２４通りにも及ぶ。従って、後処理で対応付けするよりも、対応付けされた結果を分離システムが直接出力する方が計算量的にも望ましい。
【００２１】
次に、対応付けをＩＣＡの後処理で実現するのではなく、対応付けのなされた信号を分離システムが直接出力する場合について考える。例を挙げると、音信号を分離する分離システムが２つあって、一方の分離システムで、「チャンネル１＝音声、チャンネル２＝音楽」という分離結果が得られるとともに、他方の分離システムでも同様に「チャンネル１＝音声、チャンネル２＝音楽」という分離結果が得られるような場合である。この場合、原信号は２つで、一方が音声、他方が音楽である。
【００２２】
図２１は、ＩＣＡを用いたｍ個の分離システム１００１〜１００ｍを備えた場合の信号の分離結果を示す模式図である。各分離システムは、ｎ個の独立な成分Ｙを分離結果として出力する。この図において、Ｙｉ［ｊ］は、時系列データ（又はそれに類するデータ）であり、ｉ番目の分離システムのｊ番目のチャンネルの出力全体を表す。また、Ｙｉ［ｊ］の中で時刻ｔ（又はｔ番目のサンプル）をＹｉ［ｊ］（ｔ）と表記する。Ｙｉ［ｊ］（ｔ）は、音声波形といったスカラー量でも、スペクトラムといった多次元量（多変量）でも構わないが、スカラー量は多次元量の特別な場合と考えられるため、以降では主にＹｉ［ｊ］（ｔ）が多次元量（ベクトル）である場合、特にスペクトラムである場合について考える。なお、次元数は、同一の分離システム内では一致している必要があるが、異なる分離システム間では異なる次元数でも構わない。例えば、Ｙ１［１］（ｔ）とＹ２［１］（ｔ）とは同次元である必要があるが、Ｙ１［１］（ｔ）とＹ１［２］（ｔ）とは次元数が異なっても構わない。
【００２３】
ここで、同一システム内の異なる出力チャンネル間では信号を独立にする一方で、異なるシステムの同一チャンネル間では信号の対応がついている（＝依存関係がある）ように信号を分離することを考える。例えば、Ｙ１［１］〜Ｙｎ［１］は互いに独立だが、Ｙ１［１］〜Ｙ１［ｍ］は依存関係がある。言い換えると、ｋ番目の出力チャンネル内でＹｋ［１］〜Ｙｋ［ｍ］という信号のペアを作ったときに、ペア内は依存、ペア間は独立になるように信号を分離する。
【００２４】
このようなペア単位での独立成分を得る方法の一つとして、「マルチモーダル独立成分分析」と呼ばれる手法が提案されている（例えば、非特許文献２参照。）。この「マルチモーダル独立成分分析」は、分離システムが２つ（ｍ＝２）の場合に、同一の分離システムにおいては出力間で独立性を最大にする（図２１でたとえると、Ｙ１［１］とＹ２［１］とは独立）と共に、異なる分離システム間の同一チャンネル間では独立性を最小にする（Ｙ１［１］とＹ１［２］とは独立性が最小）ように信号を分離するようなものである。
【００２５】
しかしながら、マルチモーダル独立成分分析では、例えば、図２１のようにｍ＞２の場合や、各Ｙｉ［ｊ］がベクトルである場合、次の理由により信号を分離することが困難であった。
【００２６】
先ず、「同一の分離システムにおいての独立性（最大化）」と「異なるシステム間での独立性（最小化）」という２つの尺度を統合するため、両者の重みつき和を用いているが、重みをヒューリスティックに調整しなければならなかった。
【００２７】
次に、「異なるチャンネル間での独立性」を計算するため、２次元のGram-Charlier展開を用いてエントロピーを近似しているが、Gram-Charlier展開の式は、２次元の場合で既に複雑であるため、分離システムの個数を３以上に増やしたり、Ｙｉ［ｊ］を多次元へ拡張したりするのが困難であった。
【００２８】
本発明は、このような従来の実情に鑑みて提案されたものであり、独立成分分析を用いて複数の信号が混合された混合信号を信号毎に分離する際に、分離後の後処理を行なうことなく、信号を対応付けて分離することができる信号分離装置及び方法を提供することを目的とする。
【課題を解決するための手段】
【００２９】
上述した目的を達成するために、本発明に係る信号分離装置は、複数の信号が混合された時間領域または時間周波数領域の観測信号と分離行列とから分離信号を生成する複数の分離手段と、異なる複数の分離手段から生成される複数の分離信号の間で対応する分離信号の信号組を生成する信号組生成手段と、上記信号組を引数にとる多変量確率密度関数またはスコア関数を用いて上記信号組間の独立性または独立性の尺度の変化分を演算し、上記信号組間の独立性が最大となるように上記複数の分離手段を制御する独立性演算手段とを有し、各分離手段は、上記観測信号と初期値が代入された分離行列とから分離信号を生成し、上記独立性演算手段で演算された上記信号組間の独立性に基づいて上記分離行列が略々収束するまで該分離行列を修正し、略々収束した分離行列を用いて上記分離信号を生成する。
【００３０】
また、上述した目的を達成するために、複数の信号が混合された時間領域または時間周波数領域の観測信号を、独立成分分析を用いて分離信号に分離する信号分離装置において、上記観測信号と分離行列とから分離信号を生成する分離手段と、上記分離手段で生成される複数の分離信号の間で対応する分離信号の信号組を生成する信号組生成手段と、上記信号組を引数にとる多変量確率密度関数またはスコア関数を用いて上記信号組間の独立性または独立性の尺度の変化量を演算し、上記信号組間の独立性が最大となるように上記分離手段を制御する独立性演算手段とを有し、上記分離手段は、上記観測信号と初期値が代入された分離行列とから分離信号を生成し、上記独立性演算手段で演算された上記信号組間の独立性に基づいて上記分離行列が略々収束するまで該分離行列を修正し、略々収束した分離行列を用いて上記分離信号を生成する。
【００３１】
また、上述した目的を達成するために、本発明に係る信号分離方法は、複数の信号が混合された時間領域または時間周波数領域の観測信号を、独立成分分析を用いて分離信号に分離する信号分離方法において、上記観測信号と分離行列とから分離信号を複数の分離手段で生成する工程と、異なる複数の分離手段から生成される複数の分離信号の間で対応する分離信号の信号組を生成する工程と、上記信号組を引数にとる多変量確率密度関数またはスコア関数を用いて上記信号組間の独立性または独立性の尺度の変化分を演算する工程と、上記観測信号と初期値が代入された分離行列とから分離信号を生成し、上記確率密度関数またはスコア関数を用いて演算された信号組間の独立性が最大となるように上記分離行列が略々収束するまで該分離行列を修正する工程とを有する。
【００３２】
また、上述した目的を達成するために、本発明に係る信号分離方法は、複数の信号が混合された時間領域または時間周波数領域の観測信号を、独立成分分析を用いて分離信号に分離する信号分離方法において、上記観測信号と分離行列とから分離信号を生成する工程と、上記分離信号の間で対応する分離信号の信号組を生成する工程と、上記信号組を引数にとる多変量確率密度関数またはスコア関数を用いて上記信号組間の独立性または独立性の尺度の変化分を演算する工程と、上記観測信号と初期値が代入された分離行列とから分離信号を生成し、上記確率密度関数またはスコア関数を用いて演算された信号組間の独立性が最大となるように上記分離行列が略々収束するまで該分離行列を修正する工程とを有する。
【発明の効果】
【００３３】
本発明に係る音声信号分離装置及びその方法によれば、分離信号の信号組を生成し、信号組を引数にとる多変量確率密度関数またはスコア関数を用いて上記信号組間の独立性または独立性の尺度の変化分を演算し、演算された信号組間の独立性が最大となるように分離行列が略々収束するまで該分離行列を修正し、略々収束した分離行列を用いて分離信号を生成することにより、分離後の後処理を行なうことなく、信号を対応付けて分離することができる。
【発明を実施するための最良の形態】
【００３４】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。以下の説明において使用する「ペア」とは、１より多くの信号の組を表し、２つの信号の組に限定されるものではない。
【００３５】
図１は、本発明の一実施形態における信号分離装置の構成を示すブロック図である。この信号分離装置は、独立成分分析（Independent Component Analysis；ＩＣＡ）を用いるｍ個の分離システム１１〜１ｍを有している。なお、分離システムの詳細は後述する。
【００３６】
信号統合部２は、各分離システムの出力（＝分離結果）を必要に応じていくつかの信号に統合する。
【００３７】
出力部３は、スピーカやディスプレイなどのデバイスであり、音声、音楽、波形等を出力する。例えば、時間周波数領域のＩＣＡを用いた音信号の分離システムの場合、時間周波数領域信号（＝スペクトログラム）を時間領域信号（＝波形）に変換し、スピーカ等から出力する。
【００３８】
制御部４は、各構成部を統括的に制御し、例えば、各分離システムで分離された分離信号の統合や出力を信号間の対応付けに基づいて制御する。
【００３９】
独立性計算部５は、分離システム１１〜１ｍから出力される複数の信号の間で対応する信号の信号ペア間の独立性を計算し、独立性に基づいて分離システム１１〜１ｍを制御する。なお、独立性そのものを計算する代わりに、独立性の変化量に対応した何らかの量（例えば後述のスコア関数）を計算しても構わない。
【００４０】
マッピング部６は、分離システム１１〜１ｍから出力される複数の信号の間で対応する信号の信号ペアを生成し、独立性計算部５で信号ペア間の独立性を計算する際、どの信号の間でペアを構成するかを表す情報を与える。すなわち信号間の対応付けを行なう。具体的には、マイクの間隔や位置、サンプリング周波数、短時間フーリエ変換の窓長、短時間フーリエ変換のシフト幅、分離行列の初期値、観測信号スペクトログラムの正規化方法から選択される１以上の条件に基づいてペアを構成する。なお、詳細は後述する。
【００４１】
次に、分離システム１１〜１ｍについて詳細に説明する。図２は、ｊ番目の分離システムの構成を示すブロック図である。分離システム１ｊは、複数個のセンサ１１ｊ１〜１１ｊｎと、分離行列更新部１２ｊとを有し、観測信号Ｘｋ［ｊ］（Ｘｋ［ｊ］（ｋ番目のセンサで観測された信号）から構成されるベクトルに、分離のための行列Ｗ［ｊ］をかけることで、分離結果（又は、「成分」）Ｙ１［ｊ］〜Ｙｎ［ｊ］を生成する。
【００４２】
センサ１１ｊ１〜１１ｊｎは、扱う信号の種類に応じて種々ものを用いることができ、例えば、音信号を扱う場合はマイクロフォンを用いることができる。また、センサの個数は、分離システム１ｊごとに異なってもよく、また、複数の分離システムの間でセンサを共有してもよい。センサ１１ｊ１〜１１ｊｎで観測された信号Ｘ１［ｊ］〜Ｘｎ［ｊ］は、スカラー量でも多次元量（ベクトル量）でもよい。また、Ｘｋ［ｊ］の要素数（ベクトルの次元数）は、分離システムごとに異なる値でもよい。
【００４３】
分離行列更新部１２ｊは、独立性計算部５で計算された独立性に基づいて分離行列Ｗ［ｊ］を更新する。
【００４４】
この分離システム１ｊは、分離システム間又は分離システム内でペアを構成するために、分離された成分Ｙ１［ｊ］〜Ｙｎ［ｊ］をマッピング部６へ送る。そして、独立性計算部５は、マッピング部６で構成されたペアの間の独立性（又は、独立性の変化量に対応した量）を計算する。独立性計算部５で計算された独立性を表す尺度は、分離行列更新部１２ｊへ送られ、分離行列更新部１２ｊは、新たな分離行列Ｗ［ｊ］の値を計算する。なお、独立性計算部５及びマッピング部６の詳細な処理については、後述の具体例ごとに説明する。
【００４５】
次に、信号分離処理の概略を図３に示すフローチャートを用いて説明する。先ず、センサ１１ｊ１〜１１ｊｎを用いて信号を観測する（ステップＳ１１）。音のＩＣＡの場合、マイクで音を収録する。ステップＳ１２では、前処理としてセンサ１１ｊ１〜１１ｊｎで取得した観測信号の加工を行なう。
【００４６】
ステップＳ１３からステップＳ１５までは学習ループであり、分離行列及び分離結果が収束するまで分離処理（ステップＳ１４）を繰り返し実行する。このように分離行列及び分離結果が収束するまで処理を繰り返すことを、以下「学習」と呼ぶ。
【００４７】
ステップＳ１５において学習が終了した場合、後処理として信号を再び加工する（ステップＳ１６）。後処理された信号は、分離結果として後段で処理される（ステップＳ１７）。後段の処理とは、例えば音声認識処理などである。
【００４８】
次に、ステップＳ１２における前処理について、図４に示すフローチャートを用いて説明する。ここでは、入力として音信号、分離処理として時間周波数領域のＩＣＡを用いる場合について説明する。
【００４９】
ステップＳ１２１のＡＤ変換でデジタルに変換された観測信号は、短時間フーリエ変換によって時間周波数領域の信号へ変換される（ステップＳ１２２）。このような時間周波数領域の信号をスペクトログラムと呼ぶ。この操作により、時系列のスカラー量だった観測信号が時系列のベクトル量（多変量）へと変換される。
【００５０】
次に、ステップＳ１２３において、観測信号スペクトログラムに対して必要に応じて正規化を行なう。正規化としては、例えばスペクトログラムの周波数ビンごとに、時間方向の平均が０、分散が１となるように信号を加工する手法を用いることができる。また、正規化は、分離システム毎、チャンネル毎、又は周波数ビン毎に行ってもよい。
【００５１】
正規化された観測信号に対して、必要に応じて後述するような無相関化を行なう（ステップＳ１２４）。ステップＳ１２５では、分離行列の初期値を設定する。初期値としては、単位行列でもよいが、前回の学習で求めた分離行列を用いてもよい。
【００５２】
次に、ステップＳ１４における分離処理について、図５に示すフローチャートを用いて説明する。この分離処理の概略は、「ペア間の独立性が増大する方向に分離行列を更新する」という処理を、分離行列が収束するまで繰り返すことである。
【００５３】
先ず、ペア間の独立性を計算するため、分離システム間、又は分離システム内の複数チャンネル間の成分でペアを構成する（ステップＳ１４１）。次に、ペアの間の独立性を計算し（ステップＳ１４２）、その独立性が増大するように、分離行列の修正値であるΔＷを計算する（ステップＳ１４３）。最後に、修正値に基づいて分離行列を更新する（ステップＳ１４４）。
【００５４】
なお、実際のシステムにおいては、ステップＳ１４２〜ステップＳ１４４をまとめて一つの式で表現してもよく、後述する式（１５）及び式（１７）がそれに該当する。この場合、ステップＳ１４２のペア間の独立性の計算に該当するのは、式（１７）に出現するスコア関数の値を計算することである。また、ステップＳ１４１のペアを構成する処理に該当するのは、「それぞれのスコア関数がどの成分を引数として取るか」という対応付けであり、マッピング部６で行われる。
【００５５】
次に、ステップＳ１６における後処理について、図６に示すフローチャートを用いて説明する。後処理の概略は、前処理で時間周波数領域へ変換された信号（スペクトログラム）を、時間領域の信号（波形）へ戻すことであり、従来の時間周波数領域ＩＣＡの後処理と同様である。
【００５６】
ステップＳ１６１のリスケーリングは、周波数ビンの間のスケールを調整する処理である。その後、ステップＳ１６２のフーリエ逆変換によって、分離結果を波形へ戻す。これらの処理は、ステップＳ１６の後段の処理の内容によっては省略可能である。
【００５７】
次に、上述した信号分離処理について、信号例として音声のスペクトルを用いて詳細に説明する。
【００５８】
先ず、マイクロフォンで観測された信号に対して短時間フーリエ変換（STFT）をかけ、フレーム毎にスペクトルを求める。サンプリング周波数をＦｓ、ＳＴＦＴの窓幅をＬ、Ｍ＝Ｌ／２＋１とすると、ＳＴＦＴで求めたスペクトルは、０からＦｓ／２までの周波数をＭ等分した周波数（周波数ビン）に対応する成分である。これらをＸｋ［ｊ］(１，ｔ)，・・・，Ｘｋ［ｊ］（Ｍ，ｔ）とおき、さらにそれらを縦に並べたベクトルをＸｋ［ｊ］（ｔ） とする。
【００５９】
次に、観測信号から分離結果を生成するための行列について説明する。この行列の表現方法は、特定の周波数ビンに対応したものから全分離システムの信号をまとめて分離するものまで、いくつかの段階が可能である。
【００６０】
分離システム１ｊにおいて、ω番目の周波数ビンに対応した分離結果Ｙ１［ｊ］（ω，ｔ），・・・，Ｙｎ［ｊ］(ω，ｔ)は、ω番目の周波数ビンに対応した観測信号Ｘ１［ｊ］（ω，ｔ），・・・，Ｘｎ［ｊ］（ω，ｔ）に分離行列Ｗ［ｊ］（ω）をかけることで生成することができる。これを下記式（３）で表す。
【００６１】
【数２】
2008092363.tif 000004
【００６２】
次に、式（３）を全ての周波数ビン（ω＝１〜Ｍ）について展開し、要素を並び替えると、下記式（４）を得る。これは、下記式（５）及び下記式（６）と等価であって、一つの分離システムにおいて、そのシステムに入力される観測信号を一度に分離する式である。
【００６３】
【数３】
2008092363.tif 000005
【００６４】
次に、全ての分離システム１１〜１ｍの観測信号を同時に分離する式を考える。そのためには、上記式（４）を全てのｊ（ｊ＝１〜ｍ）について展開し、要素を並び替えればよく、結果として下記式（７）を得る。式（７）において、分離結果，分離行列，観測信号をそれぞれＹ（ｔ），Ｗ，Ｘ（ｔ）とおくと、下記式（８）に示すようにＹ（ｔ）＝ＷＸ（ｔ）と書き表すことができる。すなわち、複数の分離システム１１〜１ｍを有する装置であっても、全ての観測信号の同時分離を一つの式で書き表すことができる。
【００６５】
【数４】
2008092363.tif 000006
【００６６】
このように全分離システム１１〜１ｍの信号をまとめて分離する行列を用いることにより、後述する「ペア単位の独立性」を導入することができる。
【００６７】
次に、「ペア単位の独立性」を表す尺度の一つとして、多変量（多次元）の確率密度関数（Probability Density Function: PDF）から計算されるKullback-Leiblar（ＫＬ）情報量について説明する。
【００６８】
Kullback-Leiblar情報量を導入するための準備として、２種類のＰＤＦを導入する。一つは、全ての分離システムの分離結果（出力）を引数としてとる関数、すなわち、ある分離結果の同時確率を与える関数である。これを下記式（９）に示す。以下では、式（９）の左端のような全引数を縦ベクトルで表記したものと、中央のような全引数を横に並べたものとを、等価なものとして扱う。なお、式（９）のＰＤＦは、式変形の途中で消えてしまうため、具体的な式を当てはめる必要はない。
【００６９】
もう一つのＰＤＦは、ｋ番目のペアの要素を引数としてとる関数、すなわち、あるペアが発生する確率を与える関数である。これを下記式（１０）に示す。関数の具体例については後述する。
【００７０】
【数５】
2008092363.tif 000007
【００７１】
ここで、上記式（１０）を全てのｋ（ｋ＝１〜ｎ）について乗算した式を考える（下記式（１１）の右辺）。独立性の定義によれば、式（１１）の左辺（＝式（９））と右辺とが等しくなるのは、ペア単位の分離結果Ｙ１〜Ｙｎが互いに独立な場合のみである。従って、式（１１）の両辺に「距離」のような尺度を用いると、その尺度はＹ１〜Ｙｎが独立の場合に最小（理想的には０）となる。
【００７２】
【数６】
2008092363.tif 000008
【００７３】
ＰＤＦ間の「距離」を表す尺度として、ＫＬ情報量がある。上記式（１１）の両辺のＰＤＦ間の距離、すなわち、ＫＬ情報量は、Ｙの同時エントロピーＨ（Ｙ）と、Ｙ１〜ＹｎのそれぞれのエントロピーＨ（Ｙ１）〜Ｈ（Ｙｎ）とを用いて、下記式（１２）のように定義される。式（１２）は、エントロピーの定義とＹ＝ＷＸの関係（上記式（５））とを用いて、下記式（１３）のように変形される。ここで、式（１３）に示すＰ(Ｙｋ（ｔ）)は、上記式（１０）のＰＤＦである。
【００７４】
【数７】
2008092363.tif 000009
【００７５】
ペア単位の分離結果Ｙ１〜Ｙｎをお互いに独立にするためには、式（１３）で計算されるＫＬ情報量Ｉ（Ｙ）を最小にする分離行列Ｗを、何らかのアルゴリズムによって求めればよい。以下では、アルゴリズムの一例として自然勾配法による式を導出する。
【００７６】
Ｉ（Ｙ）を最小にするＷを自然勾配法で求めるには、式（１４）〜式（１６）をＷが収束するまで繰り返せばよい（学習）。ただし、式（１４）は、Ｙ（ｔ）＝ＷＸ（ｔ）を全てのフレームについて行なうことを意味する。また、式（１６）のηは、学習率と呼び、小さな正の実数である（例えば、0.1）。ηは、定数でもよいが、学習の度合いに応じて動的に変更してもよい。例えば、学習の初期は、ηを小さい値（例えば、0.05程度）にして、Ｗのオーバーフローを防ぎ、学習が収束してきたらηを大きい値（例えば、0.5）にして収束を速めるといった処理を行ってもよい。
【００７７】
なお、式（１５）の偏微分が具体的にどのような式になるかは、信号の種類やペアの構成方法によって異なる。
【００７８】
【数８】
2008092363.tif 000010
【００７９】
以下、上述した信号分離処理方法の適用例について具体的に説明する。
【００８０】
（具体例１）  
具体例１として、異なるマイク間隔の協調的分離について説明する。例えば、図７に示すような、広い間隔のマイク（ｍｉｃ１，４）と、狭い間隔のマイク（ｍｉｃ２，３）とを備える場合が考えられる。
【００８１】
具体的には、広間隔マイクで観測された信号から得られた観測信号スペクトログラムをＸ１[１]，Ｘ２［１］、その分離結果をＹ１［１］，Ｙ２［１］、狭間隔マイクについても同様にＸ１[２]，Ｘ２［２］、Ｙ１［２］，Ｙ２［２］とし、Ｙ１［１］とＹ１［２］との間、及びＹ２［１］とＹ２［２］との間で対応付けのとれた分離結果を生成するものである。なお、図７に示す分離システムは、４本のマイクを装備しているが、これに限られるものではなく、図８に示すように、同じ位置にあるマイクを複数の分離システムの間で共有しても構わない。この図において、例えば枠で囲まれたＸ１[１]とＸ１［２］とは、同一のマイクで観測された信号を２系統の観測信号として用いることを表わしている。
【００８２】
分離システムｊのω番目の周波数ビンに対応した分離行列をＷ［ｊ］(ω）、その増分をΔＷ［ｊ］(ω）とおくと、ΔＷ［ｊ］(ω）は、下記式（１７）で計算される。この式において、φは、ペアＹｋのＰＤＦを対数微分したものを要素として持つ関数であり、スコア関数や活性化関数と呼ばれる。
【００８３】
【数９】
2008092363.tif 000011
【００８４】
また、ＰＤＦの具体例として、下記式（１８）に示す球状分布と呼ばれる一種の多変量（多次元）ＰＤＦを適用することができる。これは、任意のスカラー関数ｆ（ｘ）に、ペアＹｋ（ｔ）のＬ−Ｎノルム（式（１９））を代入したものとして表現される。
【００８５】
ここで、Ｎは任意の正の数であり、例えばＮ＝２を用いる。係数ｈは、確率の総和を１に調整するための項であるが、スコア関数を導出する際に消えてしまうため、具体的な値を求める必要はない。また、Ｙｋ（ｔ）のノルムの代わりに、要素毎に重みをつけた式（２０）を用いてもよい。スカラー関数ｆ（ｘ）としては、任意の非負関数が使用可能だが、例えば式（２１）や式（２２）を用いる。これらの式において、Ｋ及びｌは、任意の正の値である。
【００８６】
【数１０】
2008092363.tif 000012
【００８７】
また、ＰＤＦとしては他にも、チャンネルごとのノルムの総和をｆ（ｘ）に代入したり（式（２３）参照。）、同じくノルムの積をｆ（ｘ）に代入しても（式（２４）参照。）構わない。また、球状分布以外の多変量ＰＤＦを用いても構わない。
【００８８】
【数１１】
2008092363.tif 000013
【００８９】
スコア関数の具体例を下記に示す。式（２５）は、式（２０）のＰＤＦと式（２１）のｆ（ｘ）とから導出したスコア関数であり、式（２６）は、式（２０）のＰＤＦと式（２２）とから導出したスコア関数である。これらの式において、Ｋｋ［ｊ］(ω)は、式（２１）又は式（２２）のＫに対応しており、ペア毎、チャンネル毎、周波数ビン毎に異なる値を用いてもよい。これにより、収束時のＹやＷのスケールを制御することができる。
【００９０】
【数１２】
2008092363.tif 000014
【００９１】
このようにスコア関数の引数に、周波数ビン間だけでなく、分離システム間、システム内の複数チャンネル間等の、対応をつけたい（ペアにしたい）信号の全てを代入する。これにより、同一のスコア関数に代入されている信号同士はペアを組んだ方が分離結果のKL情報量が低くなる、すなわち信号全体での独立性が高くなるため、チャンネル同士で対応付けられた分離結果が生成されるようになる。
【００９２】
続いて、独立性計算部５及びマッピング部６の処理について図９を用いて説明する。
【００９３】
マッピング部６は、上述のようなスコア関数を表現するために、成分（分離結果）とスコア関数の引数との対応関係をとる。独立性計算部５は、例えば、数式（１７）のような勾配法に基づく更新式を用いる場合、スコア関数の計算を行なう。
【００９４】
ここで、スコア関数は、分離システム毎、チャンネル毎、周波数ビン毎に異なるものを用意する。すなわち、システム全体での分離結果をＹ（ｔ）というベクトルで表わすと、Ｙ（ｔ）の要素数とスコア関数の個数とは同一となる。
【００９５】
つまり、スコア関数は、同一の引数をとるもの同士でグルーピングされる。例えば、グループ１のスコア関数は、それぞれ同一の引数をとることを表す。なお、φ１１[１]〜φ１Ｍ[１]は、分離システム１の１番目のチャンネルに対応したスコア関数を表し、φ１１[１]は、１番目の周波数ビンに対応した単一のスコア関数を表している。
【００９６】
マッピング部６は、各分離システムから対応する成分を取り出し、ペアを構成する。例えば、ペア１は、それぞれの分離システムの１番目のチャンネルから構成されるペアである。同様に、ペアｋは、それぞれの分離システムのｋ番目のチャンネルから構成されるペアである。
【００９７】
マッピング部６で構成されたペアは、独立性計算部５にて同一の引数をとるスコア関数に供給される。例えば、ペア１は、グループ１のスコア関数に供給され、同様に、ペアｋは、グループｋに供給される。
【００９８】
なお、ペアを構成するという処理は、必ずしもデータのコピーを伴う必要はなく、ポインタ等による参照でも構わない。例えば、グループ１がペア１を参照し、ペア１の成分Ｙ１[１]が分離システム１の成分Ｙ１[１]を参照するという方式でも構わない。
【００９９】
（具体例２）  
次に、異なる音響の分析について説明する。例えば、分離システム間でマイクペアは共有しているが、分離システム間で音響分析が異なる場合が考えられる。ここでいう音響分析とは、サンプリングや離散フーリエ変換（DFT）などのことである。例えば、２つの分離システムで２本のマイクを共有していて、一方は１６ｋＨｚサンプリングで、他方は４８kHz サンプリングである場合がこれに該当する。他にも、同一サンプリング周波数でも、両者でDFTの窓長が異なる場合（例えば、５１２と２０４８）や、窓長が同じでもシフト幅が異なる場合（例えば、１２８と２５６）や、窓の種類が異なる場合（例えば、ハニング窓と平方根ハニング窓）なども、異なる音響分析に該当する。
【０１００】
このような場合についても、具体例１と同一の式を用いることで、対応付けのとれた分離結果を生成することができる。ただし、音響分析が異なると、フレーム間隔も異なる可能性がある。例えば、１６ｋＨｚでサンプリングされた信号に対して、シフト幅１２８のＤＦＴを適用すると、１フレームあたりの長さは８ｍｓであり、シフト幅１６０のＤＦＴを適用すると、１フレームあたりの長さは１０ｍｓである。このような場合、式（１０）のＹｋ（ｔ）のような列ベクトルを直接構成することはできないが、例えば、線形補間等の何らかの補間方法を用いることにより、両者のフレーム間隔を統一することができる。また、必要に応じてフレームデータを重複させることで、フレーム間隔を調整することができる。例えば、図１０に示すように、Ｙ１[１]が８ｍｓ間隔のフレーム、Ｙ１［２］が１０ｍｓ間隔のフレームである場合、Ｙ１［２］のデータを４フレームに１回の割合で重複させれば、Ｙ１[１]とＹ１［２］との間隔を合わせることができる。または逆に、Ｙ１[１] を５フレームに１回の割合で間引いてもよい。
【０１０１】
以上、具体例１及び具体例２では、異なるマイク間隔と異なる音響分析とを別の例として紹介したが、もちろん、具体例１と具体例２との組み合わせも可能である。例えば、広いマイク間隔の分離システムと狭いマイク間隔の分離システムとの間で異なる音響分析を用いる場合でも、具体例２と同一の方法で、対応付けの取れた分離結果を生成することができる。
【０１０２】
（具体例３）  
次に、本発明の簡易的な実現方法について説明する。これは、特許文献２のようなチャンネルごとの分離を行なうシステムを流用して「ペア単位の分離」を実現する方法、言い換えると、図２１において分離システムが１つしか存在しない場合に「ペア単位の分離」を実現する方法についてのものである。
【０１０３】
図１１は、簡易的に信号分離を実現するための処理を示す模式図である。ここで、観測信号Ｘ１［１］〜Ｘｎ［ｍ］のｎは、分離システムを表し、ｍは信号のペアを表す。先ず、観測信号に対し、並べ替えを行なう。すなわち、この図では横方向に並んでいる観測信号のペアＸｋ[１]〜Ｘｋ［ｍ］を縦方向に並べ替え、それをＸ'ｋとする。次に、Ｘ'ｋを一枚のスペクトログラムとみなして、Ｘ'１〜Ｘ'ｎをチャンネル毎に独立な成分Ｙ'１〜Ｙ'ｎに分離する。Ｘ'１〜Ｘ'ｎの分離においては、分離システムは１つだけあればよい。この分離結果Ｙ'１〜Ｙ'ｎも、Ｘ'１〜Ｘ'ｎと同様の並び方をしている。分離結果に対し、観測信号に対する並べ替えと逆の並べ替えを行なうと、所望の分離結果が得られる。
【０１０４】
同様に、図７に示す具体例のように、周波数ビン数＝Ｍ、チャンネル数＝２の分離システムが２系等ある場合は、例えば、周波数ビン数＝２Ｍ、チャンネル数＝２とみなすことにより、簡易的に信号分離を実現することができる。
【０１０５】
（具体例４）  
また、チャンネル数は分離システムの間で異なっていても構わない。図１２は、３入力、３出力の分離システム１及び２入力、２出力の分離システム２における信号の対応付けの例を示す図である。この構成例において、１番目と２番目のチャンネルについては、それぞれペア内で対応付ける。分離システム２については、ｎ＝２、ｍ＝２、ｊ＝２として式（１７）〜式（２６）を適用する。そして、分離システム１については、３番目のチャンネルに対応したスコア関数に変更を加える。
【０１０６】
分離システム１で使用するスコア関数は、下記式（２７）のように表される。ここで、３チャンネル目だけスコア関数の引数が異なる理由は、対応する成分が分離システム２には存在しないからである。従って、３チャンネル目は、式（２５）及び式（２６）とは異なるスコア関数を使用し、例えば、式（２８）で導出される式（２９）を用いる。この式において、シグマ記号についているｊ≠２は、２番目以外の分離システムについての総和を意味する。図１２の例では、分離システム数＝２なので、ｊ≠２は、ｊ＝１と同じ意味となる。
【０１０７】
【数１３】
2008092363.tif 000015
【０１０８】
なお、上記式（２７）において、２チャンネル目のスコア関数についても式（２９）を用いる（式（２７）の右辺において、上から２番目の要素の代わりに、式（２９）でｋ＝２とした式を用いる）と、２番目のペアの対応付けがとれなくなる。すなわち、Ｙ２［２］に対応する成分が Ｙ２［１］とＹ３［１］とのどちらに現われるかが不定となる。言い換えると、チャンネル毎にスコア関数の引数の個数を異ならせると、チャンネル毎に対応付けの有無を制御することができる。
【０１０９】
すなわち、対応付けをとりたい成分については、それらをスコア関数の引数に含め、対応付ける必要がない、又は対応付けをとることができない成分については、スコア関数の引数から除外することにより、チャンネル毎の対応付けを制御することができる。
【０１１０】
（具体例５）  
また、分離システムの中には、出力を固定したものが含まれていてもよい。適用の一例として、マイクとスピーカとを装備したシステムにおいて、マイクで収録した音からスピーカ由来の音を除去するエコーキャンセルが挙げられる。以下では、固定出力を持つシステムも「分離システム」と表現する。
【０１１１】
図１３は、信号源が２つあり、一方は音声であり、他方はスピーカから出る音（音楽）である場合の信号分離を説明するための模式図である。
【０１１２】
ここでは、任意の数の音源からの混合音を、音源数以上の複数のマイクで収録する。また、スピーカから出る音は、ライン出力端子などを通じて分離システムの一方に直接入力される。直接入力される信号をＸ１[２]とする。なお、スピーカが複数ある場合、それらからは他の音源とは混ざっていない信号が直接入力されているとし、それらをＸ２[２]，Ｘ３[２],・・・とする。
【０１１３】
また、２種類の分離システムを用意する。一方は、マイクで観測された信号を独立な成分に分離する分離システムであり、他方は、直接入力の信号Ｘ１[２]をそのまま出力する分離システムである。これは、具体例４において、２番目の分離システムの分離行列を単位行列に固定した特別な場合とみなすことができる。従って、具体例４と同様の式を用いることができる。
【０１１４】
すなわち、分離システム１については、具体例４と同様に式（１７）、式（２７）〜式（２９）を用いて分離行列を更新し、分離システム２については、分離行列の更新は行なわず、Ｙｋ[２]＝Ｘｋ[２]とする。
【０１１５】
これにより、分離システム１の各チャンネルには、分離システム２の各チャンネルに対応した信号が、まるで引き寄せられるように分離される。そして、分離システム１の残りのチャンネルには、スピーカ由来の音がキャンセルされた音が出力される。図１３の例では、スピーカ由来の音に対応した成分がＹ１[１]に出力され、人の音声に対応した成分がＹ２[１]に出力される。
【０１１６】
（具体例６）  
また、上述の具体例は、分離システム間で信号が混合しない（＝ペア内の信号は混合しない）と仮定していたが、ペア内で信号が混合する場合にも本発明は適用可能である。
【０１１７】
図１４は、３つの音源を３つのマイクで収録し、それらを３つの成分に分離する処理を説明するための模式図である。ここで、音源のうち２つは、相関性の高い信号を発生していると仮定する。例えば、２台のラジオから同一の番組が放送されている場合や、ステレオスピーカーの左右チャンネルである場合などが該当する。従って、３つのマイクで収録した音を３つの成分に分離する際、２つの成分間には依存関係があって、例えば、Ｙ１[１]と、Ｙ２[１]とのペアには依存関係があり、そのペアとＹ３[１]単独とが独立となるように分離する。
【０１１８】
Ｙ１［１］及びＹ２[１]のペアと、Ｙ３[１]単独とが独立であることは、ＰＤＦを用いて式（３０）のように書き表すことができる。従って、式（３０）の両辺の距離をＫＬ情報量で表し、それを最小化するようなアルゴリズムで分離行列Ｗを更新していけば、上述のような分離結果を求めることができる。
【０１１９】
【数１４】
2008092363.tif 000016
【０１２０】
なお、分離行列の更新は、式（１７）で行なえばよい。ただし、スコア関数は、式（３１）を用いる。すなわち、依存関係を持たせたい成分をスコア関数の引数に含める。
【０１２１】
このようなスコア関数を表現するため、マッピング部６及び独立計算部５は、図９に示す処理とは異なる処理を行なう。図１５は、独立性計算部５及びマッピング部６の処理を説明するための模式図である。
【０１２２】
独立性計算部５は、同一の引数をとるスコア関数をグルーピングする。ここでは、チャンネル１とチャンネル２とでペアを構成しているため、これらのチャンネルに対応したスコア関数で一つのグループ１が構成され、チャンネル３に対応したスコア関数だけでもう一つのグループ２が構成される。
【０１２３】
マッピング部６は、チャンネル１とチャンネル２とでペア１を構成し、それを独立性計算部５のグループ１中のスコア関数に供給する。また、チャンネル３だけでもう一つのペアを構成し、それを独立性計算部５のグループ２のスコア関数に供給する。
【０１２４】
（具体例７）  
また、従来法のＩＣＡにおいて、分離行列Ｗが正規直交行列であるという制約の下で高速に収束するアルゴリズムが知られているが、それらのアルゴリズムを適用することも可能である。なお、以下の説明では、正規直交制約に基づくアルゴリズムの例として、正規直交制約付き勾配法について説明するが、その他のニュートン法や不動点法などのアルゴリズムも適用可能である。
【０１２５】
正規直交行列とは、下記式（３２）を満たす行列のことである。Ｗのスパース性を考慮すると、この式は、分離システム毎、且つ周波数ビン毎の分離行列が正規直交であることを表す式（３３）と同値である。
【０１２６】
【数１５】
2008092363.tif 000017
【０１２７】
正規直交制約を分離行列に適用するためには、観測信号を事前に無相関化しておく必要がある。無相関化は、白色化（whitening）や球状化（sphering）とも呼ばれ、ここではチャンネル間の相関係数を０にする処理である。式（３２）が式（３３）と同値であることから、無相関化は、分離システム毎、且つ周波数ビン毎に行なえばよい。つまり、「分離システム全体での同時無相関化」といった処理は不要である。無相関化の過程について下記式を用いて説明する。
【０１２８】
【数１６】
2008092363.tif 000018
【０１２９】
Σ［ｊ］(ω)は、分離システムｊ、周波数ビン＝ωにおける観測信号の分散共分散行列である（式（３４））。また、Σ［ｊ］(ω)は、固有値λｋ［ｊ］(ω)と固有ベクトルpk［ｊ］(ω)とを用いて式（３５）のように表わすことができる。固有値λｋ［ｊ］(ω)からなる対角行列をΛ［ｊ］(ω)（式（３８））、固有ベクトルからなる行列をＰ［ｊ］(ω)（式（３７））とし、Ｘ［ｊ］(ω,t)に対して式（３６）による変換をかけると、結果であるＸ'［ｊ］(ω,t)の各成分は、互いに無相関となる。すなわち、Ｅｔ[Ｘ'［ｊ］(ω,t) Ｘ'［ｊ］(ω,t)Ｈ]＝Ｉを満たす。
【０１３０】
また、学習は、式（１７）の代わりに式（４０）で行なう。この式は、式（１７）に対して正規直交制約を適用して得られるものである。この式のスコア関数φについては、式（１７）で用いたものと同一である。
【０１３１】
【数１７】
2008092363.tif 000019
【０１３２】
また、ＩＣＡのアルゴリズムの中には、無相関化と分離との両方をΔＷの式に組み込んだものも存在し、これは、「独立性による等分散適応的分離」(Equivariant Adaptive Separation via Independence: EASI)と呼ばれている。式（４０）に対してＥＡＳＩを適用すると式（４１）を得る。この式（４１）を用いれば、Ｉ−Ｙ［ｊ］(ω,t) Ｙ^［ｊ］(ω,t)Ｈという項が無相関化を行なうため、事前の無相関化は不要である。
【０１３３】
なお、ＥＡＳＩについては、文献（『詳解  独立成分分析――信号解析の新しい世界――』Aapo Hyvarinen 他，東京電機大学出版局，pp.269272，12.5 独立性による等分散適応的分離）を参考されたい。
【０１３４】
（具体例８）  
マイク間隔が異なる分離システムを複数用い、後で特定の周波数領域を抽出・合成する場合、使用されない周波数ビンが存在する。この使用されない周波数ビンは、あらかじめ Ｘｋ［ｊ］ から除外しておくことにより、ＩＣＡの計算量を削減することができる。
【０１３５】
（具体例９）  
具体例２では、フレーム間隔の異なるシステム同士を統合する方法として、図１０に示すようにフレーム間隔の荒い側（Ｙｋ[２]）を間隔の細かい側（Ｙｋ[１]）にあわせる方法を説明したが、他の例として、時刻の一致するフレームのみを用いて学習するようにしてもよい。
【０１３６】
例えば、図１０において、最初のフレームの次は、４０ｍｓ後に再びフレーム時刻が一致している。すなわち、Ｙｋ[１]側は、５フレーム毎（１,６,１１,１６,・・・）、Ｙｋ[２]側は、４フレーム毎（１,５,９,１３,・・・）に時刻が一致するため、時刻が一致するフレームのみを観測信号から抽出し、そのデータを用いて全体の分離行列を学習する。この段階の分離行列は、システム間の出力の対応はとれているものの、間引いたデータで学習されたため、全データで学習した場合と比べて精度は落ちることから、この分離行列を初期値として、それぞれの分離システムにおいて一層の学習を行なう。その際は、全てのフレームを用いて学習を行なう。
【０１３７】
（具体例１０）  
次に、分離システム間でマイクの設置位置が異なる場合の協調的分離について、図１６を用いて説明する。
【０１３８】
協調的分離の説明に入る前に、ＩＣＡとビームフォーミングとの関係について説明する。時間周波数領域のＩＣＡによって求められた分離行列は、マイクロフォンアレイを用いたビームフォーミングの各種方法のうち、死角形成型と等価であることが知られている。両者の等価性については、例えば以下の文献を参照されたい。
【０１３９】
荒木 章子, 牧野 昭二, 向井 良, 猿渡 洋, “周波数領域ブラインド音源分離と周波数領域適応ビームフォーマの関係について” 日本音響学会2001年秋秋季研究発表会  講演論文集 2-6-12, pp. 613-614  
【０１４０】
従って、ＩＣＡの分離結果は、次のように解釈することができる。例えば、チャンネルｋにｉ番目の音源が出力されている場合というのは、マイクロフォンアレイによってｉ番目以外の音源の方向に死角（感度の低い方向）が形成され、ｉ番目以外の音源の音が抑圧されることで、結果としてｉ番目の音源からの音のみが残っていると考えられる。
【０１４１】
形成される死角の鋭さはマイクの設置位置に影響を受けるため、ＩＣＡの分離性能もマイクの配置の影響を受ける。例えば、直線状に配置されたマイクを用いて死角を形成する場合、マイク列と直交する方向に対しては幅の狭い（鋭い）死角を形成できるが、マイク列の延長線上に対しては幅の広い死角しか形成できない。従って、直線状に配置されたマイクを用いるＩＣＡでは、マイク列と直交する方向に位置する複数の音源同士を高い精度で分離することは容易だが、マイク列の延長線上に位置する複数の音源同士を高い精度で分離するのは難しい。
【０１４２】
ここで、図１６に示すマイク配置について説明する。この図では分離システムが２つあり、一方（分離システム１）は横方向に配置されたマイクを使用し、もう一方（分離システム２）は縦方向に配置されたマイクを使用するものとする。（この図では、中央のマイクは両システムで共有されているが、別々に用意しても構わない。また、各システムは５個のマイクを有しているが、音源数以上ならば何個でも構わない。）また、４つの音源が存在し、それらは同時に鳴っているとする。
【０１４３】
分離システム１で使用するマイクにとって、音源１と音源２はマイク列とほぼ直交する方向に位置しているため、それぞれの音源からの音は、鋭い死角によってピンポイント的にマスクすることができる。従って、分離システム１は音源１と音源２とを高い精度で分離することができる。一方、音源３と音源４は、マイク列のほぼ延長線上に位置しているため、広い死角で両音源をまとめてマスクすることは容易だが、一方の音源のみをマスクしてもう一方を残すといったことは難しい。以上をまとめると、分離システム１の分離結果は以下のような特徴をもつ。
【０１４４】
音源１が主に出力されているチャンネル：
高い精度で分離されている。音源２は鋭い死角でマスクされ、音源３と４は広い死角でまとめてマスクされるため。
【０１４５】
音源２が主に出力されているチャンネル：
高い精度で分離されている。音源１は鋭い死角でマスクされ、音源３と４は広い死角でまとめてマスクされるため。
【０１４６】
音源３が主に出力されているチャンネル：
音源４が残っているように聞こえる。音源１と２は鋭い死角でそれぞれマスクされるのに対し、音源４は広い死角でマスクされ、音源３もある程度は抑圧されるため。
【０１４７】
音源４が主に出力されているチャンネル：
音源３が残っているように聞こえる。音源１と２は鋭い死角でそれぞれマスクされるのに対し、音源３は広い死角でマスクされ、音源４もある程度は抑圧されるため。
【０１４８】
一方、分離システム２が使用するマイクは、分離システム１のマイクとは直交しているため、音源とマイク列との位置関係が分離システム１とは逆になる。従って、分離システム２の分離結果は以下のような特徴をもつ。
【０１４９】
音源１が主に出力されているチャンネル：
音源２が残っているように聞こえる。
【０１５０】
音源２が主に出力されているチャンネル：
音源１が残っているように聞こえる。
【０１５１】
音源３が主に出力されているチャンネル：
高い精度で分離される。
【０１５２】
音源４が主に出力されているチャンネル：
高い精度で分離される。
【０１５３】
以上をまとめると、マイク列と音源とが図１６の関係にある場合、音源１と音源２に対応した分離結果については分離システム１のものを採用したほうが良く、音源３と音源４については分離システム２のものを採用した方が良い。このように、マイク配置の異なる分離システムを複数用意することで、分離結果のうち、それぞれのマイク配置が得意とする方向の音源に対応したチャンネルのみを採用することが可能となる。
【０１５４】
このような、分離システム間でのチャンネルの取捨選択を行なうためには、その前に、分離システム間でチャンネルの対応付けができている必要がある。具体例１と同様の方法や式を用いると、分離システム間でチャンネルの対応付けがとられた出力を得ることができる。例えば、分離システムの１番目のチャンネルに音源４が出力されている場合、分離システム２の１番目のチャンネルにも音源４が出力される。
【０１５５】
以上説明したように、対応を付けたい出力チャンネルで同一の引数をとるスコア関数を用いることにより、複数の分離システムの間で、出力チャンネル同士の対応付けのとれた分離結果を生成することができる。さらに、「ペア内の信号は依存関係があるが、ペア間の信号は互いに独立」という分離結果を生成することができる。
【０１５６】
図１７は、狭間隔マイクと広間隔マイクとの協調的分離の具体例を説明するための模式図である。図１７（Ａ）に示すように狭間隔のマイク１〜３は、７．５ｃｍの等間隔で設置されている。広間隔のマイク１，３，４は、１５ｃｍの間隔及び３０ｃｍの間隔で設置されている。すなわち、チャンネル数ｎ＝３、分離システム数ｍ＝２である。両者で共有しているマイクがあるため、システム全体でのマイク本数は６ではなく、４となる。
【０１５７】
また、図１７（Ｂ）に示すようにマイク群中央から１ｍ離れた場所にスピーカを３個置き、音源１は右前方４５度方向からの音楽、音源２は正面からの音声、音源３は左真横からの音楽とした。
【０１５８】
これらの音を４個のマイクで収録し、１６ｋＨｚでサンプリングした。その信号に対して、窓長５１２、シフト幅１２８のＦＦＴをかけ、観測信号のスペクトログラムを生成した（６枚）。すなわち、Ｍ＝(５１２／２)＋１＝２５７である。なお、後述するＳＩＲ（Signal-to-Interference Ratio）という比率を計算するため、原信号はそれぞれ単独で鳴らしたものを複数マイクで観測し、計算機により波形を混合した。
【０１５９】
こうして生成した観測信号スペクトログラムに対して、式（１７）及び式（２５）を用いて分離を行った。ただし、式（２５）において係数ａはすべて１、Ｋも共通でｓｑｒｔ（Ｍ）≒１６．０３、Ｎ＝２である。また、反復回数は、３００回である。
【０１６０】
図１８及び図１９は、それぞれ狭間隔マイク及び広間隔マイクから得られた分離結果である。図１８（Ａ）及び図１９（Ａ）に示すスペクトログラムにより、両者間で対応する信号が同じチャンネルに出力されていることが分かる。すなわち、Ｙ１［１］とＹ１［２］は音楽の音源３に対応した成分、Ｙ２［１］とＹ２［２］は音声の音源２に対応した成分、Ｙ３［１］とＹ３［２］は音楽の音源１に対応した成分である。なお、従来のように2つの分離システム（狭間隔マイクを持つシステムと広間隔マイクを持つシステム）を別々に動作させた場合は、両システム間でチャンネルの対応が取れた分離結果が出力される保証はない。そのため、このようにシステム間で対応の取れた分離結果が生成されることは、本発明の利点である。
【０１６１】
なお、図１８及び図１９の右側は、周波数ビンごとのＳＩＲである。ＳＩＲとは、３つの原信号がどれくらいのパワー比で含まれているかを表わす尺度であり、この図での単位はデシベルである。このグラフのある周波数ビンにおいて、一つの原信号だけ比率が高ければ（右方向に突出していれば）、その周波数ビンでは分離が成功していることを意味し、逆に、３つとも同じくらいの比率で含まれていれば、分離が失敗していることを意味する。図１８（Ｂ）のグラフと図１９（Ｂ）のグラフとを比較すると、高い精度で分離されている周波数ビンが両者で異なっていることが分かる。どの周波数ビンで分離に成功しやすい（しにくい）かは、マイクの間隔にある程度依存する。従って、それぞれの分離システムの結果（スペクトログラム）から、高い精度で分離されている周波数ビンの成分を抽出し、次に両者を混合することで、一層高い精度の分離結果を生成することも可能である。
【０１６２】
ではここで、本発明と、特開２００６−２３８４０９と、特開２００６−２３８４０９以前の時間周波数領域ＩＣＡ（以下では「従来の時間周波数領域のＩＣＡ」）との理論上の違いについて、ＫＬ情報量に着目して説明する。ＫＬ情報量はＰＤＦ間の距離のような尺度であるが、どのＰＤＦの間で距離を計算しているかが三者で異なるのである。以下では、チャンネル数ｎ＝３、分離システム数ｍ＝１としているが、数は任意であってもよい。ここで、以下の４つのＰＤＦを考える。
【０１６３】
【数１８】
2008092363.tif 000020
【０１６４】
式（４２）は、出力の全ての要素を引数として持つＰＤＦであり、全部の引数の同時確率を表している。式（４３）は、Ｙ１［１］とＹ２［１］のペアと、Ｙ３［１］単独とが独立であることを表しており、具体例６で使用されているものである。式（４４）は、スペクトログラム単位で独立であることを表している。式（４５）は、すべての引数が独立であることを表している。
【０１６５】
従来の時間周波数領域のＩＣＡは、式（４５）と式（４２）とのＫＬ情報量を最小化するのと等価であった。式（４５）は「同一チャンネル内の周波数ビンの間も独立である」という余計な条件を含んでいるため、このＫＬ情報量を最小にするような分離行列および分離結果を求めると、同一チャンネル内の異なる周波数ビンの間で異なる原信号が現われるという現象、すなわち周波数ビン間のパーミュテーション問題が発生していた。
【０１６６】
一方、特開２００６−２３８４０９号公報に記載された技術では、式（４４）と式（４２）とのＫＬ情報量を最小化している。式（４４）は「異なるチャンネル間は独立だが、同一チャンネル内の周波数ビン同士は非独立（依存関係あり）」という条件を表わしているため、このKL情報量の最小化によって得られた分離結果では、周波数ビン間のパーミュテーション問題が解消されている。
【０１６７】
ここで、式（４２）を「全く分解（factorize）されていないＰＤＦ」、式（４５）を「要素ごとに完全に分解されたＰＤＦ」と見なすと、式（４４）は両者の中間段階の PDF であると見なすことができる。すなわち、ＰＤＦの分解を「チャンネルごとに分解された」状態でとどめたのが式（４４）である。
【０１６８】
それに対し、本発明は、ＰＤＦの分解を「ペアごとに分解された」状態でとどめたものと見なすことができる。例えば、具体例６で使用されている式（４３）は、式（４２）と式（４４）との間の中間的なＰＤＦと見なせる。
【０１６９】
ペアの構成の仕方は任意であり、また、ペア内の要素数はペアごとに異なっていても構わないため、式（４２）と式（４５）との間に存在しうる任意のＰＤＦ（以降「中間段階ＰＤＦ」）を表現することができる。すなわち、中間段階ＰＤＦと式（４２）とのＫＬ情報量を最小化するという方式のＩＣＡは、全て本発明の範疇に含まれる。
【図面の簡単な説明】
【０１７０】
【図１】本発明の一実施形態における信号分離装置の構成を示すブロック図である。
【図２】ｊ番目の分離システムの構成を示すブロック図である。
【図３】信号分離処理の概略を説明するフローチャートである。
【図４】信号分離処理における前処理を説明するフローチャートである。
【図５】信号分離処理における分離処理を説明するフローチャートである。
【図６】信号分離処理における後処理を説明するフローチャートである。
【図７】広い間隔のマイクと狭い間隔のマイクとを備える場合の分離処理を説明するための模式図である。
【図８】同じ位置にあるマイクを複数の分離システムの間で共有した場合を示す模式図である。
【図９】独立性計算部及びマッピング部の処理を説明するための模式図ある。
【図１０】Ｙ１[１]が８ｍｓ間隔のフレーム、Ｙ１［２］が１０ｍｓ間隔のフレームである場合の処理を説明するための模式図である。
【図１１】簡易的に信号分離を実現するための処理を示す模式図である。
【図１２】３入力、３出力の分離システム、及び２入力、２出力の分離システムにおける信号の対応付けの例を示す図である。
【図１３】信号源が２つあり、一方は音声であり、他方はスピーカから出る音（音楽）である場合の信号分離を説明するための模式図である。
【図１４】３つの音源を３つのマイクで収録し、それらを３つの成分に分離する処理を説明するための模式図である。
【図１５】独立性計算部及びマッピング部の処理を説明するための模式図である。
【図１６】分離システム間でマイクの設置位置が異なる場合の協調的分離を説明するための模式図である。
【図１７】狭間隔マイクと広間隔マイクとの協調的分離の具体例を説明するための模式図である。
【図１８】狭間隔マイクから得られた分離結果を示す図である。
【図１９】広間隔マイクから得られた分離結果を示す図である。
【図２０】Ｎ個の音源から出力された原信号をｎ個のマイクロフォンで観測する状況を示す図である。
【図２１】ＩＣＡを用いたｍ個の分離システムを備えた場合の信号の分離結果を示す模式図である。
【符号の説明】
【０１７１】
１１〜１ｍ  分離システム、  ２  信号統合部、３  出力部、４  制御部、５  独立性計算部、６  マッピング部
【図１】
2008092363.tif 000021
【図２】
2008092363.tif 000022
【図３】
2008092363.tif 000023
【図４】
2008092363.tif 000024
【図５】
2008092363.tif 000025
【図６】
2008092363.tif 000026
【図７】
2008092363.tif 000027
【図８】
2008092363.tif 000028
【図９】
2008092363.tif 000029
【図１０】
2008092363.tif 000030
【図１１】
2008092363.tif 000031
【図１２】
2008092363.tif 000032
【図１３】
2008092363.tif 000033
【図１４】
2008092363.tif 000034
【図１５】
2008092363.tif 000035
【図１６】
2008092363.tif 000036
【図１７】
2008092363.tif 000037
【図１８】
2008092363.tif 000038
【図１９】
2008092363.tif 000039
【図２０】
2008092363.tif 000040
【図２１】
2008092363.tif 000041