(57)【要約】【課題】ブラインド音源分離処理を行うに当たり、マイクロホンに対する音源の位置が移動する場合でも、特定の音源に対応する分離信号を特定の出力端を通じて出力させることができる（音源の追跡ができる）こと。【解決手段】人音声判別部２７が、第１出力チャンネルＯｐ１ｉ各々を通じて出力される所定時間長分ごとの分離信号ｙ1iが人の音声信号であるか否かを判別し、周波数解析部２４が、人の音声信号であると判別された分離信号ｙ1iに対して周波数解析計算を行い、これにより各分離信号ｙ1iの周波数の特徴量を算出し、さらにその特徴量の変遷の自動評価により、分離信号ｙ1iの入れ替わり状態を判別する。さらに、出力バッファ２２により、分離信号ｙ1iの入れ替わり判別の結果に基づいて、第１出力チャンネルＯｐ１ｉを通じて出力されるいずれの分離信号ｙ1iを、第２出力チャンネルＯｐ２ｉのいずれを通じて出力するかを切り替える。【選択図】図１
2007279517.tif 000002
【特許請求の範囲】
【請求項１】
所定の音響空間に複数の音源と複数の音声入力手段とが存在する状態で該音声入力手段各々を通じて逐次入力され、前記音源各々からの音源信号が重畳された複数の混合音声信号に対し、ブラインド音源分離処理を施すことによって前記音源信号に対応する複数の分離信号を逐次生成するとともに、該複数の分離信号各々を複数の第１の出力端各々を通じて出力する手段を備えた音源分離装置であって、
前記第１の出力端各々について、所定の記憶手段に一時記憶された所定時間長分ごとの前記分離信号が人の音声信号であるか否かを判別する人音声判別手段と、
前記人音声判別手段により人の音声信号であると判別された前記分離信号について、その特徴量を算出して所定の記憶手段に一時記憶させる特徴量算出・記録手段と、
前記特徴量算出・記録手段により一時記憶された前記特徴量の変遷を自動的に評価することにより前記第１の出力端各々を通じて出力される前記分離信号の入れ替わり状態を判別する信号入れ替わり判別手段と、
前記信号入れ替わり判別手段による判別結果に基づいて、前記第１の出力端を通じて出力されるいずれの前記分離信号を、１又は複数の第２の出力端のいずれを通じて出力するかを切り替える出力切替手段と、
を具備してなることを特徴とする音源分離装置。
【請求項２】
前記第１の出力端各々について、所定時間長分ごとの前記分離信号のピッチ情報を検出するピッチ情報検出手段を具備し、
前記人音声判別手段が、少なくとも前記ピッチ情報検出手段により検出されたピッチ情報に基づいて前記分離信号が人の音声信号であるか否かを判別してなる請求項１に記載の音源分離装置。
【請求項３】
前記第１の出力端各々について、所定時間長分ごとの前記分離信号における特定の周波数帯域の信号強度情報を検出する信号強度情報検出手段を具備し、
前記人音声判別手段が、少なくとも前記信号強度情報検出手段により検出された前記信号強度情報に基づいて前記分離信号が人の音声信号であるか否かを判別してなる請求項１又は２のいずれかに記載の音源分離装置。
【請求項４】
前記特徴量算出・記録手段が、所定時間長分ごとの前記分離信号の周波数解析計算に基づいて周波数の特徴量を算出してなる請求項１〜３のいずれかに記載の音源分離装置。
【請求項５】
前記特徴量算出・記録手段が、所定時間長分ごとの前記分離信号のパワースペクトルにおけるピーク周波数を前記特徴量として算出し、
前記信号入れ替わり判別手段が、過去の前記ピーク周波数と現在の前記ピーク周波数との比較により前記分離信号の入れ替わり状態を判別してなる請求項４に記載の音源分離装置。
【請求項６】
前記ブラインド音源分離処理が、独立成分分析法に基づくブラインド音源分離処理又はバイナリマスク方式によるブラインド音源分離処理のいずれかである請求項１〜５のいずれかに記載の音源分離装置。
【請求項７】
所定の音響空間に複数の音源と複数の音声入力手段とが存在する状態で該音声入力手段各々を通じて逐次入力され、前記音源各々からの音源信号が重畳された複数の混合音声信号に対し、ブラインド音源分離処理を施すことによって前記音源信号に対応する複数の分離信号を逐次生成するとともに、該複数の分離信号各々を複数の第１の出力端各々を通じて出力する手段を備えた音源分離装置が有するプロセッサに、
前記第１の出力端各々について、所定の記憶手段に一時記憶された所定時間長分ごとの前記分離信号が人の音声信号であるか否かを判別する人音声判別手順と、
前記人音声判別手順により人の音声信号であると判別された前記分離信号について、その特徴量を算出して所定の記憶手段に一時記憶させる特徴量算出・記録手順と、
前記特徴量算出・記録手順により一時記憶された前記特徴量の変遷を自動的に評価することにより前記第１の出力端各々を通じて出力される前記分離信号の入れ替わり状態を判別する信号入れ替わり判別手順と、
前記信号入れ替わり判別手順による判別結果に基づいて、前記第１の出力端を通じて出力されるいずれの前記分離信号を、１又は複数の第２の出力端のいずれを通じて出力するかを切り替える出力切替手順と、
を実行させることを特徴とする音源分離装置用のプログラム。
【請求項８】
所定の音響空間に複数の音源と複数の音声入力手段とが存在する状態で該音声入力手段各々を通じて逐次入力され、前記音源各々からの音源信号が重畳された複数の混合音声信号に対し、ブラインド音源分離処理を施すことによって前記音源信号に対応する複数の分離信号を逐次生成するとともに、該複数の分離信号各々を複数の第１の出力端各々を通じて出力する手順を有する音源分離方法であって、
前記第１の出力端各々について、所定の記憶手段に一時記憶された所定時間長分ごとの前記分離信号が人の音声信号であるか否かを判別する人音声判別手順と、
前記人音声判別手順により人の音声信号であると判別された前記分離信号について、その特徴量を算出して所定の記憶手段に一時記憶させる特徴量算出・記録手順と、
前記特徴量算出・記録手順により一時記憶された前記特徴量の変遷を自動的に評価することにより前記第１の出力端各々を通じて出力される前記分離信号の入れ替わり状態を判別する信号入れ替わり判別手順と、
前記信号入れ替わり判別手順による判別結果に基づいて、前記第１の出力端を通じて出力されるいずれの前記分離信号を、１又は複数の第２の出力端のいずれを通じて出力するかを切り替える出力切替手順と、
を有してなることを特徴とする音源分離方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、所定の音響空間に複数の音源と複数の音声入力手段とが存在する状態で該音声入力手段各々を通じて逐次入力される複数の混合音声信号に対してブラインド音源分離処理を施すことにより、複数の分離信号を逐次生成する音源分離装置、その音源分離装置用のプログラム及び音源分離方法に関するものである。
【背景技術】
【０００２】
所定の音響空間に複数の音源と複数のマイクロホン（音声入力手段）とが存在する場合、その複数のマイクロホンごとに、複数の音源各々からの個別音声信号（以下、音源信号という）が重畳された音声信号（以下、混合音声信号という）が入力される。このようにして入力された複数の前記混合音声信号のみに基づいて、前記音源信号各々を同定（分離）する音源分離処理の方式は、ブラインド音源分離方式（Blind Source Separation方式、以下、ＢＳＳ方式という）と呼ばれる。
さらに、ＢＳＳ方式の音源分離処理の１つに、独立成分分析法（Independent Component Analysis、以下、ＩＣＡ法という）に基づくＢＳＳ方式の音源分離処理がある。このＩＣＡ法に基づくＢＳＳ方式は、複数のマイクロホンを通じて入力される複数の前記混合音声信号（時系列の音声信号）において、前記音源信号どうしが統計的に独立であることを利用して所定の分離行列（逆混合行列）を最適化し、入力された複数の前記混合音声信号に対して最適化された分離行列によるフィルタ処理を施すことによって前記音源信号の同定（音源分離）を行う処理方式である。その際、分離行列の最適化は、ある時点で設定されている分離行列を用いたフィルタ処理により同定（分離）された信号（分離信号）に基づいて、逐次計算（学習計算）により以降に用いる分離行列を計算することによって行われる。
ここで、ＩＣＡ法に基づくＢＳＳ方式の音源分離処理によれば、分離信号各々は、混合音声信号の入力数（＝マイクロホンの数）と同じ数の出力端（出力チャンネルといってもよい）各々を通じて出力される。このようなＩＣＡ法に基づくＢＳＳ方式の音源分離処理は、例えば、非特許文献１や非特許文献２等に詳説されている。
また、ブラインド音源分離処理としては、バイノーラル方式のブラインド音源分離処理も知られている。これは、人間の聴覚モデルに基づいて複数の入力音声信号に時変のゲイン調節を施して音源分離を行うものであり、比較的低い演算負荷で実現できる音源分離処理である。これについては、例えば、非特許文献３や非特許文献４等に詳説されている。このバイノーラル方式のブラインド音源分離処理の１つに、バイナリマスク方式によるブラインド音源分離処理がある。
【非特許文献１】猿渡洋、「アレー信号処理を用いたブラインド音源分離の基礎」電子情報通信学会技術報告、vol.EA2001-7、pp.49-56、April 2001.
【非特許文献２】高谷智哉他、「SIMOモデルに基づくICAを用いた高忠実度なブラインド音源分離」電子情報通信学会技術報告、vol.US2002-87、EA2002-108、January 2003.
【非特許文献３】R.F.Lyon, "A computational model of binaural localization and separation," In Proc. ICASSP, 1983.
【非特許文献４】M. Bodden, "Modeling human sound-source localization and the cocktail-party-effect," Acta Acoustica, vol.1, pp.43-55, 1993.
【非特許文献５】N.Murata and S. Ikeda. A on-line algorithm for blind source separation on speech signals. In Proceedings of NOLTA'98, pp. 923-926,1998
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ところで、ＩＣＡ法に基づくＢＳＳ方式の音源分離処理や、バイノーラル方式のブラインド音源分離処理においては、マイクロホンに対する音源の位置が移動することにより、マイクロホンに対する複数の音源の存在方向（左右方向）が入れ替わると、これに応じて前記出力端（出力チャンネル）各々に出力される分離信号も入れ替わる。
しかしながら、従来のＩＣＡ法に基づくＢＳＳ方式等のブラインド音源分離処理においては、マイクロホンに対する音源の位置が移動する場合、特定の音源を追跡すること、即ち、特定の音源に対応する分離信号が必ず特定の出力端を通じて出力されるようにすることができないという問題点があった。特に、音源が人間である場合、その音源が移動する可能性が高く、特定の音源（特定の人）に対応する分離信号（人の音声信号）を追跡することが必要となる場合が多い。
従って、本発明は上記事情に鑑みてなされたものであり、その目的とするところは、ブラインド音源分離処理を行うに当たり、マイクロホンに対する音源の位置が移動する場合でも、特定の音源に対応する分離信号を特定の出力端を通じて出力させることができる（音源の追跡ができる）音源分離装置、音源分離装置用のプログラム及び音源分離方法を提供することにある。
【課題を解決するための手段】
【０００４】
上記目的を達成するために本発明は、所定の音響空間に複数の音源と複数の音声入力手段（マイクロホン）とが存在する状態で、その音声入力手段各々を通じて逐次入力される信号であって前記音源各々からの音源信号が重畳された信号である複数の混合音声信号に対し、ブラインド音源分離処理を施すことによって前記音源信号に対応する複数の分離信号（音源の信号を同定した信号）を逐次生成するとともに、その複数の分離信号各々を複数の出力端（以下、第１の出力端という）各々を通じて出力する手段（以下、逐次音源分離手段という）を備えた音源分離装置、又はそのような音源分離装置が有するプロセッサに所定の手順を実行させる音源分離装置用のプログラム（コンピュータプログラム）、或いは同手順を有する音源分離方法として構成されるものである。
その特徴は、以下の（１）〜（４）に示す各手段を備えた音源分離装置、或いは（１）〜（４）に示す各手順を前記プロセッサに実行させる音源分離装置用のプログラム、或いはそれら各手順を有する音源分離方法として構成されることである。
（１）前記第１の出力端各々について、所定の記憶手段に一時記憶された所定時間長分ごとの前記分離信号が人の音声信号であるか否かを判別する人音声判別手段（又は手順）。
（２）前記人音声判別手段（又は手順）により人の音声信号であると判別された前記分離信号について、その特徴量を算出して所定の記憶手段に一時記憶させる特徴量算出・記録手段（又は手順）。
（３）前記特徴量算出・記録手段（又は手順）により一時記憶された前記特徴量の変遷を自動的に評価することにより前記第１の出力端各々を通じて出力される前記分離信号の入れ替わり状態を判別する信号入れ替わり判別手段（又は手順）。
（４）前記信号入れ替わり判別手段（又は手順）による判別結果に基づいて、前記第１の出力端を通じて出力されるいずれの前記分離信号を、１又は複数の第２の出力端のいずれを通じて出力するかを切り替える出力切替手段（又は手順）。
なお、ここに示す所定時間長分ごとの前記分離信号は、必ずしも逐次生成される全ての分離信号を所定時間長分ごとに区分したものとは限らない。例えば、前記所定時間長よりも長い所定の周期ごとに、或いは特徴量の計算が終わるごとに、その時点から生成される前記所定時間長分の分離信号等、任意の時点からの所定時間長分の分離信号を含む概念である。
【０００５】
上記の構成によれば、音源が人間である場合に、音声入力手段に対する音源（人）の位置が移動することにより、音声入力手段に対する複数の音源の存在方向（左右方向）が入れ替わると、前記第１の出力端から出力される分離信号の特徴量に変化（入れ替わり）が生じ、その入れ替わりの状態に応じて前記第１出力端から前記第２出力端への分離信号の伝送経路が切り替えられる。
しかも、上記構成によれば、まず、前記第１の出力端から出力される分離信号が人の音声信号であるか否かを判別し、人の音声信号であると判別された分離信号についてのみ、特徴量の算出及びその評価が行われる。このため、特徴量の算出及び評価は、その処理対象が人の音声信号であることを前提とした比較的簡易で演算負荷の低い計算により実現できる。
ここで、前記人音声判別手段（又は手順）のより具体的な内容としては、例えば、以下のものが考えられる。
即ち、前記第１の出力端各々について、所定時間長分ごとの前記分離信号のピッチ情報を検出するピッチ情報検出手段（又は手順）を有する場合、前記人音声判別手段（又は手順）が、少なくともその検出により得られたピッチ情報に基づいて前記分離信号が人の音声信号であるか否かを判別することが考えられる。
また、前記第１の出力端各々について、所定時間長分ごとの前記分離信号における特定の周波数帯域の信号強度情報を検出する信号強度情報検出手段（又は手順）を有する場合、前記人音声判別手段（又は手順）が、少なくともその検出により得られた前記信号強度情報に基づいて前記分離信号が人の音声信号であるか否かを判別することも考えられる。
これらにより、前記分離信号が人の音声信号であるか否かを高い精度で判別できる。
【０００６】
一方、前記特徴量算出・記録手段（又は手順）としては、例えば、所定時間長分ごとの前記分離信号の周波数解析計算に基づいて周波数の特徴量を算出するものが考えられる。
また、前記特徴量算出・記録手段（又は手順）のより具体的な例としては、所定時間長分ごとの前記分離信号のパワースペクトルにおけるピーク周波数を前記特徴量として算出することが考えられ、この場合、前記信号入れ替わり判別手順において、過去の前記ピーク周波数と現在の前記ピーク周波数との比較により前記分離信号の入れ替わり状態を判別することが考えられる。
なお、前記ブラインド音源分離処理としては、独立成分分析法に基づくブラインド音源分離処理や、バイナリマスク方式によるブラインド音源分離処理のいずれかが考えられる。
【発明の効果】
【０００７】
本発明によれば、音声入力手段（マイクロホン）に対する音源（人）の位置が移動し、前記第１の出力端から出力される分離信号各々の特徴量に入れ替わりが生じた場合でも、特定の音源（人）に対応する分離信号（人の音声）を、特定の出力端（前記第２出力端）を通じて出力させることができる。即ち、音源の追跡が可能となる。しかも、人の音声信号であると判別された分離信号についてのみ、特徴量の算出及びその評価が行われるため、その特徴量の算出及び評価は、処理対象が人の音声信号であることを前提とした比較的簡易で演算負荷の低い計算により実現できる。その結果、分離信号各々の特徴量の入れ替わり状態の判別を迅速に行うことができ、環境変化（人の移動）に応じた迅速な音声追跡（出力の切り替え）を行うことができる。
【発明を実施するための最良の形態】
【０００８】
以下添付図面を参照しながら、本発明の実施の形態について説明し、本発明の理解に供する。尚、以下の実施の形態は、本発明を具体化した一例であって、本発明の技術的範囲を限定する性格のものではない。
ここに、図１は本発明の実施形態に係る音源分離装置Ｘの概略構成を表すブロック図、図２は音源分離装置Ｘが備える出力バッファの動作を説明する図、図３は音源分離装置Ｘが実行する出力チャンネル切り替え処理の手順を表すフローチャート、図４は音源分離装置Ｘが実行する人の音声判別処理の手順を表すフローチャート、図５はＴＤＩＣＡ法に基づく音源分離処理を行う音源分離ユニットＺ１の概略構成を表すブロック図、図６はＴＤ−ＳＩＭＯ−ＩＣＡ法に基づく音源分離処理を行う音源分離ユニットＺ２の概略構成を表すブロック図、図７はＦＤＩＣＡ法に基づく音源分離処理を行う音源分離ユニットＺ３の概略構成を表すブロック図、図８はＦＤ−ＳＩＭＯ−ＩＣＡ法に基づく音源分離処理を行う音源分離ユニットＺ４の概略構成を表すブロック図、図９はＦＤＩＣＡ−ＰＢ法に基づく音源分離処理を行う音源分離ユニットＺ５の概略構成を表すブロック図、図１０はバイナリーマスキング処理を説明するための図、図１１は音源分離装置Ｘにおける分離行列計算の第１例を説明するためのタイムチャート、図１２は音源分離装置Ｘにおける分離行列計算の第２例を説明するためのタイムチャート、図１３は複数のマイクロホンが各々異なる方向に向けて設けられた携帯型のハンディマイクの側面図及び平面図、図１４は複数のマイクロホンが異なる位置に設置された居室を模式的に表した図である。
【０００９】
まず、本発明の実施形態について説明する前に、図５〜図１０を参照しつつ、各種のブラインド音源分離処理について説明する。
なお、以下に示す音源分離処理或いはその処理を行う装置（ユニット）等は、いずれも所定の音響空間に複数の音源と複数のマイクロホン（音声入力手段）とが存在する状態で、そのマイクロホン各々を通じて入力される前記音源各々からの個別の音声信号（以下、音源信号という）が重畳された複数の混合音声信号から、１以上の音源信号を分離（同定）した分離信号を生成する音源分離処理或いはその処理を行う装置等に関するものである。
【００１０】
図５は、ＩＣＡ法の一種である時間領域独立成分分析法（time-domain independent component analysis法、以下、ＴＤＩＣＡ法という）に基づくＢＳＳ方式の音源分離処理を行う音源分離ユニットＺ１の概略構成を表すブロック図である。なお、本処理の詳細は、非特許文献１や非特許文献２等に示されている。
音源分離ユニットＺ１は、分離フィルタ処理部１１ｔにより、２つの音源１、２からの音源信号Ｓ1(ｔ)、Ｓ2(ｔ)（音源ごとの音声信号）を２つのマイクロホン（音声入力手段）１１１、１１２で入力した２チャンネル（マイクロホンの数）の混合音声信号ｘ１(ｔ)、ｘ２(ｔ)について、分離行列Ｗ(ｚ)によりフィルタ処理を施すことによって音源分離を行う。
図５には、２つの音源１、２からの音源信号Ｓ1(ｔ)、Ｓ2(ｔ)（個別音声信号）を２つのマイクロホン（音声入力手段）１１１、１１２で入力した２チャンネル（マイクロホンの数）の混合音声信号ｘ１(ｔ)、ｘ２(ｔ)に基づいて音源分離を行う例について示しているが、２チャンネル以上であっても同様である。ＩＣＡ法に基づくＢＳＳ方式による音源分離の場合、（入力される混合音声信号のチャンネル数ｎ（即ち、マイクロホンの数））≧（音源の数ｍ）であればよい。
複数のマイクロホン１１１、１１２各々で集音された各混合音声信号ｘ１(ｔ)、ｘ２(ｔ)には、複数音源からの音源信号が重畳されている。以下、各混合音声信号ｘ１(ｔ)、ｘ２(ｔ)を総称してｘ(ｔ)と表す。この混合音声信号ｘ(ｔ)は音源信号Ｓ(ｔ)の時間的空間的な畳み込み信号として表現され、次の（１）式のように表される。
【数１】
2007279517.tif 000003
ＴＤＩＣＡによる音源分離の理論は、この音源信号Ｓ(ｔ)のそれぞれの音源同士が統計的に独立であることを利用すると、ｘ(ｔ)がわかればＳ(ｔ)を推測することができ、従って、音源を分離することができるという発想に基づく理論である。
ここで、当該音源分離処理に用いる分離行列をＷ(ｚ)とすれば、分離信号（即ち、同定信号）ｙ(ｔ)は、次の（２）式で表される。
【数２】
2007279517.tif 000004
ここで、Ｗ(ｚ)は、出力ｙ(ｔ)から逐次計算により求められる。また、分離信号は、チャンネルの数だけ得られる。
なお、音源合成処理はこのＷ(ｚ)に関する情報により、逆演算処理に相当する配列を形成し、これを用いて逆演算を行えばよい。
このようなＩＣＡ法に基づくＢＳＳ方式による音源分離を行うことにより、例えば、人の歌声とギター等の楽器の音とが混合した複数チャンネル分の混合音声信号から、歌声の音源信号と楽器の音源信号とが分離（同定）される。
ここで、（２）式は、次の（３）式のように書き換えて表現できる。
【数３】
2007279517.tif 000005
そして、（３）式における分離フィルタ（分離行列）Ｗ(ｎ)は、次の（４）式により逐次計算される。即ち、前回（ｊ）の出力ｙ(ｔ)を（４）式に逐次適用することより、今回（ｊ＋１）のＷ(ｎ)を求める。
【数４】
2007279517.tif 000006
【００１１】
次に、図６に示すブロック図を用いて、ＴＤＩＣＡ法の一種である時間領域ＳＩＭＯ独立成分分析法（Time-Domain single-input multiple-output ICA法、以下、ＴＤ−ＳＩＭＯ−ＩＣＡ法という）に基づく音源分離処理を行う従来の音源分離ユニットＺ２の構成について説明する。なお、図６は、２チャンネル（マイクロホンの数）の混合音声信号ｘ１(ｔ)、ｘ２(ｔ)に基づいて音源分離を行う例について示しているが、３チャンネル以上であっても同様であり、その詳細は非特許文献２等に示されている。
ＴＤ−ＳＩＭＯ−ＩＣＡ法による音源分離の特徴は、図６中に示すFidelity Controller１２により、マイクロホン入力信号である各混合音声信号ｘi(ｔ)から、前記分離フィルタ処理部１１ｔによる音源分離処理（ＴＤＩＣＡ法に基づく音源分離処理）によって分離（同定）された分離信号（同定信号）を減算し、その減算により得られる信号成分の統計的独立性も評価することによって分離フィルタＷ(Ｚ)の更新（逐次計算）を行う点である。ここで、混合音声信号ｘi(ｔ)各々から減算する分離信号（同定信号）は、各々異なる１つの分離信号（当該混合音声信号に基づく音源分離処理により得られた分離信号）を除く残り全ての分離信号である。これにより、チャンネル（マイクロホン）ごとに２つの分離信号（同定信号）が得られることになり、また、音源信号Ｓi(ｔ)ごとに２つの分離信号が得られることになる。図６の例では、分離信号ｙ11(ｔ)とｙ12(ｔ)、分離信号ｙ22（ｔ）とｙ21(ｔ)が、各々同一の音源信号に対応する分離信号（同定信号）である。なお、分離信号ｙの添字（数字）において、前段の数字は音源の識別番号を、後段の数字はマイクロホン（即ち、チャンネル）の識別番号を表している（以下同様）。
このように、ある音響空間に複数の音源と複数の音声入力手段（マイクロホン）とが存在する状態で、その音声入力手段各々を通じて入力される音源各々からの音源信号（個別音声信号）が重畳された複数の混合音声信号から、１以上の音源信号を分離（同定）した場合に、音源信号ごとに得られる複数の分離信号（同定信号）群をＳＩＭＯ（single-input multiple-output）信号という。図６の例では、分離信号ｙ11(ｔ)とｙ12(ｔ)の組合せ、分離信号ｙ22（ｔ）とｙ21(ｔ)の組合せの各々がＳＩＭＯ信号である。
ここで、分離フィルタ（分離行列）Ｗ(Ｚ)を表現し直したＷ(ｎ)の更新式は、次の（５）式で表される。
【数５】
2007279517.tif 000007
この（５）式は、前述の（４）式に対して第３項目が加わったものであり、この第３項は、Fidelity Controller１２により生成される信号の成分の独立性を評価している部分である。
【００１２】
次に、図７に示すブロック図を用いて、ＩＣＡ法の一種であるＦＤＩＣＡ法（Frequency-Domain ICA）に基づく音源分離処理を行う従来の音源分離ユニットＺ３について説明する。
ＦＤＩＣＡ法では、まず、入力された混合音声信号ｘ(ｔ)について、ＳＴ−ＤＦＴ処理部１３によって所定の周期ごとに区分された信号であるフレーム毎に短時間離散フーリエ変換（Short Time Discrete Fourier Transform、以下、ＳＴ−ＤＦＴ処理という）を行い、観測信号の短時間分析を行う。そして、そのＳＴ−ＤＦＴ処理後の各チャンネルの信号（各周波数成分の信号）について、分離フィルタ処理部１１ｆにより分離行列Ｗ(ｆ)に基づく分離フィルタ処理を施すことによって音源分離（音源信号の同定）を行う。ここでｆを周波数ビン、ｍを分析フレーム番号とすると、分離信号（同定信号）ｙ(ｆ、ｍ)は、次の（６）式のように表すことができる。
【数６】
2007279517.tif 000008
ここで、分離フィルタＷ(ｆ)の更新式は、例えば次の（７）式のように表すことができる。
【数７】
2007279517.tif 000009
このＦＤＩＣＡ法によれば、音源分離処理が各狭帯域における瞬時混合問題として取り扱われ、比較的簡単かつ安定に分離フィルタ（分離行列）Ｗ(ｆ)を更新することができる。
【００１３】
次に、図８に示すブロック図を用いて、ＦＤＩＣＡ法の一種である周波数領域ＳＩＭＯ独立成分分析法（Frequency-Domain single-input multiple-output ICA法、以下、ＦＤ−ＳＩＭＯ−ＩＣＡ法という）に基づく音源分離処理を行う音源分離ユニットＺ４について説明する。
ＦＤ−ＳＩＭＯ−ＩＣＡ法では、前述のＴＤ−ＳＩＭＯ−ＩＣＡ法（図６）と同様に、Fidelity Controller１２により、各混合音声信号ｘi(ｔ)に対してＳＴ−ＤＦＴ処理を施した信号各々から、ＦＤＩＣＡ法（図７）に基づく音源分離処理によって分離（同定）された分離信号（同定信号）を減算し、その減算により得られる信号成分の統計的独立性も評価することによって分離フィルタＷ(ｆ)の更新（逐次計算）を行うものである。
このＦＤ−ＳＩＭＯ−ＩＣＡ法に基づく音源分離ユニットＺ４では、時間領域における複数の前記混合音声信号ｘ1(ｔ)、ｘ2(ｔ)に対して前記ＳＴ−ＤＦＴ処理部１３により短時間離散フーリエ変換処理を施して、周波数領域における複数の混合音声信号ｘ1(ｆ)、ｘ2(ｆ)へ変換する（短時間離散フーリエ変換手段の一例）。
次に、変換後の周波数領域における複数の混合音声信号ｘ1(ｆ)、ｘ2(ｆ)に対し、前記分離フィルタ処理部１１ｆによって所定の分離行列Ｗ(ｆ)に基づく分離処理（フィルタ処理）を施すことにより、前記混合音声信号ごとに前記音源信号Ｓ1(ｔ)、Ｓ2(ｔ)のいずれかに対応した第１の分離信号ｙ11(ｆ)、ｙ22(ｆ)を生成する（ＦＤＩＣＡ音源分離手段の一例）。
さらに、前記周波数領域における複数の混合音声信号ｘ1(ｆ)、ｘ2(ｆ)各々から当該混合音声信号に基づき前記分離フィルタ処理部１１ｆにより分離された前記第１の分離信号（ｘ1(ｆ)に基づき分離されたｙ11(ｆ)、ｘ2(ｆ)に基づき分離されたｙ22(ｆ)）を除く残りの前記第１の分離信号を、前記Fidelity Controller１２（減算手段の一例）により減算した第２の分離信号ｙ12(ｆ)、ｙ21(ｆ)を生成する。
一方、不図示の分離行列計算部により、前記第１の分離信号ｙ11(ｆ)、ｘ2(ｆ)及び前記第２の分離信号ｙ12(ｆ)、ｙ21(ｆ)の両方に基づく逐次計算を行い、前記分離フィルタ処理部１１ｆ（ＦＤＩＣＡ音源分離手段）で用いられる前記分離行列Ｗ(ｆ)を計算する。
これにより、チャンネル（マイクロホン）ごとに２つの分離信号（同定信号）が得られることになり、また、音源信号Ｓi(ｔ)ごとに２つ以上の分離信号（ＳＩＭＯ信号）が得られることになる。図８の例では、分離信号ｙ11（ｆ）とｙ12(ｆ)の組合せ、及び分離信号ｙ22（ｆ）とｙ21(ｆ)の組合せの各々がＳＩＭＯ信号である。
ここで、前記分離行列計算部は、前記第１の分離信号及び前記第２の分離信号に基づいて、次の（８）式で表される分離フィルタ（分離行列）Ｗ(ｆ)の更新式により前記分離行列Ｗ(ｆ)を計算する。
【数８】
2007279517.tif 000010
【００１４】
次に、図９に示すブロック図を用いて、ＦＤＩＣＡ法の一種である周波数領域独立成分分析法と逆射影法との連結手法（Frequency-Domain ICA & Projection back法、以下、ＦＤＩＣＡ−ＰＢ法という）に基づく音源分離処理を行う従来の音源分離ユニットＺ５について説明する。なお、ＰＤＩＣＡ−ＰＢ法の詳細については、非特許文献５等に示されている。
ＦＤＩＣＡ−ＰＢ法では、各混合音声信号ｘi(ｔ)から前述のＦＤＩＣＡ法に基づく音源分離処理（図７）により得られた分離信号（同定信号）ｙi(ｆ)各々について、逆行列演算部１４によって分離行列Ｗ(ｆ)の逆行列Ｗ-1(ｆ)の演算処理を施すことにより、最終的な分離信号（音源信号の同定信号）を得るものである。ここで、逆行列Ｗ-1(ｆ)による処理対象の信号のうち、各分離信号ｙi(ｆ)以外の残りの信号成分は、0（ゼロ）入力として設定する。
これにより、音源信号Ｓi(ｔ)各々に対応したチャンネル数分（複数）の分離信号（同定信号）であるＳＩＭＯ信号が得られる。図７において、分離信号ｙ11(ｆ)とｙ12(ｆ)、分離信号ｙ21（ｆ）とｙ22(ｆ)が、各々同一の音源信号に対応する分離信号（同定信号）であり、各逆行列Ｗ-1(ｆ)による処理後の信号である分離信号ｙ11(ｆ)とｙ12(ｆ)の組合せ、分離信号ｙ21（ｆ）とｙ22(ｆ)の組合せの各々がＳＩＭＯ信号である。
【００１５】
ところで、ＩＣＡ法に基づくＢＳＳ方式による音源分離処理（音源分離ユニットＺ１〜Ｚ５の処理）のうち、時間領域での処理（音源分離ユニットＺ１〜Ｚ２の処理）よりも、周波数領域での処理（音源分離ユニットＺ３〜Ｚ５の処理）の方が、比較的演算負荷が低い。従って、リアルタイムで音源分離処理を行うには、周波数領域で処理を行う音源分離ユニットＺ３〜Ｚ５を採用することがより好適である。
ここで、音源分離ユニットＺ３〜Ｚ５が、例えば、図１１又は図１２に示す要領で分離行列Ｗ(ｆ)の学習を行うように構成されたものであれば、音源信号の分離性能の確保と、リアルタイム性の確保とを両立する上でより望ましい。
【００１６】
以下、図１１及び図１２に示すタイムチャートを用いて、分離行列Ｗ(ｆ)の学習に用いられる混合音声信号と、その学習により得られる分離行列Ｗ(ｆ)を用いて音源分離処理が施される混合音声信号との対応関係の第１例（図１１）及び第２例（図１２）について説明する。
ここで、図１１は、分離行列Ｗ(ｆ)の計算と、音源分離処理との各々に用いる混合音声信号の区分の第１例をタイムチャート的に表したものである。
この第１例は、音源分離ユニットＺ３〜Ｚ５の音源分離処理において、逐次入力される混合音声信号を、所定時間長（例えば３秒）分のフレーム信号（以下、Frameという）ごとにその全てを用いて学習計算を行う。その一方で、音源分離ユニットＺ３〜Ｚ５の音源分離処理における分離行列の逐次計算回数を制限するものである。また、図１１に示す例では、音源分離ユニットＺ３〜Ｚ５は、分離行列の学習計算と、その分離行列に基づくフィルタ処理（行列演算）により分離信号を生成（同定）する処理とを、異なるFrameを用いて実行する。
図１１に示すように、音源分離ユニットＺ３〜Ｚ５は、時刻Ｔi〜Ｔi+1の期間（周期：Ｔi+1−Ｔi）に入力された前記混合音声信号全てに相当するFrame(i)を用いて分離行列の計算（学習）を行い、それにより求められた分離行列を用いて時刻(Ｔi+1＋Ｔd)〜(Ｔi+2＋Ｔd)の期間に入力された前記混合音声信号全てに相当するFrame(i+1)’について分離処理（フィルタ処理）を実行する。ここで、Ｔdは１つのFrameを用いた分離行列の学習に要する時間である。即ち、ある１期間の混合音声信号に基づき計算された分離行列を用いて、Frame時間長＋学習時間だけずれた次の１期間の混合音声信号の分離処理（同定処理）を行う。このとき、ある１期間のFrame(i)を用いて計算（学習）された分離行列を、次の１期間のFrame(i+1)’を用いて分離行列を計算（逐次計算）する際の初期値（初期分離行列）として用いる。さらに、音源分離ユニットＺ３〜Ｚ５は、分離行列の逐次計算（学習計算）の繰り返し回数を、１フレーム分の時間長（周期）の範囲内の時間Ｔｄで実行可能な回数に制限する。
【００１７】
以上示したように，図１１（第１例）に示すタイムチャートに従って分離行列の計算を行う音源分離ユニットＺ３〜Ｚ５は、時系列に入力される前記混合音声信号を予め定められた周期で区分されたFrame（区間信号の一例）ごとに、所定の分離行列に基づく分離処理を順次実行して分離信号を生成するものであり、また、その分離処理により生成した全ての時間帯（Frame（区間信号）の時間帯に対応する全ての時間帯）の分離信号に基づいて、以降に用いる前記分離行列を求める逐次計算（学習計算）を行うものである。
このように、１つのFrameの時間長以内に、１つのFrame全体に基づく分離行列の学習計算を完了させることができれば、全ての混合音声信号を学習計算に反映させながらリアルタイムでの音源分離処理が可能となる。
しかしながら、学習計算を複数のプロセッサで分担して並行処理した場合でも、１つのFrameの時間範囲内（Ｔi〜Ｔi+1）に、十分な音源分離性能を確保できるだけの十分な学習計算（逐次計算処理）を常には完了させられないことも考え得る。
そこで、この第１例では、音源分離ユニットＺ３〜Ｚ５は、分離行列の逐次計算の回数を、Frame（区間信号）の時間（予め定められた周期）の範囲に収まる時間Ｔｄで実行可能な回数に制限する。これにより、学習計算の収束が早まり、リアルタイム処理が可能となる。
【００１８】
一方、図１２に示す第２例は、逐次入力される混合音声信号を所定時間長（例えば３秒）分のフレーム信号（Frame）ごとに、そのフレーム信号の先頭側の一部を用いて学習計算を行う例、即ち、分離行列の逐次計算に用いる混合音声信号のサンプル数を通常よりも減らす（間引く）例である。
これにより、学習計算の演算量が抑えられるので、より短周期で分離行列の学習を行うことが可能となる。
図１２も、図１１と同様に、分離行列Ｗ(ｆ)の計算と、音源分離処理との各々に用いる混合音声信号の区分の第２例をタイムチャート的に表したものである。
また、図１２に示す第２例も、分離行列の学習計算と、その分離行列に基づくフィルタ処理（行列演算）により分離信号を生成（同定）する処理とを、異なるFrameを用いて実行する例である。
この第２例では、図１２に示すように、時刻Ｔi〜Ｔi+1の期間（周期：Ｔi+1−Ｔi）に入力された前記混合音声信号（Frame）であるFrame(i)のうち、先頭側の一部（例えば、先頭から所定時間分）の信号（以下、Sub-Frame(i)という）を用いて分離行列の計算（学習）を行い、それにより求められた分離行列を用いて時刻Ｔi+1〜Ｔi+2の期間に入力された前記混合音声信号全てに相当するFrame(i+1)について分離処理（フィルタ処理）を実行する。即ち、ある１期間の混合音声信号の先頭側の一部に基づき計算された分離行列を用いて次の１期間の混合音声信号の分離処理（同定処理）を行う。このとき、ある１期間のFrame(i)の先頭側の一部を用いて計算（学習）された分離行列を、次の１期間のFrame(i+1)を用いて分離行列を計算（逐次計算）する際の初期値（初期分離行列）として用いる。これにより、逐次計算（学習）の収束が早まり好適である。
【００１９】
以上示したように，図１２（第２例）に示すタイムチャートに従って分離行列の計算を行う音源分離ユニットＺ３〜Ｚ５も、時系列に入力される前記混合音声信号を予め定められた周期で区分されたFrame（区間信号の一例）ごとに、所定の分離行列に基づく分離処理を順次実行して分離信号を生成するものであり、また、その分離処理により生成した全ての時間帯（Frame（区間信号）の時間帯に対応する全ての時間帯）の分離信号に基づいて、以降に用いる前記分離行列を求める逐次計算（学習計算）を行うものである。
さらに、この第２例に対応する音源分離ユニットＺ３〜Ｚ５は、分離行列を求める学習計算に用いる混合音声信号を、フレーム信号ごとにその先頭側の一部の時間帯の信号に限定する。これにより、より短周期での学習計算が可能となり、その結果、リアルタイム処理が可能となる。
【００２０】
続いて、図１０を参照しつつ、人間の聴覚モデルに基づいて前記混合音声信号に時変のゲイン調節を施して音源分離を行うバイノーラル方式のブラインド音源分離処理について説明する。なお、バイノーラル方式のブラインド音源分離処理については、例えば、非特許文献３や非特許文献４等に詳説されている。
図１０は、バイノーラル方式のブラインド音源分離処理の考え方を起源とする信号処理の一例であって、比較的処理がシンプルなバイナリーマスキング処理を説明するための図である。
バイナリーマスキング処理を実行する装置やプログラムは、複数の入力信号（混合音声信号）の比較処理を行う比較部３１と、その比較部３１による比較処理の結果に基づいて入力信号にゲイン調節を施して信号分離（音源分離）を行う分離部３２とを有している。
バイナリーマスキング処理では、まず、前記比較部３１において、入力信号（混合音声信号）各々について周波数成分ごとの信号レベル（振幅）分布ＡＬ、ＡＲを検出し、同じ周波数成分における信号レベルの大小関係を判別する。
図１０において、ＢＬ、ＢＲは、入力信号各々における周波数成分ごとの信号レベル分布と、その信号レベルごとに他方の対応する信号レベルに対する大小関係（○、×）とを表した図である。図中、「○」印は、前記比較部３１による判別の結果、他方の対応する信号レベルよりも当該信号の信号レベルの方が大きかったことを表し、「×」印は同じく当該信号レベルの方が小さかったことを表している。
次に、前記分離部３２により、前記比較部３１による信号比較の結果（大小判別の結果）に基づいて、入力信号各々にゲイン乗算（ゲイン調節）を施すことにより分離信号（同定信号）を生成する。この分離部３２における最も簡単な処理の例としては、入力信号について、周波数成分ごとに、信号レベルが最も大きいと判別された入力信号の周波数成分にゲイン１を乗算し、その他の入力信号全ての同じ周波数成分にゲイン０（ゼロ）を乗算すること等が考えられる。
これにより、入力信号と同数の分離信号（同定信号）ＣＬ、ＣＲが得られる。この分離信号ＣＬ、ＣＲのうち、一方は、入力信号（混合音声信号）の同定の対象となった音源信号に相当するものとなり、他方は入力信号に混在するノイズ（同定対象の音源信号以外の音源信号）に相当するものとなる。
なお、図１０には、２つの入力信号に基づくバイナリーマスキング処理の例を示すが、３つ以上の入力信号に基づく処理であっても同様である。
例えば、まず、複数チャンネル分の入力信号各々について、複数に区分された周波数成分ごとに信号レベルを比較し、最大のものにゲイン１を乗算するとともに、その他のものにゲイン０を乗算し、その乗算により得られた信号を全てのチャンネルについて加算する。そして、この加算により得られる周波数成分ごとの信号を、全ての周波数成分について算出し、それらを組合せた信号を出力信号とすればよい。これにより、３チャンネル分以上の入力信号に対しても、図１０に示したのと同様にバイナリーマスキング処理を行うことができる。
【００２１】
以下、図１に示すブロック図を用いて、本発明の実施形態に係る音源分離装置Ｘについて説明する。
音源分離装置Ｘは、複数の音源１、２が存在する音響空間に配置される複数のマイクロホン１１１、１１２（音声入力手段）を備え、そのマイクロホン１１１、１１２各々を通じて逐次入力される音源１、２各々からの音源信号（個別の音声信号）が重畳された複数の混合音声信号ｘi(ｔ)から、音源信号（個別音声信号）を分離（同定）した分離信号（即ち、音源信号に対応した同定信号）ｙ1i(ｔIを逐次生成してスピーカ（音声出力手段）に対してリアルタイム出力するものである。
【００２２】
図１に示すように、音源分離装置Ｘは、ＡＤＣ（Ａ／Ｄコンバータ）２１、分離演算処理部１１、学習演算部１２、出力バッファ２２、ＤＡＣ（Ｄ／Ａコンバータ）２３、周波数解析部２４、データ記憶部２５、分析用バッファ２６、人音声判別部２７等を具備して構成されている。
ここで、学習演算処理部１２及び分離演算処理部１１は、併せて音源分離ユニット１０を構成している。また、音源分離ユニット１０、周波数解析部２４及び人音声判別部２７の各構成要素は、それぞれＤＳＰ（Digital Signal Processor）等の演算用のプロセッサ及びそのプロセッサにより実行されるプログラムが記憶されたＲＯＭ等の記憶手段、並びにＲＡＭ等のその他の周辺装置により構成されたものが考えられる。或いは、１つのＣＰＵ及びその周辺装置を有するコンピュータにより、上記各構成要素が行う処理に対応するプログラムモジュールを実行するよう構成されたもの等も考えられる。また、所定のコンピュータ（音源分離装置が備えるプロセッサを含む）に各構成要素の処理を実行させる音源分離装置用のプログラムとして提供することも考えられる。
ここで、図１には、入力される混合音声信号ｘi(ｔ)のチャンネル数（即ち、マイクロホンの数）が２つである例について示しているが、（チャンネル数ｎ）≧（音源の数ｍ）であれば、３チャンネル以上であっても同様の構成により実現できる。
【００２３】
ＡＤＣ２１は、複数のマイクロホン１１１、１１２各々から入力されるアナログの混合音声信号各々を所定のサンプリング周期でサンプリングすることにより、デジタルの混合音声信号Ｘi(ｔ)に変換するすものである。例えば、各音源信号Ｓi(ｔ)が人の声の音声信号である場合、８ｋＨｚ程度のサンプリング周期でデジタル化すればよい。
分離演算処理部１１は、マイクロホン１１１、１１２各々を通じて逐次入力される各混合音声信号ｘi(ｔ)に対し、分離行列Ｗを用いた行列演算を施すことにより音源信号Ｓi(ｔ)各々に対応する複数の分離信号ｙi(ｔ)を逐次生成するとともに、その複数の分離信号ｙ1i(ｔ)各々を複数の出力端Ｏｐ１ｉ（以下、第１出力チャンネルという）各々を通じて出力する音源分離処理（逐次音源分離手順）を実行するものである（逐次音源分離手段の一例）。マイクロホン１１１、１１２は、いずれも複数の音源１、２が存在する所定の音響空間に配置される。ここで、分離信号ｙ1i(ｔ)各々は、混合音声信号の入力数（＝マイクロホンの数）と同じ数の第１出力チャンネルＯｐ１ｉを有している。図１に示す例では、ｉは１又は２（２チャンネル分）を表す。
学習演算部１２は、予め定められた時間長分の複数の混合音声信号ｘi(ｔ)を用いて、ＩＣＡ−ＢＳＳ音源分離処理における分離行列Ｗの学習計算を行うことにより、分離演算処理部１１で用いられる分離行列Ｗを順次算出するものである。なお、混合音声信号ｘi(ｔ)は、所定周期でサンプリングされてデジタル化されているので、混合音声信号ｘi(ｔ)の時間長を規定することは、デジタル化された混合音声信号ｘi(ｔ)のサンプル数を規定することと同義である。
ここで、学習演算部１２による分離行列算出（学習計算）、及びその分離行列に基づいて分離演算処理部１１により実行される音源分離の処理（行列演算処理）は、例えば、図７〜図９に示した音源分離ユニットＺ３〜Ｚ５（ＦＤＩＣＡ方法、ＦＤ−ＳＩＭＯ−ＩＣＡ法、ＰＤＩＣＡ−ＰＢ法）における分離行列Ｗ(ｆ)の更新処理（学習処理）等が採用される。即ち、この実施形態では、音源分離ユニット１０は、独立成分分析法に基づくブラインド音源分離処理を実行する。
【００２４】
データ記憶部２５は、周波数解析部２４により読み書きされる各種データが格納される記憶手段であり、例えば、ＲＡＭ、ＥＥＰＲＯＭ、フラッシュメモリ等により構成される。
分析用バッファ２６は、第１出力チャンネルＯｐ１ｉを通じて出力される分離信号ｙ1i(ｔ)各々を、所定時間長分だけ一時記憶するバッファである。このバッファに一時記憶された分離信号ｙ1i(ｔ)は、周波数解析部２４による周波数解析処理、及び人音声判別部２７による人の音声か否かの判別処理に用いられる。
周波数解析部２４は、周波数解析計算（自動計算）と、その計算結果に基づく各種の処理を行うものである。その内容については後述する。
人音声判別部２４は、第１出力チャンネルＯｐ１ｉ各々について、解析用バッファ２６に一時記憶された所定時間長分ごとの分離信号ｙ1i(ｔ)が人の音声信号（人の声の信号）であるか否かを判別する処理を行うものである（人音声判別手段の一例）。その内容については後述する。
ＤＡＣ２３（Ｄ／Ａコンバータ）は、出力バッファ２２からその出力端である第２出力チャンネルＯｐ２１、Ｏｐ２２（これについては後述）を通じて出力される音声のデジタル信号ｙ21、ｙ22（ｙ2iと総称する）をアナログ信号に変換するものである。変換後のアナログ信号は、所定のスピーカを通じて音声出力される。
【００２５】
出力バッファ２２は、いわゆるピンポンバッファであり、複数チャンネル分の入出力系統を有している。以下、出力バッファ２２が備える複数の入力端Ｉｐ１、Ｉｐ２を入力チャンネルといい、同じく出力バッファ２２が備える複数の出力端Ｏｐ２１、Ｏｐ２２を第２出力チャンネルという。図１に示す例は、２チャンネル分の入出力系統を有する例を表している。ここで、第２出力チャンネルＯｐ２ｉの数は、追跡対象とする音声の数に応じて設定すればよく、１つの場合或いは複数の場合が考えられる。
以下、図２を参照しつつ、出力バッファ２２の動作について説明する。
出力バッファ２２は、入力チャンネルごとに２つのＦＩＦＯ方式のバッファ（Ｍ１ａとＭ１ｂ、Ｍ２ａとＭ２ｂ）を備えている。図２に示す各バッファは、図に向かって右側が先頭アドレス側を表すものとする。以下、入力チャンネルＩｐ１に対応する２つのバッファをバッファＭ１ａ、Ｍ１ｂ、入力チャンネルＩｐ２に対応する２つのバッファをバッファＭ２ａ、Ｍ２ｂと称する。
ここで、出力バッファ２２の入力チャンネルＩｐｉとその前段の音源分離ユニット１０の第１出力チャンネルＯｐ１ｉとは、一対一で固定的に接続されているため、一方の入力チャンネルＩｐ１と第１出力チャンネルＯｐ１１とは等価であり、他方の入力チャンネルＩｐ２と第１出力チャンネルＯｐ１２とは等価である。
【００２６】
まず、最初に入力チャンネルＩｐ１、Ｉｐ２各々から分離信号ｙ11、ｙ12（総称してｙ1iと記す）が入力されると、その分離信号ｙ1iが一方のバッファＭ１ａ、Ｍ２ａ（以下、ａ側バッファという）に、それがメモリフルとなるまで先頭アドレスから順次蓄積される。
次に、そのａ側バッファＭｉａに信号が満たされる（メモリフルになる）と、続いて入力される分離信号ｙ1iが、他方のバッファＭ１ｂ、Ｍ２ｂ（以下、ｂ側バッファという）に、それがメモリフルとなるまで先頭アドレスから順次蓄積される。ここで、ｂ側バッファＭ１ｂ、Ｍ２ｂへの信号蓄積と並行して、ａ側バッファＭ１ａ、Ｍ２ａに蓄積された信号が、先頭アドレスに蓄積されたものから順次第２出力チャンネルＯｐ２ｉを通じて出力される。
図２（ａ）は、ｂ側バッファＭ１ｂ、Ｍ２ｂに信号が順次蓄積されるとともに、これと並行して、ａ側バッファＭ１ａ、Ｍ２ａに蓄積された信号が第２出力チャンネルＯｐ２ｉを通じて出力されている状況を表す。なお、図中、ＣＨ１Ｐｔ、ＣＨ２Ｐｔの各符号を付した矢印は、第２出力チャンネルＯｐ２ｉに出力する信号を指定するポインタの指示位置を表す。ＣＨ１Ｐｔが一方の第２出力チャンネルＯｐ２１用のポインタの指示位置、ＣＨ２Ｐｔが他方の第２出力チャンネルＯｐ２２用のポインタの指示位置を表す。この第２出力チャンネルＯｐ２ｉ各々に対応するポインタＣＨ１Ｐｔ、ＣＨ２Ｐｔの指示位置が、ａ側バッファＭ１ａ、Ｍ２ａ若しくはｂ側バッファＭ１ｂ、Ｍ２ｂの先頭アドレス側から後尾アドレス側へ一定速度（信号のサンプリング周期に相当する速度）で順次移動することにより、指示された信号が第２出力チャンネルＯｐ２ｉ各々を通じて出力される。
【００２７】
そして、ａ側バッファＭ１ａ、Ｍ２ａに蓄積された全ての信号が出力されると、続いてポインタＣＨ１Ｐｔ、ＣＨ２Ｐｔの指示位置が、ｂ側バッファＭ１ｂ、Ｍ２ｂの先頭アドレスに移動し、ｂ側バッファＭ１ｂ、Ｍ２ｂに蓄積された信号が、先頭アドレスに蓄積されたものから順次第２出力チャンネルＯｐ２ｉを通じて出力される。また、ａ側バッファＭ１ａ、Ｍ２ａの全ての信号の出力が完了するのとほぼ同時に、ｂ側バッファＭ１ｂ、Ｍ２ｂへの信号蓄積が完了するので、ｂ側バッファＭ１ｂ、Ｍ２ｂからの信号出力と並行して、続いて入力される分離信号ｙ1iのａ側バッファＭ１ａ、Ｍ２ａへの蓄積が行われる。
図２（ｂ）は、ａ側バッファＭ１ａ、Ｍ２ａに信号が順次蓄積されるとともに、これと並行して、ｂ側バッファＭ１ｂ、Ｍ２ｂに蓄積された信号が第２出力チャンネルＯｐ２ｉを通じて出力されている状況を表す。
以上の動作が繰り返されることにより、分離信号ｙ1iが、所定の遅延時間をおいて、第２出力チャンネルＯｐ２ｉを通じてリアルタイムで出力される。
【００２８】
また、出力バッファ２２は、出力チャンネルの対応関係の設定を切り替えることにより、第１出力チャンネルＯｐ１１、Ｏｐ１２各々を通じて出力された（即ち、入力チャンネルＩｐ１、Ｉｐ２各々を通じて入力された）いずれの分離信号ｙ11、ｙ12を、２つ（複数）の第２出力チャンネルＯｐ２ｉのうちのいずれを通じて出力するかを切り替え可能に構成されている。
ここで、出力チャンネルの対応関係の設定とは、第２出力チャンネルＯｐ２１、Ｏｐ２２各々に対応するポインタＣＨ１Ｐｔ、ＣＨ２Ｐｔ各々を、入力チャンネルＩｐ１側（即ち、第１出力チャンネルＯｐ１１側）のバッファＭ１ａ、Ｍ１ｂを指示するようにするか、或いは入力チャンネルＩｐ２側（即ち、第１出力チャンネルＯｐ１２側）のバッファＭ２ａ、Ｍ２ｂを指示するようにするかの設定を表す。
本実施形態では、この出力チャンネルの対応関係は、周波数解析部２４により設定されるものとする。以下、第１出力チャンネルＯｐ１ｘ（入力チャンネルＩｐｘ）と第２出力チャンネルＯｐ２ｙとを対応させる設定（ｘ、ｙはチャンネル番号）のことを、「（ｘ＝＞ｙ）」のように表現するものとする。
【００２９】
前述した図２（ａ）、（ｂ）は、出力チャンネルの対応関係が、「（１＝＞１）かつ（２＝＞２）」である場合を表す。即ち、ポインタＣＨ１ＰｔがバッファＭ１ａ又はＭ１ｂを指示し、ポインタＣＨ２ＰｔがバッファＭ２ａ又はＭ２ｂを指示するよう設定された状態を表す。
一方、図２（ｃ）は、出力チャンネルの対応関係が、「（１＝＞２）かつ（２＝＞１）」である場合の一例を表す。この図２（ｃ）に示す例は、ポインタＣＨ１ＰｔがバッファＭ２ｂを指示し、ポインタＣＨ２ＰｔがバッファＭ１ｂを指示するよう設定された状態を表す。
これにより、ｂ側バッファＭ１ｂに蓄積された信号（即ち、入力チャンネルＩｐ１を通じて入力された信号）が、第２出力チャンネルＯｐ２２を通じて出力され、ｂ側バッファＭ２ｂに蓄積された信号（即ち、入力チャンネルＩｐ２を通じて入力された信号）が、第２出力チャンネルＯｐ２１を通じて出力される。
この図２（ｃ）に示す状態と図２（ａ）、（ｂ）に示す状態とは、第１出力チャンネルＯｐ１ｉ（入力チャンネルＩｐｉ）と第２出力チャンネルＯｐ２ｉとの対応関係が入れ替わっている。
【００３０】
次に、図３に示すタイムチャートを参照しつつ、音源分離装置Ｘにおける出力チャンネル切り替え処理の手順について説明する。この図３に示す処理は、学習演算部１２による分離行列Ｗの学習が十分になされ、その学習済みの分離行列Ｗに基づいて分離演算処理部１１による逐次音源分離処理が開始された時点から開始されるものとする。
まず、周波数解析部２４により、前記出力チャンネルの対応関係が初期設定され、設定結果がデータ記憶部２５に記録される（Ｓ１）。この初期設定は、例えば、予め定められた対応関係に設定することや、利用者が所定の操作入力手段を通じて入力する情報に従った対応関係に設定すること等が考えられる。
例えば、前記出力チャンネルの対応関係が「（１＝＞１）かつ（２＝＞２）」に設定される。
次に、分析用バッファ２６に、第１出力チャンネルＯｐ１ｉ各々を通じて出力される分離信号ｙ1i各々が、所定の時間長分（最新のもの）だけ蓄積される（一時記憶される）（Ｓ２）。例えば、８ＭＨｚのサンプリング周期でサンプル（デジタル化）された分離信号ｙ1iを１０２４サンプル分（即ち、１／８（ｓｅｃ）分）蓄積される。ここで蓄積される所定時間長分の分離信号ｙ1iを、以下、１フレーム分の分離信号ｙ1iという。
【００３１】
次に、人音声判別部２７により、第１出力チャンネルＯｐ１ｉ各々について、ステップＳ２で分析用バッファ２６に一時記憶された１フレーム分ごとの分離信号ｙ1iが、人の音声信号（人の声の信号）であるか否かの判別処理（以下、人の音声判別処理という）が行われる（Ｓ３）。ここでは、人音声判別部２７は、第１出力チャンネルＯｐ１ｉ各々について、「音声無し」の状態であるか、「人の音声」の信号の出力状態であるか、「人以外の音声」の信号の出力状態であるかの判別を行う。
以下、図４に示すフローチャートを参照しつつ、人音声判別部２７が実行する人の音声判別処理の例について説明する。なお、図４に示す処理は、第１出力チャンネルＯｐ１ｉ各々における分離信号ｙ1iについて実行される。
この人の音声判別処理では、まず、人音声判別部２７は、分離信号ｙ1iの信号強度Ｐａ（信号パワー）の算出処理を行う（Ｓ３０１）。この信号強度Ｐａは、例えば、信号の振幅の２乗平均和や、信号の振幅の絶対値の平均値などである。
さらに、人音声判別部２７は、算出した信号強度Ｐaが、予め定められた下限強度Ｐmin以上であるか否かを判別する（Ｓ３０２）。ここで、人音声判別部２７は、信号強度Ｐaが下限強度Ｐmin未満であると判別した場合、判別結果を「音声無し」に設定（Ｓ３０７）した上で、当該人の音声判別処理を終了させる。
一方、人音声判別部２７は、信号強度Ｐaが下限強度Ｐmin以上であると判別した場合（即ち、「音声有り」と判別した場合）、さらに、分離信号ｙ1iのピッチ情報として、ピッチ周期ＴＰの検出（算出）を行う（ピッチ周期検出手段の一例）。なお、分離信号ｙ1iのピッチ情報は、分離信号ｙ1iのピッチ周波数（ピッチ周期の逆数）と捉えてもよい。
【００３２】
以下に、一般的なピッチ周期ＴＰの検出（算出）方法について説明する。
一般的なピッチ周期ＴＰの検出処理では、入力音声信号のサンプリング周期が各々の時間間隔となるよう設定された複数のピッチ周期候補それぞれについて、ピッチ周期を検出（算出）する対象である音声信号（入力音声信号）の周期性を比較し、最も周期性の強いピッチ周期候補を選択してピッチ周期とする方法が採用される。
即ち、所定の最小ピッチ周期Ｔminから最大ピッチ周期Ｔmaxまでの範囲で複数のピッチ周期候補Ｔ（各Ｔの時間間隔は入力音声信号のサンプリング周期Δｔ）を設定し、このピッチ周期候補Ｔそれぞれについての周期性の強さを評価してその評価結果を比較し、最も周期性が強いと評価されるピッチ周期候補Ｔをピッチ周期ＴＰ（ピッチ周期の検出値）とする。
ここで、前記ピッチ周期候補Ｔ各々についての周期性評価は、例えば、次の（７）式で定義される平均歪みｄ(Ｔ)を評価値とする。なお、（９）式において、ｖ(ｉ)は、評価対象とする入力音声信号（ここでは、分離信号ｙ1i）のサンプルを表し、Ｔ、Ｔmin及びＴmaxは、各々ピッチ周期、その最小値及び最大値を入力音声信号のサンプル数に換算したもの表す。即ち、Ｔ、Ｔmin及びＴmax各々に入力音声信号のサンプリング周期Δｔを乗算して得られる時間が実際のピッチ周期、その最小値及び最大値を表す。
【数９】
2007279517.tif 000011
この（９）式は、時間Ｔ（サンプル数Ｔ）だけ離れた信号値どうしの差（絶対値）の平均値を計算し、その差の平均値が小さいほど周期Ｔにおける周期性が強い（即ち、周期Ｔごとに似た波形が現れる）として評価するものである。従って、ピッチ周期候補Ｔ各々について（９）式による評価値ｄ(Ｔ)を計算し、その評価値が最も小さくなるときのピッチ周期候補Ｔをピッチ周期の検出値ＴＰとする。
この場合、最も時間長の長いピッチ周期候補Ｔmaxについて１周期分の評価が可能なように、周期性の評価対象とする音声信号ｖ（ｉ）の時間軸上の最大時間範囲は、Ｔmaxの２倍の時間範囲（＝２・Ｔmax）となる。
このような処理により、ピッチ周期ＴＰの検出（算出）が行われる。
【００３３】
次に、人音声判別部２７は、検出したピッチ周期ＴＰが、予め定められた第１設定ピッチ周期ＴＰ1から第２ピッチ周期ＴＰ2（ＴＰ2＞ＴＰ1）の範囲内であるか否かを判別する（Ｓ３０４）。一般に、人の声の信号の周波数は５０Ｈｚ〜５００Ｈｚの範囲内であるので、設定ピッチ周期ＴＰ1、ＴＰ2は、その逆数に相当する周期が設定される。
そして、人音声判別部２７は、ピッチ周期ＴＰが第１設定ピッチ周期ＴＰ1から第２ピッチ周期ＴＰ2の範囲内であると判別した場合、判別結果を「人の音声」に設定（Ｓ３０５）した上で、当該人の音声判別処理を終了させる。
一方、人音声判別部２７は、ピッチ周期ＴＰが第１設定ピッチ周期ＴＰ1から第２ピッチ周期ＴＰ2の範囲内ではないと判別した場合、判別結果を「人以外の音」に設定（Ｓ３０６）した上で、当該人の音声判別処理を終了させる。
このように、人音声判別部２７は、分離信号ｙ1iのピッチ周期ＴＰに基づいて、その分離信号ｙ1iが人の音声信号であるか否かを判別する（Ｓ３０３〜Ｓ３０６）。
【００３４】
この人音声判別部２７の音声判別処理により、第１出力チャンネルＯｐ１ｉのいずれかについて、「人の音声」であるとの判別結果が得られた場合には、人音声判別部２７は、処理を後述するステップＳ４以降の処理へ移行させる。なお、以下に示すステップＳ４〜Ｓ１２の処理は、分析用バッファ２６に蓄積された１フレーム分ごとの分離信号ｙ1iのうち、人音声判別部２７によって「人の音声」であると判別されたチャンネルの分離信号ｙ1iに対して行われる。
一方、第１出力チャンネルＯｐ１ｉのいずれにつても、「人の音声」であるとの判別結果が得られなかった場合には、人音声判別部２７は、処理を前述したステップＳ２へ移行させる。これにより、ステップＳ２からの処理が繰り返される。
ところで、図４に示す人の音声判別処理では、１フレーム分の分離信号ｙ1iのピッチ周期ＴＰに基づく１回の判別処理により、分離信号ｙ1iが人の音声信号であるか否かの判別が行われた。しかしながら、同様の判別処理を、複数フレーム各々について、或いは１フレーム分が分割された複数のサブフレーム各々について実行し、その個々の判別処理において「人の音声」であると判別された回数が所定回数以上である場合に、最終的に「人の音声」であると判別すること等も考えられる。また、複数フレーム各々について、或いは複数の前記サブフレーム各々について、「人の音声」及び「人以外の音声」に加えて、それらのいずれでもない「その他」の状態判別も行い、「人の音声」であると判別された回数と、「人以外の音声」であると判別された回数との差が、所定値以上である場合に、最終的に「人の音声」であると判別すること等も考えられる。
【００３５】
次に、ステップＳ４及びＳ５において、周波数解析部２４は、ステップＳ２で分析用バッファ２６に蓄積された１フレーム分ごとの分離信号ｙ1iに対して周波数解析計算（自動計算）を行い、さらにその計算結果に基づいて分離信号ｙ1iの周波数の特徴量を算出する（Ｓ４、Ｓ５）。
より具体的には、周波数解析部２４は、まず、ステップＳ２で蓄積された分離信号ｙ1i（人の声の信号）各々に窓関数処理を行い（Ｓ４）、その窓関数が掛けられた分離信号に対してＦＦＴ解析計算を行う（Ｓ５）。さらに、周波数解析部２４は、ＦＦＴ解析計算により得られる１フレーム分の分離信号ｙ1iのパワースペクトルに基づいて、そのパワースペクトルにおけるピーク周波数を分離信号ｙ1i各々の特徴量として導出する（Ｓ５）。
ここで、パワースペクトルにおけるピーク周波数としては、例えば、パワーのピークを示す周波数のうち、そのピーク値が最大のものや、そのピーク値が最大のものから所定の順位以内に入るもの等が考えられる。
また、周波数解析計算としては、ＦＦＴ（高速フーリエ変換：Fast Fourier Transform）解析計算の他、自己回帰型のＭＥＭ（最大エントロピー法：Maximum Entropy Method）に基づく解析計算、ＡＲ（自己回帰：AutoRegressive）モデルに基づく解析計算等、周知の周波数解析計算の手法を採用することが考えられる。
また、分離信号ｙ1iの特徴量としては、パワースペクトルにおけるピーク周波数の他、パワースペクトルの分布範囲（例えば、所定レベル以上のパワーを有する周波数の範囲）等も考えられる。
その他、音声認識処理において信号の特徴量として利用されることが多いケプストラム、メルケプストラム、或いはＰＡＲＣＯＲ係数、ＬＳＰ係数などを分離信号の特徴量として算出することも考えられる。
【００３６】
次に、周波数解析部２４は、データ記憶部２５に過去のｍフレーム分の分離信号ｙ1iに基づく前記特徴量が蓄積（記憶）されているか否かを判別する（Ｓ６）。
周波数解析部２４は、このステップＳ６において、過去ｍフレーム分の前記特徴量が未だ蓄積されていないと判別した場合は、ステップＳ５で算出した前記特徴量（ピーク周波数等）を、第２出力チャンネルＯｐ２ｉごとにデータ記憶部２５に追加的に記録（一時記憶）し（Ｓ１１）、処理を前述したステップＳ２へ移行させる。
これにより、過去ｍフレーム分の前記特徴量がデータ記憶部２５に蓄積されるまで前述したステップＳ２〜Ｓ５の処理が繰り返される。
その結果、例えば、分離信号ｙ1iのサンプリング周期（＝混合音声信号ｘｉ(ｔ)のサンプリング周期）が８ｋＨｚ、１フレームが１０２４サンプル分の信号、ｍ＝２４である場合、３秒分の分離信号ｙ1iに基づく前記特徴量が、データ記憶部２５に蓄積されることになる。サンプリング周期、１フレームのサンプル数、蓄積フレーム数ｍは、適用対象に応じて適当な値が設定される。
【００３７】
また、これ以後、前記特徴量は、前記出力チャンネルの対応関係の設定内容に応じて（分離信号の出力の切り替え状況に応じて）、第２出力チャンネルＯｐ２ｉごとにデータ記憶部２５に記録（蓄積）される。
例えば、第２出力チャンネルＯｐ２１、Ｏｐ２２各々に対応するメモリ領域をMｅｍ１、Ｍｅｍ２と表すものとすると、前記出力チャンネルの対応関係が「（１＝＞１）かつ（２＝＞２）」である場合は、第１出力チャンネルＯｐ１１を通じて出力される分離信号ｙ11に基づく前記特徴量はＭｅｍ１に記録され、第１出力チャンネルＯｐ１２を通じて出力される分離信号ｙ12に基づく前記特徴量はＭｅｍ２に記録される。一方、前記出力チャンネルの対応関係が「（１＝＞２）かつ（２＝＞１）」である場合は、第１出力チャンネルＯｐ１１を通じて出力される分離信号ｙ11に基づく前記特徴量はＭｅｍ２に記録され、第１出力チャンネルＯｐ１２を通じて出力される分離信号ｙ12に基づく前記特徴量はＭｅｍ１に記録される。
これにより、音源の追跡（出力バッファ２２における出力チャンネルの切り替え）が正しく行われる限り、各メモリ領域Ｍｅｍ１、Ｍｅｍ２各々には、常に同じ音源に対応する分離信号の特徴量が蓄積されることになる。
【００３８】
一方、ステップＳ６において、過去ｍフレーム分の前記特徴量が蓄積されていると判別された場合、周波数解析部２４により、第１出力チャンネルＯｐ１ｉ各々を通じて出力される分離信号ｙ1iの入れ替わり状態を判別する処理が実行される（Ｓ７：信号入れ替わり判別手順の一例）。
この入れ替わり状態の判別は、周波数解析部２４により、データ記憶部２５に記憶された過去の前記特徴量とステップＳ５で算出された最新の前記特徴量とに基づいて、第１出力チャンネルＯｐ１ｉ各々についての前記特徴量の変遷（時間の経過により変化する状態）が自動的に評価されることにより行われる。
より具体的には、データ記憶部２５に記憶された過去ｍフレーム分の特徴量各々と、ステップＳ５で算出された現在の（最新の）特徴量との比較により、前記分離信号ｙ1iの入れ替わり状態を判別することが考えられる。
例えば、現在の前記出力チャンネルの対応関係が「（１＝＞１）かつ（２＝＞２）」である場合を考える。この場合、第２出力チャンネルＯｐ２１に対応する過去ｍフレーム分の特徴量のいずれかと、第１出力チャンネルＯｐ１２の分離信号ｙ12について算出された現在の特徴量とが一致している若しくは近似しているとき、或いは第２出力チャンネルＯｐ２２に対応する過去ｍフレーム分の特徴量のいずれかと、第１出力チャンネルＯｐ１１の分離信号ｙ11について算出された現在の特徴量とが一致している若しくは近似しているときに、分離信号ｙ1iの入れ替わりがあったと判別すること等が考えられる。ここで、近似しているとは、例えば、特徴量に差がある場合であっても、その差が予め定められた誤差範囲内であること等を指す。
例えば、特徴量が、信号強度（パワー）のピーク値とそのピーク値に対応する周波数との組合せである場合、周波数解析部２４は、信号強度と周波数とを座標軸とする座標系における特徴量の位置（座標）の距離が、予め定められた設定距離以内である場合に近似していると判別する。或いは、複数フレーム各々について算出されたその距離の平均値が、予め定められた設定距離以内である場合に近似していると判別すること等も考えられる。
【００３９】
次に、ステップＳ７において、第１出力チャンネルＯｐ１ｉの分離信号ｙ1iに入れ替わりがあったと判別された場合は、第２出力チャンネルＯｐ２ｉの分離信号ｙ2iに入れ替わりが生じないように、周波数解析部２４は、前記出力チャンネルの対応関係の設定を変更し、変更後の対応関係の設定を表す情報をデータ記憶部２５に記憶させる（Ｓ９）。
さらに、周波数解析部２４から出力バッファ２２に対して変更後の前記出力チャンネルの対応関係の設定情報が通知され、これに応じて出力バッファ２２は、分離信号の出力先（第２出力チャンネルＯｐ２ｉ）の切り替えを行う（Ｓ１０）。
以上示した周波数解析部２４及び出力バッファ２２によるステップＳ８〜Ｓ１０の処理により、ステップＳ７での信号入れ替わり判別の判別結果に基づいて、第１出力チャンネルＯｐ１ｉを通じて出力されるいずれの分離信号ｙ1iを、第２出力チャンネルＯｐ２ｉのいずれを通じて出力するかが切り替えられる（出力切替手順の一例）。但し、出力チャンネルの切り替えは、入れ替わりが生じたと判別された分離信号ｙ1iが、第２出力チャンネルＯｐ２ｉを通じて出力されるタイミングに合わせて行われる。
【００４０】
以上の処理により、音源分離装置Ｘは、以下のように動作する。
即ち、マイクロホン１１１、１１２に対する音源１、２の位置が移動することにより、マイクロホン１１１、１１２に対する複数の音源１、２の存在方向（左右方向）が入れ替わると、第１出力チャンネルＯｐ１ｉ各々から出力される分離信号ｙ1i各々の前記特徴量に入れ替わりが生じ、ステップＳ７においてその入れ替わりの状態が判別される。そして、その入れ替わり状態の判別結果に応じて、ステップＳ８〜Ｓ１０の処理により、第１出力チャンネルＯｐ１ｉ各々から第２出力チャンネルＯｐ２ｉ各々への分離信号の伝送経路が切り替えられる。その結果、分離信号ｙ1iの入れ替わり判別（Ｓ７）が正しく行われる限り、第２出力チャンネルＯｐ２ｉ各々は、常に同じ音源に対応する分離信号ｙ2iを出力することになる。即ち、音源の追跡が可能となる。
また、第１出力チャンネルＯｐ１ｉを通じて出力される分離信号ｙ1iが人の音声信号であるか否かが判別され（Ｓ３）、人の音声信号であると判別された分離信号ｙ1iについてのみ、特徴量の算出及びその評価（Ｓ６、Ｓ７）が行われる。このため、特徴量の算出及び評価は、その処理対象が人の音声信号であることを前提とした比較的簡易で演算負荷の低い計算により実現でき、しかも、高い評価精度を確保できる。
【００４１】
一方、ステップＳ８において分離信号ｙ1iの入れ替わりが生じていないと判別された場合、或いは、ステップＳ１０の処理が終了した後に、周波数解析部２４は、データ記憶部２５に記憶（蓄積）されている過去ｍフレーム分の前記特徴量のうち、最も古いものをステップＳ５で算出した現在の（最新の）特徴量に更新（即ち、最新の過去ｍフレーム分の内容に更新）し（Ｓ１１）、その後、処理をステップＳ２に移行させる。以後、ステップＳ２〜Ｓ１１の処理が繰り返される。
なお、周波数解析部２４により実行されるステップＳ５及びＳ１１の処理は、第１出力チャンネルＯｐ１ｉ（第１の出力端）各々について、所定時間長分ごとの分離信号ｙ1iの特徴量を算出してデータ記憶部２５に一時記憶させる特徴量算出・記録手順の一例である。
【００４２】
以上に示した実施形態では、人音声判別部２７が、分離信号ｙ1iが人の音声信号であるか否かをそのピッチ周期ＴＰに基づいて判別する例を示したが、これには限られない。
例えば、人音声判別部２７が、第１出力チャンネルＯｐ１ｉ各々について、所定時間長分ごとの分離信号ｙ1iにおける特定の周波数帯域の信号強度情報（信号のパワー情報）を検出し（信号強度情報検出手段の一例）、その信号強度情報に基づいて、分離信号ｙ1iが人の音声信号であるか否かを判別する例も考えられる。以下、その例を示すにあたり、人の音声信号の周波数帯域を一部に含む周波数帯域であって、予め評価対象として設定された全範囲の周波数帯域を全設定周波数帯域と称する。
例えば、人音声判別部２７が、分離信号ｙ1iを周波数解析することにより、前記全設定周波数帯域のうち、人の音声信号の周波数帯域（例えば、５０Ｈｚ〜５００Ｈｚの範囲）の信号強度（パワー）Ｐｖと、それ以外の周波数帯域の信号強度（パワー）Ｐｎとを算出し、それらの比（＝Ｐｖ／Ｐｎ）が予め定められた設定値よりも大きければ「人の音声」であると判別し、そうでなければ「人以外の音声」であると判別することが考えられる。
同様に、人音声判別部２７が、分離信号ｙ1iを周波数解析することにより、前記全設定周波数帯域のうち、人の音声信号の周波数帯域（例えば、５０Ｈｚ〜５００Ｈｚの範囲）の信号強度（パワー）Ｐｖと、前記全設定周波数帯域の信号強度（パワー）Ｐａとを算出し、それらの比（＝Ｐｖ／Ｐａ）が予め定められた設定値よりも大きければ「人の音声」であると判別し、そうでなければ「人以外の音声」であると判別すること等も考えられる。ここで、Ｐｖ／Ｐａは、人の音声信号の周波数帯域の信号強度Ｐｖを全体の強度で正規化した指標である。
また、この場合も、同様の判別処理を、複数フレーム各々について、或いは１フレーム分が分割された複数のサブフレーム各々について実行し、その個々の判別処理において「人の音声」であると判別された回数が所定回数以上である場合や、「人の音声」であると判別された回数と、「人以外の音声」であると判別された回数との差が、所定値以上である場合に、最終的に「人の音声」であると判別すること等が考えられる。
【００４３】
また、前述した実施形態では、音源分離ユニット１０が実行するブラインド音源分離処理が、独立成分分析法に基づくブラインド音源分離処理である場合の例を示した。しかしながら、音源分離ユニット１０が実行するブラインド音源分離処理として、前述したバイナリマスク方式によるブラインド音源分離処理（図１０参照）を採用することも考えられる。
また、音源１、２とマイクロホン１１１、１１２との相対位置関係の変化は、音源１、２の移動に限らず、マイクロホン１１１、１１２の移動や、音源１、２及びマイクロホン１１１、１１２の両方の移動も考えられる。
図１３は、複数のマイクロホン１１１〜１１４（マイク素子）が各々異なる方向に向けて設けられた携帯型のハンディマイク１１０の側面図（ａ）及び平面図（ｂ）である。
このようなハンディマイク１１０を、音源分離装置Ｘにおける混合音声の入力用マイクロホンとして用いた場合を考える。この場合、例えば、音源分離装置Ｘに、複数のマイクロホン１１１〜１１４各々に対応する操作ボタン（以下、マイク識別ボタンという）と、第２出力チャンネルＯｐ２ｉ各々に対応する操作ボタン（以下、出力チャンネル識別ボタンという）とを設ける。
そして、追跡対象となる話者が、複数のマイクロホン１１１〜１１４のうちのいずれか１つ（以下、特定マイクロホンという）に対応する前記マイク識別ボタンと、その話者の音声を出力したい第２出力チャンネルＯｐ２ｉに対応する前記出力チャンネル識別ボタンとを操作（選択）した状態で、その特定マイクロホンに向けて音声を発する。
これにより、音源分離装置Ｘは、初期設定（図３のＳ１）を実行し、操作された前記マイク識別ボタンに対応する第１出力チャンネルＯｐ１ｉの分離信号ｙ1iが、同じく操作された前記出力チャンネル識別ボタンに対応する第２出力チャンネルＯｐ２ｉを通じて出力されるよう、第１出力チャンネルＯｐ１ｉと第２出力チャンネルＯｐ２ｉとの対応関係を設定する。これにより、音源分離装置Ｘは、ハンディマイク１１０の各マイクロホン１１１〜１１４と話者との位置関係が変化しても、追跡対象となる話者（初期設定段階で音声を発した話者）の音声（を同定した音声）が、常に前記出力チャンネル識別ボタンにより選択された特定の第２出力チャンネルＯｐ２ｉから出力されるよう動作する。
【００４４】
また、音源分離装置Ｘは、例えば、居室における家電製品の音声制御システム（ハンズフリーシステム）への利用すること等も可能である。
図１４は、複数のマイクロホン１１１〜１１４が異なる位置に設置された居室５０を模式的に表した図である。音源分離装置Ｘは、これらのマイクロホン１１１〜１１４を通じて混合音声信号を入力する。居室のドア５１には、その開閉状態を検知する開閉スイッチ５２が設けられている。また、１つのマイクロホン１１１は、ドア５１の近くに設置されている。
居室の利用者は、ドア５１を開けて居室に入室後、ドア５１の近くで「電灯を点灯して下さい」などと発声する。
一方、音源分離装置Ｘは、開閉スイッチ５２が閉状態から開状態に切り替わった後、最初にドア近くのマイクロホン１１１（特定マイクロホン）に対応する第１出力チャンネルＯｐ１ｉに所定レベル以上の分離信号ｙ1iが発生した場合に、初期設定（図３のＳ１）を実行し、ドア近くの特定マイクロホン１１１に対応する第１出力チャンネルＯｐ１ｉの分離信号ｙ1iが、予め定められた特定の第２出力チャンネルＯｐ２ｉを通じて出力されるよう、第１出力チャンネルＯｐ１ｉと第２出力チャンネルＯｐ２ｉとの対応関係を設定する。これにより、音源分離装置Ｘは、各マイクロホン１１１〜１１４と話者との位置関係が変化したり、追跡対象となる話者（最初にドア近くの特定マイクロホン１１１に「電灯を点灯して下さい」という音声を発した話者）以外の人や物の音声が混在した場合でも、追跡対象となる話者の音声が、常に特定の第２出力チャンネルＯｐ２ｉから出力されるよう動作する。
【産業上の利用可能性】
【００４５】
本発明は、音源分離装置への利用が可能である。
【図面の簡単な説明】
【００４６】
【図１】本発明の実施形態に係る音源分離装置Ｘの概略構成を表すブロック図。
【図２】音源分離装置Ｘが備える出力バッファの動作を説明する図。
【図３】音源分離装置Ｘが実行する出力チャンネル切り替え処理の手順を表すフローチャート。
【図４】音源分離装置Ｘが実行する人の音声判別処理の手順を表すフローチャート。
【図５】ＴＤＩＣＡ法に基づく音源分離処理を行う音源分離ユニットＺ１の概略構成を表すブロック図。
【図６】ＴＤ−ＳＩＭＯ−ＩＣＡ法に基づく音源分離処理を行う音源分離ユニットＺ２の概略構成を表すブロック図。
【図７】ＦＤＩＣＡ法に基づく音源分離処理を行う音源分離ユニットＺ３の概略構成を表すブロック図。
【図８】ＦＤ−ＳＩＭＯ−ＩＣＡ法に基づく音源分離処理を行う音源分離ユニットＺ４の概略構成を表すブロック図。
【図９】ＦＤＩＣＡ−ＰＢ法に基づく音源分離処理を行う音源分離ユニットＺ５の概略構成を表すブロック図。
【図１０】バイナリーマスキング処理を説明するための図。
【図１１】音源分離装置Ｘにおける分離行列計算の第１例を説明するためのタイムチャート。
【図１２】音源分離装置Ｘにおける分離行列計算の第２例を説明するためのタイムチャート。
【図１３】複数のマイクロホンが各々異なる方向に向けて設けられた携帯型のハンディマイクの側面図及び平面図。
【図１４】複数のマイクロホンが異なる位置に設置された居室を模式的に表した図。
【符号の説明】
【００４７】
Ｘ…本発明の実施形態に係る音源分離装置
１、２…音源
１０、Ｚ１〜Ｚ５…音源分離ユニット
１１…分離演算処理部
１２…学習演算部
２１…ＡＤＣ（Ａ／Ｄコンバータ）
２２…出力バッファ
２３…ＤＡＣ（Ｄ／Ａコンバータ）
２４…周波数解析部
２５…データ記憶部
２６…分析用バッファ
２７…人音声判別部
１１１〜１１４…マイクロホン
Ｓ１、Ｓ２、〜…処理手順（ステップ）
Ｉｐ１、Ｉｐ２…出力バッファの入力チャンネル
Ｏｐ１１、Ｏｐ１２…第１出力チャンネル（第１出力端）
Ｏｐ２１、Ｏｐ２２…第２出力チャンネル（第２出力端）
Ｍ１ａ、Ｍ１ｂ、Ｍ２ａ、Ｍ２ｂ…バッファ
【図１】
2007279517.tif 000012
【図２】
2007279517.tif 000013
【図３】
2007279517.tif 000014
【図４】
2007279517.tif 000015
【図５】
2007279517.tif 000016
【図６】
2007279517.tif 000017
【図７】
2007279517.tif 000018
【図８】
2007279517.tif 000019
【図９】
2007279517.tif 000020
【図１０】
2007279517.tif 000021
【図１１】
2007279517.tif 000022
【図１２】
2007279517.tif 000023
【図１３】
2007279517.tif 000024
【図１４】
2007279517.tif 000025