(57)【要約】  本発明は、複数のオーディオソース信号（ｓｌ，ｓｐ）を混合することによって得られる多チャンネル混合デジタルオーディオ信号（ｓｍｉｘ）中に含まれる単数又は複数の特定のデジタルオーディオソース信号を分離するための方法とそれに関連する装置１とに関する。本発明に依れば、前記方法は、前記混合信号中に含まれる前記単数又は複数の特定デジタルソース信号を表す値から、当該単数又は複数の特定ソース信号の振幅絶対値（ｍｏｄｕｌｕｓ  ｏｆ  ａｍｐｌｉｔｕｄｅ）又は正規化パワー（ｎｏｒｍａｌｉｚｅｄ  ｐｏｗｅｒ）を決定し、次に、各特定ソース信号（ｓｉ）を得るために前記混合信号の線形拘束条件下での最小分散空間フィルタリングを行う。前記フィルタリングは、前記混合信号の少なくとも二つのチャンネル間における前記特定ソース信号の分布に基づいて行われ、前記特定ソース信号の振幅絶対値又は正規化パワーがフィルタの線形拘束条件として使用される。
2015530619.tif 000002
【特許請求の範囲】
【請求項１】
多チャンネル混合デジタルオーディオ信号（ｓｍｉｘ）中に含まれる単数又は複数の特定デジタルオーディオソース信号（ｓｉ）を分離する方法であって、該混合信号が複数のデジタルオーディオソース信号（ｓｉ，．．．，ｓｐ）を混合することによって得られ、単数又は複数の該特定ソース信号の代表値（Φｉ）を含む方法において、
前記混合信号中に含まれる単数又は複数の前記特定ソース信号を表す値（Φｉ）から、当該単数又は複数の特定ソース信号の振幅絶対値（ｍｏｄｕｌｕｓ  ｏｆ  ａｍｐｌｉｔｕｄｅ）又は正規化パワー（ｎｏｒｍａｌｉｚｅｄ  ｐｏｗｅｒ）（φ’ｉ）を決定する工程（９）と、
その後、各前記特定ソース信号（ｓ’ｉ）を少なくとも部分的に得るための線形拘束最小分散空間フィルタリングであって、前記混合信号の少なくとも二つのチャンネル間における前記特定ソース信号の分布（ａｉ）に基づいて行われ、前記特定ソース信号の前記振幅絶対値又は前記正規化パワー（φ’ｉ）がフィルタの線形拘束条件として使用されるフィルタリングを実行する工程（１０）と、を有する方法。
【請求項２】
前記混合信号は、当該混合信号の少なくとも二つのチャンネルに関して単数又は複数の前記特定ソース信号の代表値（Φｉｌ，Φｉｒ）を含み、空間フィルタリングを実行する前に、前記特定ソース信号の前記代表値を使用して前記混合信号（ｓｍｉｘｌ，ｓｍｉｘｒ）の少なくとも二つの前記チャンネル間における各前記特定ソース信号（ｓｉ）の分布（ａｉ１，ａｉｒ）を決定する請求項１記載の方法。
【請求項３】
前記混合信号（ｓｍｉｘｌ，ｓｍｉｘｒ）の前記少なくとも二つのチャンネル間における単数又は複数の前記特定ソース信号の前記分布（ａｉ）は、例えば前記混合信号中で、入力として受け取られる請求項１記載の方法。
【請求項４】
単数又は複数の前記特定ソース信号の前記振幅絶対値又は前記正規化パワー（φ’ｉ）を決定する工程は、時間−周波数平面において単数又は複数の前記特定ソース信号の前記代表値（Φｉ）を決定する工程を含む請求項１〜３のいずれか一項に記載の方法。
【請求項５】
単数又は複数の前記特定ソース信号の前記振幅絶対値又は前記正規化パワー（φ’ｉ）を決定する工程は、例えば透かし入れ（ウォーターマーキング（ｗａｔｅｒｍａｒｋｉｎｇ））によって、前記混合信号中に挿入された前記特定ソース信号の代表値（Φｉ）を抽出する工程を含む請求項１〜４のいずれか一項に記載の方法。
【請求項６】
単数又は複数の前記特定ソース信号の前記振幅絶対値又は前記正規化パワー（φ’ｉ）は空間−時間値である請求項１〜５のいずれか一項に記載の方法。
【請求項７】
多チャンネル混合デジタルオーディオ信号（ｓｍｉｘ）中に含まれる単数又は複数の特定デジタルオーディオソース信号（ｓｉ）を分離する装置（１）であって、該混合信号（ｓｍｉｘ）が複数のデジタルオーディオソース信号（ｓｉ，．．．，ｓｐ）を混合することによって得られ、単数又は複数の該特定ソース信号の代表値（Φｉ）を含む装置において、
前記混合信号中に含まれる単数又は複数の前記特定ソース信号の代表値（Φｉ）から、単数又は複数の前記特定ソース信号の振幅絶対値（ｍｏｄｕｌｕｓ  ｏｆ  ａｍｐｌｉｔｕｄｅ）又は正規化パワー（ｎｏｒｍａｌｉｚｅｄ  ｐｏｗｅｒ）（φ’ｉ）を決定する決定手段（４）と、
前記混合信号（ｓｍｉｘ）から各前記特定ソース信号（ｓ’ｉ）を少なくとも部分的に単離するように構成された線形拘束最小分散空間フィルタ（５）であって、前記混合信号（ｓｍｉｘｌ，ｓｍｉｘｒ）の少なくとも二つのチャンネル間における前記特定ソース信号（ｓ’ｉ）の分布（ａｉ）に基づき、前記特定ソース信号の前記振幅絶対値又は前記正規化パワー（φ’ｉ）が線形拘束条件として使用されるフィルタと、を有する装置。
【請求項８】
前記混合信号は、当該混合信号の少なくとも二つのチャンネルに関して単数又は複数の前記特定ソース信号の代表値（Φｉ）を含み、
前記混合信号から、及び、前記特定ソース信号の前記代表値（Φｉ）から、前記混合信号の少なくとも二つの前記チャンネル間における各前記特定ソース信号の分布（ａｉ）を決定する決定手段を有する請求項７記載の装置。
【請求項９】
例えば透かし入れ（ウォーターマーキング（ｗａｔｅｒｍａｒｋｉｎｇ））によって、前記混合信号中に挿入された単数又は複数の前記特定ソース信号の前記代表値（Φｉ）を抽出するための抽出手段（３）を有する請求項７又は８記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、総合（ｏｖｅｒａｌｌ）デジタルオーディオ信号を構成するいくつかのソース信号を分離する方法に関する。また、本発明は、前記方法を実行する装置にも関する。
【背景技術】
【０００２】
信号の混合は、混合信号と称される単数又は複数のコンポジット信号を得るために、ソース信号と称される複数の信号を合計することから成る。特にオーディオ用途においては、混合は、単純に、ソース信号を合算することから成るか、又は、更に、それらを合算する前後に信号をフィルタリングする工程、を含む場合もある。更に、コンパクトディスク（ＣＤ）オーディオ等のある種の用途の場合には、ステレオ信号の二つ（左右）のチャンネル又は経路に対応する二つの混合信号を形成するために、前記ソース信号を、様々な方法で混合することができる。
【０００３】
ソースの分離は、それらのソース信号から成るある個数の異なる混合信号の観察から、ソース信号を推定することからなる。その目的は、一般に、単数又は複数の標的ソース信号をハイライトすること、あるいは可能な場合には、それらを完全に抽出することにある。ソース分離は、特に、利用可能な混合信号の数が混合信号内に含まれるソース信号の数よりも少ない「劣決定的（ｕｎｄｅｒｄｅｔｅｒｍｉｎｅｄ）」と称される状況においては特に困難である。その場合、ソース信号内に含まれるものと比較して混合信号内において利用可能な情報が少ないことにより、抽出は非常に困難であるか、もしくは実質的に不可能である。一つの代表的な例は、ＣＤオーディオ音楽信号であるが、その理由は、そこでは利用可能な二つのステレオチャンネルしか無く（すなわち、左側混合信号と右側混合信号）、これら二つの信号は一般に冗長性が高く、潜在的に大きな数のソース信号に当てはまるからである。
【０００４】
ソース信号の分離にはいくつかのタイプのアプローチが存在し、これらは、ブラインド分離、計算的聴覚情景分析（ｃｏｍｐｕｔａｔｉｏｎａｌ  ａｕｄｉｔｏｒｙ  ｓｃｅｎｅ  ａｎａｌｙｓｉｓ）、そしてモデルに基づく分離、を含む。ブラインド分離が最も一般的な形態であり、ここでは、ソース信号に関して、又は、混合信号の性質に関して事前に知られている情報は存在しない。次に、ソース信号と混合信号に関していくつかの仮定がなされ（たとえば、ソース信号は統計的に独立していると仮定する）、それらの仮定に基づく判断基準を最大化することによって（たとえば、分離装置によって得られた信号の独立性を最大化することによって）、分離システムのパラメータを推定する。しなしながら、この方法は、一般に、多数の混合信号が利用可能である時（少なくとも、ソース信号と同じ数存在する時）に使用されるものであり、従って、それは混合信号の数がソース信号の数よりも少ない劣決定系状況には適用することができない。  
【０００５】
計算的聴覚情景分析は、一般に、ソース信号を部分（ｐａｒｔｉａｌｓ）としてモデル化することからなるが、混合信号は明確には分離されない。この方法は、我々の耳によって行われるのと同じように、ソース信号を分離する人間の聴覚システムのメカニズムに基づいている。特に、D.P.W. Ellis, Using knowledge to organize sound: The prediction-driven approach to computational auditory scene analysis, and its application to speech/non-speech mixture (Speech Communication, 27 (3), pp.281-298, 1999); D. Godsmark and G.J. Brown, A blackboard architecture for computational auditory scene analysis (Speech Communication, 27 (3), pp. 351-366, 1999); およびT. Kinoshita, S. Sakai, and H. Tanaka, Musical source signal identification based on frequency component adaptation (In Proc. IJCAI Workshop on CASA, pp. 18-24, 1999)を参照。しかしながら、現時点において、計算的聴覚情景分析は、分離されたソース信号の品質に関して不十分であるという問題がある。
【０００６】
もう一つの分離方式は、適応機能に基づく混合物の分解によるものである。二つの主要なカテゴリ、即ち、吝嗇性（ｐａｒｓｉｍｏｎｉｏｕｓ）時間分解と吝嗇性周波数分解、がある。
【０００７】
吝嗇性時間分解では混合物の波形が分解されるのに対して、吝嗇性周波数分解では分解されるのはそのスペクトル表示であり、それによってディクショナリのエレメントを構成する「アトム（ａｔｏｍｓ）」と呼ばれるエレメント関数の合計を得る。ディクショナリのタイプと最も可能性の高い対応の分解とを選択するために様々なアルゴリズムを使用することができる。時間ドメインに関して、具体的には、L. Benaroya, Representations parcimonieuses pour la separation de sources avec un seul capteur[Parsimonious representations for separating sources with a single sensor] (Proc. GRETSI,2001) 又はP.J. Wolfe and S.J. Godsill, A Gabor regression scheme for audio signal analysis (Proc. IEEE Acoustics, pp. 103-106, 2003)を挙げることができる。Gribonval (R. Gribonval and E. Bacry, Harmonic decomposition of audio signals with matching pursuit, IEEE Trans. Signal Proc., 51 (1) pp. 101-112,2003)、によって提案された方法において、分解アトムは、独立部分空間（ｉｎｄｅｐｅｎｄｅｎｔ  ｓｕｂｓｐａｃｅｓ）に分類され、それによってハーモニック部分のグループの抽出を可能にする。この方法の制約の一つは、信号に適合しないということであり、たとえばＧａｂｏｒアトム等のアトムの汎用ディクショナリは良好な結果を提供しない。更に、それらの分解が有効であるためには、前記ディクショナリが各タイプの楽器（ｉｎｓｔｒｕｍｅｎｔ）の波形の変換形態のすべてを含むことが必要である。それにより、予測（ｐｒｏｊｅｃｔｉｏｎ）とそれによる分解が有効であるためには、分解ディクショナリは極めて大きな量なものであることが必要となる。
【０００８】
時間状況において現れる変換下での不変性の問題を軽減するために、吝嗇的周波数分解のアプローチが存在する。具体的には、M.A. Casey and A. Westner, Separation of mixed audio sources by independent subspace analysis, Proc. Int. Computer Music Conf., 2000を挙げることができ、これは独立部分空間分析（ＩＳＡ）を紹介している、その分析は、アトムを基に、混合信号の短時間振幅スペクトル（短時間フーリエ変換（ＳＴＦＴ）によって計算される）を分解し、その後、ソースを別々に再同期化するために、それらアトムを、その各部分空間が一つのソースに対して特異的な、独立部分空間にグループ化することからなる。しかしながら、それは、前記ＳＴＦＴスペクトル分析の解像度、スペクトルドメインにおけるソースの重畳、そして、スペクトル分離が振幅に制限されること（再同期化信号の位相が混合信号の位相である）など、一般にいくつかの要因によって制限される。したがって、スペクトルドメインにおける音情景の複雑性（種々の成分の相当な重複）、そして、混合信号中の各成分の寄与が時間関数として変化する仕方により、混合信号を独立した部分空間の合計としてあらわすことは一般に困難である。方法は、多くの場合、良好に制御される「単純化」混合信号に基づいて評価される（ソース信号はＭＩＤＩ楽器、又は、分離するのが比較的簡単な、数の少ない、楽器である）。
【０００９】
ソース分離のもう一つの方法は、「インフォームド（ｉｎｆｏｒｍｅｄ）」ソース分離であり、単数又は複数のソース信号に関する情報が混合信号と共にデコーダに伝送される。次に、アルゴリズムと前記情報とに基づき、デコーダは混合信号から、少なくとも部分的に、少なくとも１つのソース信号を分離することができる。インフォームドソース分離の一例は、M. Parvaix and L. Girin, Informed source separation of linear instantaneous underdetermined audio mixtures by source index embedding, IEEE Trans. Audio Speech Lang. Process., Vol. 19, pp. 1721-1733、2011年8月、によって記載されている。前記デコーダに伝送される情報は、特に、種々の周波数範囲について、前記混合信号中の二つの主要なソース信号を特定する。しかしながら、混合信号の共通の周波数範囲において同時に寄与している二つのソース信号が存在する場合には、そのような方法は、必ずしも適さず、そのような状況下では、少なくとも１つのソース信号が無視されることになり、それによって前記ソース信号の再構成における「スペクトルホール（ｓｐｅｃｔｒａｌ  ｈｏｌｅ）」を作り出す。
【００１０】
又、特に、遠隔通信の分野において、複数のセンサを使用してピックアップされた信号を、これらセンサに対する三次元空間におけるこれらの信号の位置の関数としてフィルタリングすることも知られている。これは、他の方向からの信号をフィルタリング除去しながら、ある空間方向における信号に優先権を与える空間フィルタリング（又は実際には「ビームフォーミング」）を構成する。そのようなフィルタの一例は、線形拘束最小分散（ＬＣＭＶ）空間フィルタである。そのようなフィルタの一例が具体的には文献ＥＰ  １  ６３３  １２１に開示されている。
【先行技術文献】
【特許文献】
【００１１】
【特許文献１】欧州特許出願公開第１６３３１２１号明細書
【非特許文献】
【００１２】
【非特許文献１】エリス（D. P. W. Ellis）、「Using knowledge to organize sound: The prediction-driven approach to computational auditory scene analysis, and its application to speech/non-speech mixture」、（仏国）、Speech Communication、第27巻、第3号、1999年、p．281-298
【非特許文献２】ゴズマーク（D. Godsmark），ブラウン（G.J. Brown）、「A blackboard architecture for computational auditory scene analysis」（仏国）、Speech Communication、第27巻、第3号、1999年、p．351-366
【非特許文献３】キノシタ（T. Kinoshita），サカイ（S. Sakai），タナカ（H. Tanaka）、「Musical source signal identification based on frequency component adaptation」、（米国）、IJCAI Workshop on CASA、1999年、p．18-24
【非特許文献４】ベネローヤ（L. Benaroya）、「Representations parcimonieuses pour la separation de sources avec un seul capteur（Parsimonious representations for separating sources with a single sensor）] （仏国）、GRETSI、2001年
【非特許文献５】ウォルフ（P.J. Wolfe），ゴズシル（S.J. Godsill）、「A Gabor regression scheme for audio signal analysis」、（米国）、IEEE Acoustics、2003年、p．103-106
【非特許文献６】グリボンバル（R. Gribonval），バクリー（E. Bacry）、「Harmonic decomposition of audio signals with matching pursuit」、（米国）、IEEE Trans. Signal Proc．、 51 (1) pp. 101-112,203)
【非特許文献７】キャシー（M.A. Casey），ウェストナー（A. Westner）、「Separation of mixed audio sources by independent subspace analysis」、（米国）、Int. Computer Music Conf.、2000年
【非特許文献８】パーバイック（M. Parvaix），ギリン（L. Girin）、「Informed source separation of linear instantaneous underdetermined audio mixtures by source index embedding」、（米国）、IEEE Trans. Audio Speech Lang. Process.、第19巻、2011年8月、p．1721-1733
【発明の概要】
【発明が解決しようとする課題】
【００１３】
本発明の課題は、従って、単数又は複数の混合信号に含まれるソース信号をより効果的に分離することを可能にする方法を提案することにある。
【課題を解決するための手段】
【００１４】
この目的のために、一実施例において、たとえばステレオ信号などの混合マルチチャンネルデジタルオーディオ信号（すなわち、少なくとも二つのチャンネルを有する信号）中に含まれる単数又は複数の特定のデジタルオーディオソース信号を、少なくとも部分的に、分離する方法が提供される。前記混合信号は、複数のデジタルオーディオソース信号を混合することによって得られ、それは、単数又は複数の前記特定のソース信号の代表値を含む。前記方法は、前記混合信号中に含まれる単数又は複数の前記特定ソース信号を表す値から、単数又は複数の前記特定ソース信号の振幅絶対値又は正規化パワーを決定する工程、及び、その後の行程として、各特定ソース信号を少なくとも部分的に得るために線形拘束最小分散空間フィルタリングであって、前記混合信号の少なくとも二つのチャンネル間における前記特定ソース信号の分布に基づくものであり、且つ、前記特定ソース信号の振幅絶対値又は正規化パワーが前記フィルタの線形拘束条件として使用されるフィルタリングを行う工程を含む。
【００１５】
前記代表値は、前記特定ソース信号の時間、空間若しくは空間−時間分布、又は、前記混合信号中における前記特定ソース信号の時間、空間若しくは空間−時間寄与とすることができる。従って、前記ソース信号の前記代表値は、振幅絶対値又は正規化パワー（すなわち、エネルギにおいては、振幅絶対値の二乗に対応する）に含まれるものとすることができる。従って、前記代表値は、振幅絶対値又は正規化パワー（又はエネルギ）値とすることができる。
【００１６】
例えば、前記代表値は、時間−周波数平面における複数のゾーン（又は点）の場合には、前記特定ソース信号の時間、空間又は空間−時間分布、あるいは、前記混合信号中における前記特定ソース信号の時間、空間又は空間−時間寄与、とすることができる。そのような状況下において、単数又は複数の前記特定ソース信号の前記振幅絶対値又は正規化パワーは、時間−周波数平面において決定することができ、前記振幅絶対値と正規化パワーは空間−時間値となる。
【００１７】
前記時間−周波数平面への変換又は表示は、前記ソース信号を、時間と周波数との二つのパラメータの関数として、エネルギ（又は正規化パワー）又は振幅絶対値（すなわち、エネルギの平方根）として表現することから成る。これは、前記ソース信号の周波数コンテンツが時間の関数として、エネルギ又は絶対値においていかに変化するかに対応する。従って、ある瞬間、ある周波数において、その周波数とその瞬間における前記信号の成分に対応する正の実数値が得られる。時間−周波数表現の理論式と実用的具体化は既に記載されている（L. Cohen: Time-frequency distributions, a review, Proceedings of the IEEE, Vol. 77, No. 7, 1989; F. Hlawatsch, F. Auger: Tempo-frequence, concepts et outils [Time-frequency, concepts and tools], Hermes Science, Lavoisier 2005; P. Flandrin: Temps frequence [Time frequency], Hermes Science, 1998）。
【００１８】
従って、上述した方法を使用して、それらの様々な信号に関する仮定を行うことなく（従来の統計的仮定、即ち、ソース信号の独立性、ソース信号のゼロ平均、ガウス分布、ではなく）、特定ソース信号を効果的に分離するために、混合信号に含まれる情報によって改善された空間フィルタリングを使用することが可能となる。具体的には、前記方法は、ソース信号を単離するために（空間フィルタリング）、混合信号の種々のチャンネル間における各ソース信号の分布に基づく。線形拘束最小分散フィルタを利用することによって、拘束条件として、ソース信号の振幅絶対値又は正規化パワーを使用して、高性能な空間分離が達成される。従って、混合信号の特定のソース信号を空間的に脱相関するとともに、それと同時に、分離された信号の振幅の所望のレベルに適合させることが可能である。これによって、既知の特定ソース信号の代表値を考慮に入れることによって空間フィルタリング工程が改善される。
【００１９】
特に、たとえば、分離されるべきソース信号と同じ数の空間フィルタを使用することによって、混合信号中に含まれる種々の特定ソース信号を同時に単離することができる。
【００２０】
好ましくは、前記フィルタリングは、更に、前記特定ソース信号の振幅絶対値又は正規化パワーにも基づく。より正確には、前記空間フィルタリング工程は、前記特定ソース信号の前記振幅絶対値又は前記正規化パワーと、混合信号の少なくとも二つのチャンネル間における前記特定ソース信号の分布と、を用いた空間相関マトリックスのモデル化を含むことができる。
【００２１】
好ましくは、前記混合信号は、当該混合信号の少なくとも二つのチャンネルについて単数又は複数の前記特定ソース信号の代表値を含み、空間フィルタリングを行う前に、前記混合信号と前記特定信号の前記代表値を使用して、前記混合信号の前記少なくとも二つのチャンネル間における各特定ソース信号の分布を決定する。
【００２２】
あるいは、前記混合信号の少なくとも二つのチャンネル間における単数又は複数の前記特定ソース信号の分布を、入力として、たとえば前記混合信号中に受け入れることができる。
【００２３】
換言すると、前記混合信号の異なるチャンネル間での前記特定ソース信号の分布は、前記分離法を実行する時、たとえば、前記特定ソース信号の前記代表値と同時に提供することができ、あるいは、それは、前記多チャンネル混合信号と前記特定ソース信号の前記代表値とに基づく前記分離法の間に求めることができる。
【００２４】
一実施例において、単数又は複数の前記特定ソース信号の振幅絶対値又は正規化パワーの決定工程は、前記混合信号中に、たとえば、透かし入れ（ウォーターマーキング（ｗａｔｅｒｍａｒｋｉｎｇ））によって挿入された前記特定ソース信号の代表値を抽出する工程を含むことができる。代表値の抽出は、前記特定ソース信号の代表値が伝送されることから起因するものであって、これは、混合信号とともに、たとえば、前記情報が前記混合信号中において不可聴的に透かし入れされる又は挿入される時に、あるいは、前記代表値の伝送専用の混合信号の特定チャンネルを介して、行うことができる。
【００２５】
別の態様において、本発明は、多チャンネル混合オーディオソース信号中に含まれる単数又は複数の特定のデジタルオーディオソース信号を少なくとも部分的に分離する装置を提供する。前記混合信号は、複数のデジタルオーディオソース信号を混合することによって得られ、単数又は複数の前記特定ソース信号の代表値を含んでいる。
【００２６】
前記装置は、単数又は複数の前記特定ソース信号の振幅絶対値又は正規化パワーを、前記混合信号中に含まれる単数又は複数の前記特定ソース信号の代表値から決定するための決定手段、そして、前記混合信号から各特定ソース信号を少なくとも部分的に単離するように構成された線形拘束最小分散空間フィルタであって、前記混合信号の少なくとも二つのチャンネル間における前記特定ソース信号の分布に基づき、前記特定ソース信号の前記振幅絶対値又は正規化パワーが線形拘束条件として使用されるフィルタ、を有する。
【００２７】
好ましくは、前記混合信号はステレオ信号である。
【００２８】
好ましくは、前記混合信号は、当該混合信号の少なくとも二つのチャンネルについて単数又は複数の前記特定ソース信号の代表値を含み、そして、前記装置は、前記混合信号と前記特定ソース信号の前記代表値とから、前記混合信号の前記少なくとも二つのチャンネル間における各特定ソース信号の分布を決定するための決定手段を有する。
【００２９】
好ましくは、前記振幅絶対値又は正規化パワーを決定するための手段は、たとえば透かし入れによって、前記混合信号中に挿入された単数又は複数の前記特定ソース信号の前記代表値を抽出する抽出手段を含む。
【００３０】
本発明は、非限定的具体例を介して記載され、添付の図面に図示される特定の実施例を参照することによってより良く理解されるであろう。
【図面の簡単な説明】
【００３１】
【図１】本発明の分離装置の実施例の略図
【図２】本発明の分離方法のフローチャート
【発明を実施するための形態】
【００３２】
以下の詳細説明において、前記混合信号ｓｍｉｘ（ｔ）は左チャンネルｓｍｉｘｌ（ｔ）と右チャンネルｓｍｉｘｒ（ｔ）とを有するステレオ信号であり、ｐソース信号ｓ１（ｔ），．．．，ｓｐ（ｔ）を含むものとされる。前記混合信号ｓｍｉｘ（ｔ）は、ｐソース信号と混合行列Ａとの積として記載することができる。
【００３３】
Ａ＝［ａ１ｌ，．．．，ａｐｌ］＝［ａ１，．．．，ａｐ］
［ａ１ｒ，．．．，ａｐｒ］
ここで、ａｉ＝［ａｉｌ，ａｐｒ］Τ（Τは前記行列の転置行列を表す）であり、ａｉｌおよびａｉｒは前記混合信号のチャンネルのそれぞれにおける前記ソース信号ｉの分布を表す（（ａｉｌ）２＋（ａｉｒ）２＝１）。
【００３４】
より正確には、前記係数ａｉｌとａｉｒは、ａｉｌ＝ｓｉｎ（θｉ）およびａｉｒ＝ｃｏｓ（θｉ）の形式で書くことができ、ここで、θｉは前記混合信号の前記二つのチャンネル間における前記ソース信号ｉのバランスを表す。
【００３５】
言い換えると、以下が成り立つ
【００３６】
ｓｍｉｘ（ｔ）＝Ａ・ｓ（ｔ）
ここで、
ｓｍｉｘ（ｔ）＝［ｓｍｉｘｌ（ｔ），ｓｍｉｘｒ（ｔ）］Τ
ｓ（ｔ）＝［ｓ１（ｔ），．．．，ｓｐ（ｔ）］Τ
（Τは転置行列（ｔｒａｎｓｐｏｓｅ）を表す）である。
【００３７】
更に、以下の記載において、前記信号はオーディオ信号と見なされる。
【００３８】
本明細書のコンテクストにおいて、前記時間−周波数平面における変換として短時間フーリエ変換が考慮される。従って、前記時間−周波数平面における前記ソース信号ｉの変換値（ｔｒａｎｓｆｏｒｍ）は、以下のように書き表される。
【００３９】
Ｓｉ（ｋ，ｍ）＝Σｓｉ（ｋ＋ｎ）ｆ（ｎ）ｅ−２ｉπｍｎ／Ｎ
ここで、Ｎは定数、ｆ（ｎ）は前記短時間フーリエ変換の窓関数である。
【００４０】
以下の記載において、前記空間フィルタの線形拘束条件は正規化パワーであるとみなされる。従って、所与のソース信号ｓｉ、前記時間−周波数平面における所与の点（ｋ，ｍ）に関して、前記正規化エネルギ又はパワーφｉ（ｋ，ｍ）は以下のように得られる。
【００４１】
φｉ（ｋ，ｍ）＝｜Ｓｉ（ｋ，ｍ）｜２
【００４２】
従って、前記ソース信号を表す値は、｜Ｓｉ（ｋ，ｍ）｜（絶対値の値）又はφｉ（ｋ，ｍ）（前記正規化パワー値に等しいエネルギ値）。前記ソース信号を表す値は、前記エネルギ値の対数とすることも可能である。
【００４３】
Φｉ＝１０ｌｏｇ１０（φｉ（ｋ，ｍ））
【００４４】
前記ソース信号を表す値は、更に、例えば、前記エネルギスペクトルの周波数解像度を下げることによって、又は、前記代表値の定量化をヒトの耳の感度に適合させることによって、前記ソース信号に対して処理を行った後に決定することも可能である。これにより、所望の音質を維持しつつ、サイズにおいてより嵩張ることのないソース信号の代表値表示を得ることが可能となる。
【００４５】
下記の記載において、前記ソース信号を表す値は、定量化された正規化パワー（又はエネルギ）値Φｉ（ｋ，ｍ）と見なされる。
【００４６】
前記ソース信号の代表値Φｉ（ｋ，ｍ）は、前記分離装置又はデコーダに伝送される。それらは、専用のチャンネル（前記混合信号を形成するために前記ステレオチャンネルに関連付けられている）を介して、あるいは、透かし入れによって又は前記混合信号の未使用ビットを使用することにより前記混合信号に組み込まれることによって、伝送されることができる。未使用ビットを利用する場合、前記分離装置は、入力として前記混合信号を受け取り、出力として前記ソース信号の前記代表値を提供する代表値抽出手段を備えることができる。
【００４７】
同様に、前記分離装置は、更に、前記混合信号の各チャンネルにおける前記ソース信号の分布：ａ１ｌ，．．．，ａｐｌ，ａ１ｒ，．．．，ａｐｒを受け取ることができる。これらの分布は、（前記混合信号を形成するために前記ステレオチャンネルに関連付けられた、又は前記ステレオチャンネルから独立した）専用のチャンネルを介して、あるいは、たとえば、透かし入れによって又は前記混合信号の未使用ビットを利用することにより前記混合信号に組み込まれることによって、伝送することができる。未使用ビットを利用する場合、前記分離装置は、入力として前記混合信号を受け取り、出力として前記ソース信号の前記分布を提供する、ソースチャンネル分布抽出手段を備えることができる。前記代表値抽出手段および前記分布抽出手段は同じ単一の手段から構成することができる。
【００４８】
あるいは、前記分離装置は、前記ソース信号の前記分布を決定するための決定手段を備えることができ、この決定手段は、入力として、前記混合信号と前記代表値Φｉ（ｋ，ｍ）とを受け取り、出力として、前記ソース信号の分布ａｉｌ，ａｉｒを提供するものとすることができる。これは、特に、前記混合信号の各チャンネルが前記混合信号の前記チャンネルに関してソース信号の代表値を含む場合、換言すると、あるソース信号の代表値が混合信号の各チャンネルに関して同じでなく、混合信号の異なるチャンネルに関して同じソース信号の代表値間の違いによって、前記混合信号の異なるチャンネル間における前記ソース信号の分布を決定することができる場合に可能である。
【００４９】
図１は、混合信号ｓｍｉｘ中に含まれる特定のソース信号を分離するための分離装置１の実施例の略図である。前記分離装置１は、入力として、前記混合信号ｓｍｉｘのステレオチャンネルａｍｉｘ１およびｓｍｉｘｒを受け取り、そして、それは、出力として、ｌが１からｐに変化しつつ、少なくとも部分的に分離される特定ソース信号ｓ’ｉを提供する。前記分離装置１は、前記特定ソース信号の代表値Φｉ（ｋ，ｍ）を使用することによって、前記混合信号ｓｍｉｘに含まれる複数の特定ソース信号を、少なくとも部分的に、提供する。
【００５０】
本記載において、前記分離装置１は、入力として、たとえば、透かし入れによって、前記特定ソース信号の代表値Φｉ（ｋ，ｍ）が挿入されている混合デジタルオーディオ信号ｓｍｉｘｌ（ｔ）およびｓｍｉｘｒ（ｔ）のチャンネルと、好ましくは、更に、前記混合デジタルオーディオ信号ｓｍｉｘｒ（ｔ）およびｓｍｉｘｌ（ｔ）の二つのチャンネル間における前記特定ソース信号の分布ａ１ｌ，．．．，ａｐｌ，ａ１ｒ，．．．，ａｐｒを受け取る。
【００５１】
前記分離装置１は、変換手段２、抽出手段３、処理手段４、フィルタ手段５、そして逆変換手段６を有する。
【００５２】
前記変換手段２は、入力として、前記混合デジタルオーディオ信号ｓｍｉｘｌ（ｔ）およびｓｍｉｘｒのチャンネルを受け取り、出力として、前記時間−周波数平面における前記混合信号のチャンネルの変換値Ｓｍｉｘｌ（ｋ，ｍ）およびＳｍｉｘｒ（ｋ，ｍ）を提供する。
【００５３】
前記抽出手段３は、入力として、前記時間−周波数平面における前記混合信号のチャンネルの変換値Ｓｍｉｘｌ（ｋ，ｍ）およびＳｍｉｘｒ（ｋ，ｍ）を受け取り、そして、前記混合信号に含まれる前記特定ソース信号の代表値Φｉ（ｋ，ｍ）を提供する。適当な場合、前記抽出手段３は、更に、それらが混合信号に挿入されている場合、前記混合デジタルオーディオ信号の二つのチャンネルｓｍｉｘｒ（ｔ）およびｓｍｉｘｌ（ｔ）間における前記特定ソース信号の分布ａ１ｌ，．．．，ａｐｌ，ａ１ｒ，．．．，ａｐｒを提供する。従って、前記抽出手段３は、前記混合信号から、それに対して、たとえば、透かし込みによって加えられた代表値を後に抽出し、それらを混合信号から単離することを可能にする。次に、代表値Φｉ（ｋ，ｍ）が前記処理手段４に伝送され、適当な場合には、前記分布ａ１ｌ，．．．，ａｐｌ，ａ１ｒ，．．．，ａｐｒが前記フィルタ手段５へと伝送される。
【００５４】
尚、前記抽出手段３は、入力として、前記混合信号のチャンネルｓｍｉｘｒ（ｔ）およびｓｍｉｘｌ（ｔ）を直接受け取ることも可能である。
【００５５】
前記処理手段４は、前記時間−周波数平面において分離されるべき前記ソース信号の前記正規化パワーφ’ｉ（ｋ，ｍ）の推定値を決定するべく、前記抽出手段３によって受け取られた前記代表値Φｉ（ｋ，ｍ）を処理する。次に、分離されるべき前記ソース信号の前記正規化パワーの推定値φ’ｉ（ｋ，ｍ）が前記フィルタ手段５に伝送される。
【００５６】
このように、前記変換手段２によって提供された時間−周波数平面における混合信号のチャンネルの変換値（ｔｒａｎｓｆｏｒｍｓ）Ｓｍｉｘｒ（ｋ，ｍ）およびＳｍｉｘｌ（ｋ，ｍ）、特定ソース信号の正規化パワーの推定値φ’ｉ（ｋ，ｍ）、そして混合デジタルオーディオ信号の二つのチャンネルｓｍｉｘｒ（ｔ）およびｓｍｉｘｌ（ｔ）間における前記特定ソース信号の分布ａ１ｌ，．．．，ａｐｌ，ａ１ｒ，．．．，ａｐｒが前記フィルタ手段５に提供される。
【００５７】
前記フィルタ手段５は、空間フィルタリングを実行することによって、各特定ソース信号の推定値Ｓ’ｉ（ｋ，ｍ）を得るべく機能する。前記時間−周波数平面において、前記フィルタ手段５は、線形拘束最小分散空間フィルタリングを実行することによって特定ソース信号を単離するように機能する。より詳しくは、前記フィルタ手段５は、特定ソース信号を単離するために、前記混合信号の二つのチャンネル間における当該特定ソース信号の分布に基づく。従って、これは空間フィルタリング又は「ビームフォーミング」である。更に、前記フィルタリングと得られるソース信号の推定値とを改善するために、前記空間フィルタは、元のソース信号により近い推定値を得るための線形拘束条件として分離されるべき特定ソース信号の正規化パワーを使用する。
【００５８】
より正確には、前記時間−周波数平面において、以下が適用される。
【００５９】
Ｓｍｉｘ（ｋ，ｍ）＝Ａ・Ｓ（ｋ，ｍ）
ここで、
Ｓｍｉｘ（ｋ，ｍ）＝［Ｓｍｉｘｌ（ｋ，ｍ），Ｓｍｉｘｒ（ｋ，ｍ）］Τ
Ｓ（ｋ，ｍ）＝［Ｓ１（ｋ，ｍ），．．．，Ｓｐ（ｋ，ｍ）］］Τ
である。
【００６０】
次に、各混合信号Ｓｍｉｘｒ（ｋ，ｍ）およびＳｍｉｘｌ（ｋ，ｍ）は、以下の線形空間フィルタリングを使用して、特定ソース信号の推定値Ｓ’１（ｋ，ｍ），．．．，Ｓ’ｐ（ｋ，ｍ）に分解される。
【００６１】
Ｓ’１（ｋ，ｍ）＝ｗｉｋｌ・Ｓｍｉｘｌ（ｋ，ｍ）＋ｗｉｋｒ・Ｓｍｉｘｒ（ｋ，ｍ）
＝ＷｉｋΤ・Ｓｍｉｘ（ｋ，ｍ）
ここで、
Ｗｉｋ＝［ｗｉｋｌ，ｗｉｋｒ］Τ
Ｓ’ｉ（ｋ，ｍ）＝［Ｓ’ｉｌ（ｋ，ｍ），Ｓ’ｉｒ（ｋ，ｍ）］Τ
である。
【００６２】
Ｗｉｋは、前記混合信号Ｓｍｉｘ（ｋ，ｍ）からサブバンドｋのｉ番目のソース信号の推定値Ｓ’ｉ（ｋ，ｍ）を得る機能を有する空間フィルタ又は「ビームフォーミング」である。
【００６３】
線形拘束最小分散空間フィルタにおいて、フィルタリングされるべき信号を例外として、すべての干渉するソース信号の合計はノイズと見なされる。従って、前記混合信号は以下のように書き換えることができる。
【００６４】
Ｓｍｉｘ（ｋ，ｍ）＝ａｉ・Ｓｉ（ｋ，ｍ）＋ｒ（ｋ，ｍ）
【００６５】
ここで、ｒ（ｋ，ｍ）は他のソース信号の合計である。
【００６６】
前記推定値Ｓ’ｉ（ｋ，ｍ）は、平均ノイズパワー、又は同様に、分離されるべきソース信号の方向における前記空間フィルタからの出力の平均パワーを最小化することによって得られる。
【００６７】
Ｐ（θｉ）＝ＷｉｋΤ（ｍ）・Ｒ’Ｓｍｉｘ（ｋ，ｍ）・Ｗｉｋ（ｍ）
ここで、ＲＳｍｉｘは、前記混合信号Ｓｍｉｘ（ｋ，ｍ）の二つのチャンネルＳｍｉｘｒ（ｔ）およびＳｍｉｘｌ（ｔ）の空間相関行列である。
【００６８】
以下によって解が与えられる。
【数１】
2015530619.tif 000003
これから次が得られる。
【００６９】
【数２】
2015530619.tif 000004
ここでＲ’Ｓｍｉｘ−１（ｋ，ｍ）＝Σφ’ｉ（ｋ，ｍ）・ａｉ・ａｉＴである。
【００７０】
前記混合信号Ｓｍｉｘ（ｋ，ｍ）に当てはめられると、それによって得られるフィルタは、他の信号からのパワースペクトルに対する寄与を低減する。更に、線形拘束のため、推定されるソース信号のパワーは、前記時間−周波数平面の様々な点に関して、最初のソース信号のパワー（これは、前記解ＷｉｋをＰ（θｉ）を定義する前記等式に再代入することによって確認することができる）に対応する。従って、前記フィルタ手段５は、その脱相関された信号の振幅を所望のレベルに調節しながら、混合信号の残り部分からｉ番目のソース信号を空間的に脱相関するように機能する。  
【００７１】
混合信号中の透かし挿入された情報の量が無視すべき透かし挿入のノイズとしては多すぎる時は、推定されたソース信号の成分を以下のように調節することが可能であることが判る。
【００７２】
Ｓ’ｉ（ｋ，ｍ）＝Ｓ’ｉ（ｋ，ｍ）・（√φ’ｉ（ｋ，ｍ））／｜Ｓ’ｉ（ｋ，ｍ）｜
【００７３】
次に、分離された特定ソース信号の推定値の変換値（ｔｒａｎｓｆｏｒｍｓ）が前記逆変換手段６に伝送される。この手段６は、前記分離されたソース信号の推定値の変換値を、少なくも部分的に、前記ソース信号Ｓｉ（ｔ），．．．，Ｓｐ（ｔ）に対応する時間信号Ｓ’ｉ（ｔ），．．．，Ｓ’ｐ（ｔ）へ変換するように機能する。
【００７４】
図２は、本発明の分離方法の様々な工程を示すフローチャートである。
【００７５】
この方法は、混合信号が時間−周波数平面に変換される第１工程７を有する。その後、工程８において、前記混合信号に透かし込みされた情報、具体的には、代表値と混合信号の少なくとも二つのチャンネル間におけるソース信号の分布が抽出される。工程９において、分離のためのソース信号の正規化パワーが決定され、次に、工程１０において、分離されるべきソース信号の正規化パワーを拘束条件として、線形拘束最小分散空間フィルタリングが実行される。最後に、工程１１において、前記特定ソース信号を少なくとも部分的に得るべく、分離された特定ソース信号の変換の逆である変換が行われる。
【００７６】
このように、オーディオ信号において、本発明の分離システムから、音景観の様々な要素（前記分離装置によって得られる楽器および声）に対して独立的に、オーディオリスニングにおけるいくつかの主要な制御（音量、トーン、エフェクト）を出力することが可能となる。
【図１】
2015530619.tif 000005
【図２】
2015530619.tif 000006
【国際調査報告】
2015530619.tif 000007
2015530619.tif 000008
2015530619.tif 000009
2015530619.tif 000010
2015530619.tif 000011
2015530619.tif 000012