(57)【要約】  複数のオーディオ信号を符号化する方法は、複数のオーディオ信号の各々をランダム・サンプリングおよび量子化することと、サンプリングおよび量子化した複数のオーディオ信号を、複数のオーディオ信号の混合物から複数のオーディオ信号を復号および分離するために使用することができる副情報として符号化することとを含む。複数のオーディオ信号の混合物を復号する方法は、副情報を復号および逆多重化することであって、副情報は複数のオーディオ信号の各々の量子化されたサンプルを含むことと、任意のデータ・ソースから、複数のオーディオ信号の混合物を受信する、または取り出すことと、複数のオーディオ信号に近似した複数の推定オーディオ信号を生成することであって、複数のオーディオ信号の各々の量子化されたサンプルが使用されることとを含む。 図１
2018513996.tif 000002
【特許請求の範囲】
【請求項１】
複数の時間領域オーディオ信号を符号化する方法であって、
前記複数の時間領域オーディオ信号の各々をランダム・サンプリングおよび量子化するステップと、
前記サンプリングおよび量子化した複数の時間領域オーディオ信号を、前記複数の時間領域オーディオ信号の混合物から前記複数の時間領域オーディオ信号を復号および分離するために使用することができる副情報として符号化するステップと、
を含む、前記方法。
【請求項２】
前記ランダム・サンプリングは、既定の疑似ランダム・パターンを使用する、請求項１に記載の方法。
【請求項３】
前記複数の時間領域オーディオ信号の混合物は、到着するにつれて順次符号化される、請求項１または２に記載の方法。
【請求項４】
どのソースがどの期間に無音であるかを割り出すステップと、前記割り出した情報を前記副情報内に符号化するステップとをさらに含む、請求項１から３の何れか１項に記載の方法。
【請求項５】
複数のオーディオ信号の混合物を復号する方法であって、
副情報を復号および逆多重化するステップであって、前記副情報は前記複数のオーディオ信号の各々の量子化された時間領域サンプルを含む前記ステップと、
記憶装置または任意のデータ・ソースから、前記複数のオーディオ信号の混合物を受信する、または取り出すステップと、
前記複数のオーディオ信号に近似した複数の推定オーディオ信号を生成するステップであって、前記複数のオーディオ信号の各々の前記量子化されたサンプルが使用される前記ステップと、
を含む、前記方法。
【請求項６】
前記複数の推定オーディオ信号を生成するステップは、
ランダム非負値から分散テンソルＶを計算するステップと、
前記複数のオーディオ信号の前記量子化されたサンプルのソース・パワー・スペクトルの条件付き期待値を計算するステップであって、推定ソース・パワー・スペクトルＰ（ｆ，ｎ，ｊ）が得られ、かつ、前記複数のオーディオ信号の前記分散テンソルＶおよび複素短時間フーリエ変換（ＳＴＦＴ）係数が使用される、前記ステップと、
前記推定ソース・パワー・スペクトルＰ（ｆ，ｎ，ｊ）から前記分散テンソルＶを繰り返し再計算するステップと、
結果として得られる分散テンソルＶから、ＳＴＦＴ係数
2018513996.tif 000058
の配列を計算するステップと、
ＳＴＦＴ係数
2018513996.tif 000059
の前記配列を前記時間領域に変換するステップであって、前記複数の推定オーディオ信号が得られる前記ステップと、
を含む、請求項５に記載の方法。
【請求項７】
前記複数のオーディオ信号のうちの少なくとも１つについてオーディオ・インペインティングを行うことをさらに含む、請求項５または６に記載の方法。
【請求項８】
前記副情報が、どのオーディオ・ソースがどの時間に無音であるかを示す情報をさらに含み、前記分散テンソルＶを定義する行列ＨおよびＱを自動的に定めることをさらに含む、請求項５から７の何れか１項に記載の方法。
【請求項９】
複数のオーディオ信号を符号化する装置であって、
プロセッサと、
実行されたときに、複数の時間領域オーディオ信号を符号化する方法を前記装置に実行させる命令を記憶したメモリと、
を有し、前記方法は、
前記複数の時間領域オーディオ信号の各々をランダム・サンプリングおよび量子化するステップと、
前記サンプリングおよび量子化した複数の時間領域オーディオ信号を、前記複数のオーディオ信号の混合物から前記複数の時間領域オーディオ信号を復号および分離するために使用することができる副情報として符号化するステップと、
を含む、前記装置。
【請求項１０】
前記ランダム・サンプリングは、既定の疑似ランダム・パターンを使用する、請求項９に記載の装置。
【請求項１１】
複数のオーディオ信号の混合物を復号する装置であって、
プロセッサと、
実行されたときに、複数のオーディオ信号の混合物を復号する方法を前記装置に実行させる命令を記憶したメモリと、
を有し、前記方法は、
副情報を復号および逆多重化するステップであって、前記副情報は前記複数のオーディオ信号の各々の量子化された時間領域サンプルを含む前記ステップと、
記憶装置または任意のデータ・ソースから、前記複数のオーディオ信号の混合物を受信する、または取り出すステップと、
前記複数のオーディオ信号に近似した複数の推定オーディオ信号を生成するステップであって、前記複数のオーディオ信号の各々の前記量子化されたサンプルが使用される前記ステップと、
を含む、前記装置。
【請求項１２】
前記複数の推定オーディオ信号を生成するステップは、
ランダム非負値から分散テンソルＶを計算するステップと、
前記複数のオーディオ信号の前記量子化されたサンプルのソース・パワー・スペクトルの条件付き期待値を計算するステップであって、推定ソース・パワー・スペクトルＰ（ｆ，ｎ，ｊ）が得られ、かつ、前記複数のオーディオ信号の前記分散テンソルＶおよび複素短時間フーリエ変換（ＳＴＦＴ）係数が使用される、前記ステップと、
前記推定ソース・パワー・スペクトルＰ（ｆ，ｎ，ｊ）から前記分散テンソルＶを繰り返し再計算するステップと、
結果として得られる分散テンソルＶからＳＴＦＴ係数
2018513996.tif 000060
配列を計算するステップと、
ＳＴＦＴ係数
2018513996.tif 000061
の前記配列を前記時間領域に変換するステップであって、前記複数の推定オーディオ信号が得られる前記ステップと、
を含む、請求項１１に記載の装置。
【請求項１３】
前記複数の時間領域オーディオ信号のうちの少なくとも１つについてオーディオ・インペインティングを行うことをさらに含む、請求項１１または１２に記載の装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、複数のオーディオ信号を符号化する方法およびデバイス、ならびに、複数のオーディオ信号の分離を改善した、複数のオーディオ信号の混合物を復号する方法およびデバイスに関する。
【背景技術】
【０００２】
オーディオ・ソース分離の問題は、ソース（例えば会話、楽器、雑音など）の混合物から個々のソースを推定することにある。オーディオとの関係においては、混合物とは、１つまたは複数のマイクロホンによって複数のソースを記録したものを意味する。オーディオ信号のインフォームド・ソース・セパレーション（ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ：ＩＳＳ）は、ソースについてのある程度の情報が利用可能であるものとして、個々のオーディオ・ソースをソースの混合物から抽出する問題として見ることができる。ＩＳＳは、ソースの混合物が符号化段階および復号段階の両方で既知であるものとして、オーディオ・オブジェクト（ソース）の圧縮［６］、すなわちマルチソース・オーディオの符号化にも関する。これらの両問題は、互いに結びついている。これらの問題は、幅広い適用分野で重要である。
【０００３】
既知の解決策（例えば、［３］、［４］、［５］）は、元のソースが符号化段階で利用可能であるという前提に立っている。副情報を計算して混合物とともに伝送し、復号段階ではその両方を処理して、ソースを回復する。いくつかのＩＳＳ方法が既知であるが、それらの手法では全て、符号化段階は、復号段階より複雑で計算コストが高い。従って、これらの手法は、符号化を実行するプラットフォームが、エンコーダが要求する計算の複雑さを取り扱うことができない場合には、好ましくない。最後に、既知の複雑なエンコーダは、いくつかの適用分野で非常に重要なオンライン符号化、すなわち信号が到着するにつれて順次符号化していく符号化には使用できない。
【発明の概要】
【０００４】
上記に鑑みて、ＩＳＳの両方の問題に対する、完全に自動的且つ効率的な解決策があることが非常に望ましい。特に、エンコーダがデコーダよりも大幅に少ない処理しか必要としない解決策があれば望ましい。
【０００５】
本発明は、処理負担のほとんどをエンコーダ側からデコーダ側にシフトする簡単な符号化方式を提供する。副情報を生成するための提案する簡単な方法は、低複雑性符号化だけでなく、デコーダにおける効率的な回復も可能にする。最後に、符号化時に信号全体が分かっている必要があるいくつかの既存の効率的な方法（バッチ符号化と呼ばれる）と対照的に、提案する符号化方式では、オンライン符号化が可能である、すなわち、信号が、到着するにつれて順次符号化される。
【０００６】
このエンコーダは、オーディオ・ソースからランダム・サンプルをランダム・パターンでとる。一実施形態では、これは、既定の疑似ランダム・パターンである。サンプリングした値を、既定の量子化器が量子化し、その結果得られる量子化済みサンプルを、エントロピ・コーダが連結し、ロスレス圧縮して、副情報を生成する。混合物も符号化側で生成することができ、あるいは、混合物は、復号側で他の方法で既に入手可能である。
【０００７】
デコーダは、最初に、副情報から量子化済みサンプルを回復し、次いで、その量子化済みサンプルおよび混合物を前提として、混合物内の最尤ソース（ｍｏｓｔ  ｌｉｋｅｌｙ  ｓｏｕｒｃｅｓ）を確率論的に推定する。
【０００８】
一実施形態では、本発明の原理は、請求項１に開示する複数のオーディオ信号を符号化する方法に関する。一実施形態では、本発明の原理は、請求項３に開示する複数のオーディオ信号の混合物を復号する方法に関する。
【０００９】
一実施形態では、本発明の原理は、以下で述べる符号化方法の各ステップにつき１つの複数の別々のハードウェア構成要素を含む符号化デバイスに関する。一実施形態では、本発明の原理は、以下で述べる復号方法の各ステップにつき１つの、複数の別々のハードウェア構成要素を含む復号デバイスに関する。
【００１０】
一実施形態では、本発明の原理は、以下で述べるステップを含む符号化方法をコンピュータに実行させる実行可能命令を有するコンピュータ可読媒体に関する。一実施形態では、本発明の原理は、以下で述べるステップを含む復号方法をコンピュータに実行させる実行可能命令を有するコンピュータ可読媒体に関する。
【００１１】
一実施形態では、本発明の原理は、オーディオ・ソースを分離する符号化デバイスであって、例えばハードウェア・プロセッサ、および少なくとも１つのソフトウェア構成要素を有形に実施する非一時的有形コンピュータ可読記憶媒体など、少なくとも１つのハードウェア構成要素を含む符号化デバイスに関し、少なくとも１つのハードウェア・プロセッサ上で実行されるときに、このソフトウェア構成要素は、以下で述べる符号化方法のステップを引き起こす。一実施形態では、本発明の原理は、オーディオ・ソースを分離する符号化デバイスであって、例えばハードウェア・プロセッサ、および少なくとも１つのソフトウェア構成要素を有形に実施する非一時的有形コンピュータ可読記憶媒体など、少なくとも１つのハードウェア構成要素を含む符号化デバイスに関し、少なくとも１つのハードウェア・プロセッサ上で実行されるときに、このソフトウェア構成要素は、以下で述べる復号方法のステップを引き起こす。
【００１２】
本発明の原理のさらなる目的、特徴、および利点は、以下の説明および添付の特許請求の範囲を、添付の図面と関連付けて考慮すれば明らかになるであろう。
【００１３】
添付の図面を参照して、例示的な実施形態について説明する。
【図面の簡単な説明】
【００１４】
【図１】エンコーダおよびデコーダを含む、伝送および／または記憶システムの構造を示す図である。
【図２】例示的なエンコーダの簡略化した構造を示す図である。
【図３】例示的なデコーダの簡略化した構造を示す図である。
【図４】ＣＳ−ＩＳＳと従来のＩＳＳとの性能比較を示す図である。
【発明を実施するための形態】
【００１５】
図１は、エンコーダおよびデコーダを含む、伝送および／または記憶システムの構造を示す図である。元の音声ソースｓ１，ｓ２，…，ｓｊがエンコーダに入力され、エンコーダが、混合物ｘおよび副情報を生成する。デコーダは、混合物ｘおよび副情報を使用して音声を回復するが、ここで、ある程度の情報が喪失しており、従って、デコーダは音声ソースを推定する必要があり、推定音声ソース
2018513996.tif 000003
を提供するものと仮定している。
【００１６】
元のソースｓ１，ｓ２，…，ｓｊは、エンコーダで利用可能であり、エンコーダがこれらを処理して副情報を生成するものと仮定する。混合物は、エンコーダによって生成することもできるし、あるいは、デコーダにおいて他の手段によって入手可能であることもある。例えば、インターネット上で入手可能な既知のオーディオ・トラックでは、個々のソースから生成される副情報は、例えばそのオーディオ・トラックの作者または他者によって記憶することができる。本明細書で述べる１つの問題は、別個のチャネルのオーディオ・ソースが別個のマイクロホンを用いて記録され、それらを重ね合せて混合物を形成することである。例えば多チャネル・オーディオまたは複数のマイクロホンを用いた録音物などの他の構成は、記載する方法をそのまま延長することによって容易に取り扱うことができる。
【００１７】
本明細書で上記の状況内で考慮する１つの技術的問題は、副情報を生成するエンコーダを有するときに、元のソースｓ１，ｓ２，…，ｓｊに可能な限り近いソース
2018513996.tif 000004
を推定することができるデコーダを設計することにある。デコーダは、推定ソースの所与の品質で必要な副情報のサイズを最小限に抑えるように、副情報および既知の混合物ｘを効率的に使用するものとする。デコーダは、混合物のことも、それがソースを用いてどのように形成されたかも知っているものと仮定する。
【００１８】
従って、本発明は、２つの部分、すなわちエンコーダおよびデコーダを含む。
【００１９】
図２のａ）は、例示的なエンコーダの簡略化した構造を示す図である。このエンコーダは、計算的に単純になるように設計されている。このエンコーダは、オーディオ・ソースからランダム・サンプルを採る。一実施形態では、エンコーダは、既定の疑似ランダム・パターンを使用する。別の実施形態では、エンコーダは、任意のランダム・パターンを使用する。サンプリングされた値は、（既定の）量子化器によって量子化され、その結果得られる量子化済みサンプルｙ１，ｙ２，…，ｙｊを、エントロピ・コーダ（例えばハフマン・コーダまたは算術コーダ）によって連結し、ロスレス圧縮して、副情報を生成する。混合物も、復号側で既に利用可能になっていない場合には、生成する。
【００２０】
図２のｂ）は、エンコーダ内の例示的な信号を拡大して示す図である。異なるソース信号ｓ１，ｓ２，…，ｓｊを重畳または混合することによって、混合信号ｘが得られる。ソース信号ｓ１，ｓ２，…，ｓｊのそれぞれも、ランダム・サンプリング・ユニットでランダム・サンプリングされ、これらのサンプルを１つまたは複数の量子化器（この実施形態では各信号につき１つの量子化器）で量子化して、量子化済みサンプルｙ１，ｙ２，…，ｙｊを得る。量子化済みサンプルを符号化して、副情報として使用する。なお、他の実施形態では、サンプリングと量子化の順序が入れ替わることもあることに留意されたい。
【００２１】
図３は、例示的なデコーダの簡略化した構造を示す図である。このデコーダは、最初に、副情報から量子化済みサンプルｙ１，ｙ，、…，ｙｊを回復する。次いで、デコーダは、観測したサンプルｙ１，ｙ２，…，ｙｊおよび混合物ｘを仮定し、ソース間の既知の構造および相関を活用して、最尤ソース
2018513996.tif 000005
を確率的に推定する。
【００２２】
エンコーダの考えられる実施態様は、非常に単純である。デコーダの１つの可能な実施態様は、以下の２つの仮定に基づいて動作する。
（１）ソースが、ウィンドウ・サイズＦおよびウィンドウ数Ｎの短時間フーリエ変換（ＳＴＦＴ）領域に結合ガウス分布している。
（２）ガウス分布
2018513996.tif 000006
の分散テンソルが、ランクＫの低ランク非負値テンソル分解（ＮＴＦ）を有し、
【数１】
2018513996.tif 000007
となるようになっている。
【００２３】
これら２つの仮定に従うと、デコーダの動作は、以下のステップで要約することができる。
１．ランダム非負値を有する行列
2018513996.tif 000008
を初期化し、分散テンソル
2018513996.tif 000009
を
【数２】
2018513996.tif 000010
として計算する。
２．収束または最大反復数に達するまで以下を繰り返す。
２．１
【数３】
2018513996.tif 000011
となるように、ソース・パワー・スペクトルの条件付き予想を計算する。ここで、Ｓ∈ＣＦ×Ｎ×ｊは、ソースのＳＴＦＴ複素係数の配列である。この条件付き予想計算についてのさらなる詳細は、以下において示す。
２．２
【数４】
2018513996.tif 000012
となるように、推定ソース・パワー・スペクトルＰ（ｆ，ｎ，ｊ）の３価テンソルとＮＴＦモデル近似Ｖ（ｆ，ｎ，ｊ）の３価テンソルの間のＩＳ発散［１５］を最小限にする乗法的更新（ＭＵ）規則を用いて、ＮＴＦモデル・パラメータ
2018513996.tif 000013
を再推定する。これらの更新は、複数回反復することができる。
３．ＳＴＦＴ係数Ｓ∈ＣＦ×Ｎ×ｊの配列を、
【数５】
2018513996.tif 000014
として事後平均として計算し、時間領域に変換して戻して、推定ソース
2018513996.tif 000015
を回復する。この事後平均計算についてのさらなる詳細は、以下において示す。
【００２４】
以下、上記の計算についてのいくつかの数学的基礎について説明する。
【００２５】
テンソルは、より高次の行列と見ることができるデータ構造である。行列は２次元であるが、テンソルはＮ次元とすることができる。ここでの場合では、Ｖは、（立方体のような）３次元テンソルである。これは、ソースの結合ガウス分布の共分散行列を表す。
【００２６】
行列は、低ランク・モデルでは、それぞれ２つのベクトルを乗算することによって形成されるいくつかのランク１行列の和として表すことができる。ここでの場合では、テンソルも、同様にＫ個のランク１テンソルの和として表され、ここで、ランク１テンソルは、例えばｈｉ，ｑｉおよびｗｉなど３つのベクトルを乗算することによって形成される。これらのベクトルをまとめて、行列Ｈ，ＱおよびＷを形成する。Ｋ個のランク１テンソルには、Ｋセットのベクトルがある。基本的に、テンソルは、Ｋ個の成分で表され、行列Ｈ，ＱおよびＷは、これらの成分が、それぞれ異なるフレームに沿って、ＳＴＦＴの異なる周波数に沿って、また異なるソースに沿って、どのように分布するかを表す。行列における低ランク・モデルと同様に、小さいＫの方が、より良好に例えば音楽のようなオーディオ・データなどのデータの特性を定義するので、Ｋは小さく保たれる。従って、Ｖを低ランク・テンソルとすべきであるという情報を使用することによって、信号の未知の特徴を推測することができる。これにより、未知数の数が減少し、データの様々な部分の間の相互関係が定義される。
【００２７】
上述の反復アルゴリズムのステップは、以下のように説明することができる。
【００２８】
最初に、行列Ｈ，ＱおよびＷと、従ってＶとを初期化する。
【００２９】
Ｖが与えられると、信号の確率分布が分かる。信号の観測部分を見ると（信号は部分的にしか観測されない）、例えばウィーナ・フィルタリングによって、ＳＴＦＴ係数
2018513996.tif 000016
を推定することができる。これは、信号の事後平均である。さらに、信号の事後共分散も計算する。これは、以下で使用する。このステップは、信号のウィンドウごとに独立して実行され、並列化可能である。これは、予想ステップまたはＥステップと呼ばれる。
【００３０】
事後平均および事後共分散を計算したら、これらを使用して、事後パワー・スペクトルｐを計算する。これは、所期のモデル・パラメータ、すなわちＨ，ＱおよびＷを更新するために必要である。より良好な推定を得るために、このステップを複数回（例えば２〜１０回）繰り返すと有利であることもある。これは、最大化ステップまたはＭステップと呼ばれる。
【００３１】
モデル・パラメータＨ，ＱおよびＷを更新したら、一実施形態では、ある程度の収束に到達するまで、（ＳＴＦＴ係数
2018513996.tif 000017
の推定からの）全てのステップを繰り返すことができる。収束に到達した後で、一実施形態では、ＳＴＦＴ係数
2018513996.tif 000018
の事後平均を時間領域に変換して、最終結果としてオーディオ信号を得る。
【００３２】
本発明の１つの利点は、複数のオーディオ・ソース信号のその混合物からの回復を改善することができることである。これにより、強力なデバイスを必要とすることなく、マルチソース・オーディオ記録の効率的な記憶および伝送が可能になる。重いバッテリ・ドレインまたはプロセッサを利用することなく、携帯電話または携帯タブレットを容易に使用して、オーディオ・トラックの複数のソースに関する情報を圧縮することができる。
【００３３】
別の利点は、個々のソースについての圧縮情報が、それらが必要な場合にしか復号されないので、ソースを符号化および復号するための計算資源が、より効率的に利用されることである。音楽製作など、いくつかの適用分野では、個々のソースについての情報は必ず符号化されて記憶されるが、必ずしもその後に必要となって取り出されるとは限らない。従って、全ての符号化オーディオ・ストリームに対して複雑性の高い処理を実行する高価なエンコーダに対して、複雑性の低いエンコーダおよび複雑性の高いデコーダを備えるシステムは、個々のソースが後に実際に必要となるオーディオ・ストリームについてのみ処理能力を利用するという利点を有する。
【００３４】
本発明が提供する第３の利点は、新たなより良好な復号方法への適合性があることである。データ内の相関を活用する新しい改良された方法が発見されたときには、新たな復号方法（ｘ，ｙ１，ｙ２，…，ｙｊを前提として
2018513996.tif 000019
を推定するより良好な方法）を考案することができ、古い符号化ビットストリームを、そのソースを再符号化しなくても、より良好な品質で復号することができる。従来の符号化／復号パラダイムでは、データ内の相関を活用する改良された方法から新たな符号化方法が得られたときに、その新たな手法の利点を活用するためには、そのソースを復号して再符号化する必要がある。さらに、既に符号化されているビットストリームを再符号化するプロセスは、元のソースに関するさらなる誤差を生じることが分かっている。
【００３５】
本発明の第４の利点は、ソースをオンラインで符号化することができること、すなわちソースがエンコーダに到着するときにそれらのソースが符号化されること、ならびにストリーム全体が利用可能でなくても符号化できることである。
【００３６】
本発明の第５の利点は、分離したオーディオ・ソース信号におけるギャップを修復することができることである。これは、オーディオ・インペインティングと呼ばれる。従って、本発明は、以下で述べるように、結合したオーディオ・インペインティングおよびソース分離を可能にする。
【００３７】
本明細書に開示する手法は、やはり複雑性をエンコーダからデコーダにシフトさせることを目的とする、分散型ソース・コーディング［９］、および特に分散型ビデオ・コーディング［１０］パラダイムに触発されて得られたものである。この手法は、ソースが、オーディオ・ソースが疎である場合の基底とインコヒーレント（ｉｎｃｏｈｅｒｅｎｔ）である［１３］基底のベクトルのランダムに選択された部分集合がまたがる線形部分空間に投影されるので、圧縮センシング／サンプリングの原理［１１］〜［１３］に依拠する。開示する手法は、圧縮サンプリング型ＩＳＳ（ＣＳ−ＩＳＳ）と呼ぶことができる。
【００３８】
さらに詳細には、ソースの時間的サンプルの部分集合を単純にランダム選択し、その後に一様な量子化およびエントロピ符号化を行うことによってソースを符号化することを提案する。一実施形態では、これが、デコーダに伝送される唯一の副情報となる。
【００３９】
なお、時間領域のサンプリングの利点は２つあることに留意されたい。第１に、時間領域のサンプリングは、いかなる変換領域におけるサンプリングよりも高速である。第２に、時間的基底が、オーディオ信号が疎である短時間フーリエ変換（ＳＴＦＴ）フレームと十分にインコヒーレントであり、ＳＴＦＴ係数の低ランクＮＴＦ表現とはさらにインコヒーレントである。測定領域および事前情報領域のインコヒーレンシがソースの回復に重要であることは、圧縮センシング理論で示されている［１３］。
【００４０】
デコーダにおいて、量子化済みのソース・サンプルおよび混合物からソースを回復するために、モデル型の圧縮センシングに従うモデル型の手法を使用することが提案されている［１４］。特に、一実施形態では、［４］、［５］のように、ソース・スペクトル写真のＩｔａｋｕｒａ−Ｓａｉｔｏ（ＩＳ）非負値テンソル分解（ＮＴＦ）モデルを使用する。そのガウス確率論的定式化［１５］のおかげで、このモデルは、混合物とソース・サンプルの量子化され伝送された部分とから最尤（ＭＬ）的に推定することができる。このモデルを推定するために、乗法的更新（ＭＵ）規則［１５］に基づく新たな汎用期待値最大化（ＧＥＭ）アルゴリズム［１６］を使用することができる。推定したモデルおよびその他の全ての観測結果が与えられれば、ウィーナ・フィルタリング［１７］によってソースを推定することができる。
【００４１】
ＣＳ−ＩＳＳフレームワークの概要
提案するＣＳ−ＩＳＳエンコーダ／デコーダの全体の構造を、上記で既に説明したように、図２に示す。エンコーダは、既定のランダム化パターンを使用して所望のレートでランダムにソースをサブサンプリングし、これらのサンプルを量子化する。次いで、量子化されたサンプルを、単一のストリームに整列させて、エントロピ・エンコーダで圧縮して、最終的な符号化ビットストリームを形成する。ランダム・サンプリング・パターン（またはランダム・パターンを生成するシード）は、一実施形態では、エンコーダおよびデコーダの両方が知っているので、伝送する必要はない。別の実施形態では、ランダム・サンプリング・パターン、またはランダム・パターンを生成するシードを、デコーダに伝送する。オーディオ混合物も、デコーダが知っているものと仮定する。デコーダは、エントロピ復号を実行して、ソースの量子化済みサンプルを取り出し、その後に、以下で詳細に述べるようにＣＳ−ＩＳＳ復号を行う。
【００４２】
提案するＣＳ−ＩＳＳフレームワークは、従来のＩＳＳに優る利点をいくつか有する。それらは、以下のように要約することができる。
【００４３】
第１の利点は、図２の単純なエンコーダを、例えば低パワー・デバイスで必要とされる低複雑性符号化に使用することができることである。低複雑性符号化方式は、符号化を頻繁に使用するが、符号化したストリームのいくつかしか復号する必要がない適用分野でも有利である。このような適用分野の例はスタジオでの音楽製作であり、スタジオでの音楽製作においては、製作した各々の音楽のソースを将来の使用に備えて保持しておくが、それらが必要になることは滅多にない。従って、ＣＳ−ＩＳＳでは、処理能力および処理時間の有意な節約が可能である。
【００４４】
第２の利点は、（変換領域ではなく）時間領域でサンプリングを実行することにより、単純なサンプリング方式になるだけでなく、必要なときにはオンラインで符号化を実行することが可能になることであり、これは、他の方法では必ずしもそれほど直接的ではない［４，５］。さらに、独立符号化方式により、復号の効率を損なうことなく、ソースを分散式に符号化することが可能になる。
【００４５】
第３の利点は、符号化ステップが、復号ステップについてのいかなる仮定もなく実行されることである。従って、本実施形態で提案するデコーダ以外のデコーダを使用することもできる。これにより、より良好な働きをするデコーダが設計されたときに、符号化したソースが、再符号化の必要なく、改善された復号の恩恵を直接受けるという点で、従来のＩＳＳ［２］〜［５］に優る有意な利点が得られる。これは、エンコーダで使用されるランダム・サンプリングによって可能になる。圧縮センシング理論は、ランダム・サンプリング方式が多数の領域とのインコヒーレンシを提供するので、データについての様々な事前情報に依拠する効率的なデコーダを設計することが可能になることを示している。
【００４６】
ＣＳ−ＩＳＳデコーダ
ソース
2018513996.tif 000020
が時間インデックス
2018513996.tif 000021
でサンプリングされるように、Ω”によるランダム・サンプルの根拠を示す。エントロピ復号段階の後で、ＣＳ−ＩＳＳデコーダは、ソースの量子化済みサンプルの部分集合
2018513996.tif 000022
を有する。ここで、量子化済みサンプルは、
【数６】
2018513996.tif 000023
として定義される。ここで、
2018513996.tif 000024
は、真のソース信号を示し、
2018513996.tif 000025
は、量子化された雑音である。
【００４７】
なお、本明細書では、時間領域信号は、例えばｘ”などツーダッシュ付きの文字で表すが、フレーム化またはウィンドウド・タイム領域（ｗｉｎｄｏｗｅｄ−ｔｉｍｅ  ｄｏｍａｉｎ）信号は、例えばｘ’などダッシュ付きの文字で表され、複素数値の短時間フーリエ変換（ＳＴＦＴ）係数は、例えばｘなどダッシュなしの文字で表されることに留意されたい。
【００４８】
混合物は、元のソースの和と仮定され、
【数７】
2018513996.tif 000026
となる。
【００４９】
混合物は、デコーダで既知であると仮定する。なお、本明細書では、混合物は、雑音がなく、量子化も行われていないものと仮定することに留意されたい。ただし、開示するアルゴリズムは、混合物に雑音を含むようにも容易に拡張することができる。
【００５０】
ＳＴＦＴ係数を計算するために、最初に、混合物およびソースを、ウィンドウ長Ｍを有し、合計Ｎ個のウィンドウを有する、ウィンドウド・タイム領域に変換する。ｙ’ｊｍｎ、ｓ’ｊｍｎおよびｘ’ｍｎで表されるその結果得られる係数は、ｊ＝１，…，Ｊ、ｎ＝１，…，Ｎ、およびｍ＝１，…，Ｍ（ｍのみについては、量子化済みソース・サンプルの場合には適当な部分集合Ω’ｊｎにおけるもの）について、それぞれ、ウィンドウド・タイム領域における量子化済みソース、元のソース、および混合物を表す。ソースのＳＴＦＴ係数ｓｊｆｎ、および混合物のＳＴＦＴ係数ｘｆｎは、ウィンドウド・タイム領域の対応するものの各ウィンドウにユニタリ・フーリエ変換
2018513996.tif 000027
を適用することによって計算する。例えば、［ｘ１ｎ，…，ｘＦｎ］Ｔ＝Ｕ［ｘ’１ｎ，…，ｘ’Ｍｎ］Ｔである。
【００５１】
ソースは、正規分布（ｓｊｆｎ〜Ｎｃ（０，νｊｆｎ））によってＳＴＦＴ領域でモデル化する。ここで、分散テンソルＶ＝［νｊｆｎ］ｊ，ｆ，ｎは、以下の低ランクＮＴＦ構造［１８］を有する。
【数８】
2018513996.tif 000028
【００５２】
このモデルは、
2018513996.tif 000029
および
2018513996.tif 000030
として、Θ＝｛Ｑ，Ｗ，Ｈ｝によってパラメータ化する。
【００５３】
本原理の実施形態によれば、ソース信号は、アルゴリズム１に簡単に説明する汎用期待値最大化アルゴリズムで回復される。このアルゴリズムは、予想ステップでウィーナ・フィルタリングによって所与のモデルΘを用いて観測値からソースおよびソース統計値を推定し、次いで、最大化ステップで事後ソース統計値を使用してモデルを更新する。このアルゴリズムの各ステップについての詳細を、以下に示す。
2018513996.tif 000031
【００５４】
ソースの推定
基礎となる全ての分布がガウス分布であり、ソースと観測値の間の全ての関係が線形であるので、ソースは、モデル・パラメータＱ，Ｗ，Ｈによって（３）で定義される共分散テンソルＶを前提として、ウィーナ・フィルタ［１７］によって最小平均二乗誤差（ＭＭＳＥ）的に推定することができる。
【００５５】
ｎ次フレーム
2018513996.tif 000032
についての観測データ・ベクトルを
2018513996.tif 000033
と定義するものとする。ここで、
2018513996.tif 000034
および
2018513996.tif 000035
である。
【００５６】
対応する観測データ
2018513996.tif 000036
およびＮＴＦモデルΘを前提として、各ソース・フレームｓｊｎの事後分散は、
2018513996.tif 000037
と書くことができ、ここで
2018513996.tif 000038
および
2018513996.tif 000039
は、それぞれ、事後平均、および事後共分散行列である。これらはそれぞれ、ウィーナ・フィルタリングによって、
【数９】
2018513996.tif 000040
【数１０】
2018513996.tif 000041
として計算することができ、これらは、以下の定義を前提としている。
【数１１】
2018513996.tif 000042
、
【数１２】
2018513996.tif 000043
、
【数１３】
2018513996.tif 000044
、
【数１４】
2018513996.tif 000045
、
【数１５】
2018513996.tif 000046
、
【数１６】
2018513996.tif 000047
、
【数１７】
2018513996.tif 000048
、
【数１８】
2018513996.tif 000049
ここで、Ｕ（Ω’ｊｎ）は、Ω’ｊｎのインデックスを有するＵの列のＦ×｜Ω’ｊｎ｜行列である。
【００５７】
従って、以下で述べるようにＮＴＦモデルを更新するために使用される事後パワー・スペクトル
2018513996.tif 000050
は、
【数１９】
2018513996.tif 000051
として計算することができる。
【００５８】
モデルの更新
ＮＴＦモデル・パラメータは、
2018513996.tif 000052
として定義される、推定ソース・パワー・スペクトル
2018513996.tif 000053
の３価テンソルとＮＴＦモデル近似Ｖの３価テンソルの間のＩＳ発散［１５］を最小限にする乗法的更新（ＭＵ）規則を使用して再推定することができる。ここで、
2018513996.tif 000054
は、ＩＳ発散であり、
2018513996.tif 000055
およびνｊｆｎは、（１４）および（３）に指定される。その結果として、Ｑ，Ｗ，Ｈは、［１８］に示されるＭＵ規則で更新することができる。これらのＭＵ規則を数回繰り返して、モデル推定を改善することができる。
【００５９】
さらに、ＮＴＦ／ＮＭＦモデルを使用したソース分離適用分野では、個々のソースについてのいくつかの事前情報を有する必要があることが多い。この情報は、ソースのいくつかのサンプルであってもよいし、あるいはどのソースがどの瞬間に「非アクティブ」であるかについての知識であってもよい。ただし、この情報が実施されるときには、その前に必ず、各ソースがいくつの成分で構成されるかをアルゴリズムが予め規定する必要がある。これは、モデル・パラメータ
2018513996.tif 000056
を初期化して、ＱおよびＨの特定の部分がゼロに設定され、各成分を特定のソースに割り当てるようにすることによって実施されることが多い。一実施形態では、モデルの計算は、成分の総数Ｋを前提として、各ソースが手動ではなく自動的に成分に割り当てられるように修正される。これは、ＳＴＦＴ領域モデル・パラメータを通してではなく時間領域サンプル（０である時間領域サンプルを有するという制約がある）を通してソースの「無音」を実施し、モデル・パラメータの初期条件を、それらが自動的に調整されるように緩和することによって実現される。ソース成分分布（Ｑで定義される）のスパース構造を実施するための別の修正も、上記の乗法的更新の数式をわずかに修正することによって可能である。これにより、ソースから成分に自動的に割り当てられるようになる。
【００６０】
従って、一実施形態では、ソースの無音期間の形態の副情報ＩＳが存在するときには、行列ＨおよびＱは自動的に決定される。副情報ＩＳは、どのソースがどの期間に無音であるかについての情報を含むことができる。このような特定の情報の存在下では、ＮＭＦを利用する従来の方法は、既定のｋｉ個の成分が各ソースに割り当てられるようにＨおよびＱを初期化することとなる。改善された解決策は、このような初期化の必要がなく、ＨおよびＱを学習するので、ｋｉを事前に知る必要がない。これは、１）時間領域サンプルを入力として使用して、ＳＴＦＴ領域の操作が必須ではなくなること、および２）スパース構造を有するように行列Ｑを制約することによって可能となる。これは、上述のようにＱについての乗法的更新の数式を修正することによって実現される。
【００６１】
結果
本発明の手法の性能を評価するために、異なる量子化レベル（１６ビット、１１ビット、６ビット、および１ビット）および異なるソースあたりのサンプリング・ビットレート（０．６４、１．２８、２．５６、５．１２、および１０．２４ｋｂｐｓ／ソース）で提案するＣＳ−ＩＳＳを使用して、１６ｋＨｚの音楽信号の３つのソースを符号化し、次いで復号する。この例では、ランダム・サンプリング・パターンは既定であり、符号時にも復号時にも分かっているものと仮定する。量子化済みサンプルは、ゼロ平均ガウス分布を仮定して算術エンコーダを使用して切り捨て、圧縮する。デコーダ側では、算術デコーダに続いて、ガウス・ウィンドウ関数およびＫ＝１８に固定された成分数（すなわちソースあたり６成分）を用いて１０２４サンプル（６４ｍｓ）の半重なりサイン・ウィンドウを使用して計算したＳＴＦＴによるＧＥＭアルゴリズムを５０回繰り返して、量子化済みサンプルからソースを復号する。再構築されたサンプルの品質は、［１９］に記載されるように、信号対歪み比（ＳＤＲ）で測定する。その結果得られる復号信号の符号化ビットレートおよびＳＤＲを、表１に示す。括弧内は、符号化サンプルの割合である。なお、表１中の圧縮レートは、予想されるエントロピ・コーディング段階の性能のばらつきにより、対応する生ビットレートとは異なる。
【表１】
2018513996.tif 000057
表１：エントロピ・コーディング前の異なる（一様な）量子化レベルおよび異なる生ビットレートについての、対応するＳＤＲ（ｄＢ）でのＣＳ−ＩＳＳのエントロピ・コーディング段階後の最終ビットレート（単位はソースあたりのｋｂｐｓ）。保持されるサンプルの割合も、それぞれの場合について括弧内に示す。最良のレート／歪みの兼合いに対応する結果は、太字で示す。
【００６２】
ＣＳ−ＩＳＳの性能を、［４］に示されるより複雑なエンコーダおよび単純なデコーダを用いる従来のＩＳＳ手法と比較する。ＩＳＳアルゴリズムは、ＮＴＦモデル量子化および［５］と同様の符号化とともに使用される。すなわち、ＮＴＦ係数は対数領域で一様に量子化され、様々なＮＴＦ行列の量子化ステップのサイズは、［５］の数式（３１）〜（３３）を用いて計算され、インデックスは、２状態混合ガウス・モデル（ＧＭＭ）に基づいて算術コーダを使用して符号化される（［５］の図５参照）。この手法を、異なる量子化ステップのサイズおよび異なるＮＴＦ成分の数、すなわちΔ＝２−２，２−１．５，２−１，…，２４およびＫ＝４，６，…，３０について評価する。その結果は、２５０回のモデル更新の反復によって生成される。ＣＳ−ＩＳＳおよび従来のＩＳＳの両方の性能を図４に示す。この図において、本発明のデコーダが一定数の成分を使用する（エンコーダが非常に単純であり、この値を計算しないため）のに対して、ＩＳＳ手法では最適な成分数および量子化を使用することができるにもかかわらず、ＣＳ−ＩＳＳの方がＩＳＳ手法より明白に性能が優れている。この性能差は、ランダム・サンプリングした時間領域と低ランクＮＴＦ領域のインコヒーレンシとによりＣＳ−ＩＳＳデコーダが実現する高い効率によるものである。また、ＩＳＳ手法は、［５］に説明されるようにエンコーダの構造に忠実性が欠けていることにより、１０ｄＢのＳＤＲを超えると実行することができない。時間的制約のために本明細書では［５］に示されるＩＳＳアルゴリズムと比較することができないが、その結果は、レート歪み性能は同様の挙動を呈することを示している。提案する手法は、その低複雑性エンコーダによって優位であり、従ってより良好なレート歪み性能を有する他のＩＳＳ手法と比較しても依然として有利である可能性があることに留意されたい。
【００６３】
表１および図４に示すＣＳ−ＩＳＳの性能は、レートによって量子化レベルを変えることが好ましいことがあることを示している。１６ビットの量子化も１ビットの量子化も良好な成績であるようには見えないが、この性能は、１６ビットの量子化は、これよりはるかに高いビットレートが利用可能であるときには、他の方式より優れている可能性があることを示している。同様に、１ビットなどより粗な量子化も、かなり低いビットレートを考慮すれば、有利である可能性がある。量子化の選択は、エンコーダにおいて、単純な参照テーブルを参照として用いて実行することができる。また、ＣＳ−ＩＳＳのエンコーダは非常に単純であるが、提案するデコーダはかなり複雑性が高く、通常は従来のＩＳＳ方法のエンコーダよりも高いことにも留意しなければならない。ただし、これも、提案するデコーダにおいて例えばグラフィック処理ユニット（ＧＰＵ）などの並列処理を用いてフレーム間のウィーナ・フィルタリングの独立性を活用することによって克服することができる。
【００６４】
開示する解決策は、通常は、低ランク・テンソル構造が、再構築された信号のパワー・スペクトログラムに現れるという事実をもたらす。
【００６５】
「有する（ｃｏｍｐｒｉｓｅ）」という動詞およびその活用形を使用している場合、それは請求項に記載される要素またはステップ以外の要素またはステップの存在を排除するものではないことに留意されたい。さらに、要素の前に「ａ」または「ａｎ」という冠詞を使用していても、その要素が複数存在することを排除するものではない。いくつかの「手段」が、同じハードウェアで表されることもある。さらに、本発明は、全ての新規の特徴または特徴の組合せにある。本明細書で使用する「ディジタル・オーディオ信号」または「オーディオ信号」は、単なる数学的な抽象概念について述べているのではなく、機械または装置によって検出することができる物理的媒体に埋め込まれる情報、あるいはそのような物理的媒体によって搬送される情報を指している。この用語は、記録または伝送される信号を含み、パルス符号変調（ＰＣＭ）などの（ただしＰＣＭに限定されるわけではない）、任意の形態の符号化による搬送を含むものとして理解されたい。
【００６６】
本発明の基本的な新規の特徴を本発明の好ましい実施形態に適用して示し、説明し、指摘したが、当業者なら、本発明の趣旨を逸脱することなく、記載した装置および方法において、開示したデバイスの形態および詳細ならびにそれらの動作に対する様々な省略、置換、および変更を行うことができることを理解されたい。実質的に同じ機能を実質的に同じ方法で実行して同じ結果を実現する要素の全ての組合せは、本発明の範囲に含まれるものと明示的に意図されている。記載した１つの実施形態から別の実施形態への要素の置換も完全に意図および企図されている。本明細書ならびに（適当である場合には）特許請求の範囲および図面に開示するそれぞれの特徴は、独立して提供することもできるし、あるいは任意の適当な組合せで提供することもできる。特徴は、適宜、ハードウェア、ソフトウェア、またはその両者の組合せで実施することができる。接続は、適用可能である場合には、無線接続として実施することも有線接続として実施することもでき、必ずしも直接または専用の接続であるとは限らない。
【００６７】
引用文献
［１］Ｅ．Ｖｉｎｃｅｎｔ、Ｓ．Ａｒａｋｉ、Ｆ．Ｊ．Ｔｈｅｉｓ、Ｇ．Ｎｏｌｔｅ、Ｐ．Ｂｏｆｉｌｌ、Ｈ．Ｓａｗａｄａ、Ａ．Ｏｚｅｒｏｖ、Ｂ．Ｖ．Ｇｏｗｒｅｅｓｕｎｋｅｒ、Ｄ．Ｌｕｔｔｅｒ、およびＮ．Ｑ．Ｋ．Ｄｕｏｎｇによる「Ｔｈｅ  ｓｉｇｎａｌ  ｓｅｐａｒａｔｉｏｎ  ｅｖａｌｕａｔｉｏｎ  ｃａｍｐａｉｇｎ（２００７〜２０１０）：Ａｃｈｉｅｖｅｍｅｎｔｓ  ａｎｄ  ｒｅｍａｉｎｉｎｇ  ｃｈａｌｌｅｎｇｅｓ」、Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ、ｖｏｌ．９２、ｎｏ．８、ｐｐ．１９２８〜１９３６、２０１２年。
［２］Ｍ．Ｐａｒｖａｉｘ、Ｌ．Ｇｉｒｉｎ、およびＪ．Ｍ．Ｂｒｏｓｓｉｅｒによる「Ａ  ｗａｔｅｒ  ｍａｒｋｉｎｇ  ｂａｓｅｄ  ｍｅｔｈｏｄ  ｆｏｒ  ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ  ｏｆ  ａｕｄｉｏ  ｓｉｇｎａｌｓ  ｗｉｔｈ  ａ  ｓｉｎｇｌｅ  ｓｅｎｓｏｒ」、ＩＥＥＥ  Ｔｒａｎｓ．Ａｕｄｉｏ，Ｓｐｅｅｃｈ，Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓ、ｖｏｌ．１８、ｎｏ．６、ｐｐ．１４６４〜１４７５、２０１０年。
［３］Ｍ．ＰａｒｖａｉｘおよびＬ．Ｇｉｒｉｎによる「Ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ  ｏｆ  ｌｉｎｅａｒ  ｉｎｓｔａｎｔａｎｅｏｕｓ  ｕｎｄｅｒ−ｄｅｔｅｒｍｉｎｅｄ  ａｕｄｉｏ  ｍｉｘｔｕｒｅｓ  ｂｙ  ｓｏｕｒｃｅ  ｉｎｄｅｘ  ｅｍｂｅｄｄｉｎｇ」、ＩＥＥＥ  Ｔｒａｎｓ．Ａｕｄｉｏ，Ｓｐｅｅｃｈ，Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓ、ｖｏｌ．１９、ｎｏ．６、ｐｐ．１７２１〜１７３３、２０１１年。
［４］Ａ．Ｌｉｕｔｋｕｓ、Ｊ．Ｐｉｎｅｌ、Ｒ．Ｂａｄｅａｕ、Ｌ．Ｇｉｒｉｎ、およびＧ．Ｒｉｃｈａｒｄによる「Ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ  ｔｈｒｏｕｇｈ  ｓｐｅｃｔｒｏｇｒａｍ  ｃｏｄｉｎｇ  ａｎｄ  ｄａｔａ  ｅｍｂｅｄｄｉｎｇ」、Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ、ｖｏｌ．９２、ｎｏ．８、ｐｐ．１９３７〜１９４９、２０１２年。
［５］Ａ．Ｏｚｅｒｏｖ、Ａ．Ｌｉｕｔｋｕｓ、Ｒ．Ｂａｄｅａｕ、およびＧ．Ｒｉｃｈａｒｄによる「Ｃｏｄｉｎｇ−ｂａｓｅｄ  ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ：Ｎｏｎｎｅｇａｔｉｖｅ  ｔｅｎｓｏｒ  ｆａｃｔｏｒｉｚａｔｉｏｎ  ａｐｐｒｏａｃｈ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｕｄｉｏ，Ｓｐｅｅｃｈ，ａｎｄ  Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ、ｖｏｌ．２１、ｎｏ．８、ｐｐ．１６９９〜１７１２、２０１３年８月。
［６］Ｊ．Ｅｎｇｄｅｇａｒｄ、Ｂ．Ｒｅｓｃｈ、Ｃ．Ｆａｌｃｈ、Ｏ．Ｈｅｌｌｍｕｔｈ、Ｊ．Ｈｉｌｐｅｒｔ、Ａ．Ｈ¨ｏｌｚｅｒ、Ｌ．Ｔｅｒｅｎｔｉｅｖ、Ｊ．Ｂｒｅｅｂａａｒｔ、Ｊ．Ｋｏｐｐｅｎｓ、Ｅ．Ｓｃｈｕｉｊｅｒｓ、およびＷ．Ｏｏｍｅｎによる「Ｓｐａｔｉａｌ  ａｕｄｉｏ  ｏｂｊｅｃｔ  ｃｏｄｉｎｇ（ＳＡＯＣ）−Ｔｈｅ  ｕｐｃｏｍｉｎｇ  ＭＰＥＧ  ｓｔａｎｄａｒｄ  ｏｎ  ｐａｒａｍｅｔｒｉｃ  ｏｂｊｅｃｔ  ｂａｓｅｄ  ａｕｄｉｏ  ｃｏｄｉｎｇ」、１２４ｔｈ  Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  （ＡＥＳ  ２００８）、オランダ、アムステルダム、２００８年５月。
［７］Ａ．Ｏｚｅｒｏｖ、Ａ．Ｌｉｕｔｋｕｓ、Ｒ．Ｂａｄｅａｕ、およびＧ．Ｒｉｃｈａｒｄによる「Ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ：ｓｏｕｒｃｅ  ｃｏｄｉｎｇ  ｍｅｅｔｓ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ」、ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｏｆ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ｔｏ  Ａｕｄｉｏ  ａｎｄ  Ａｃｏｕｓｔｉｃｓ（ＷＡＳＰＡＡ’１１）、米国ニューヨーク州ニューパルツ、２０１１年１０月、ｐｐ．２５７〜２６０。
［８］Ｓ．Ｋｉｒｂｉｚ、Ａ．Ｏｚｅｒｏｖ、Ａ．Ｌｉｕｔｋｕｓ、およびＬ．Ｇｉｒｉｎによる「Ｐｅｒｃｅｐｔｕａｌ  ｃｏｄｉｎｇ−ｂａｓｅｄ  ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ」、Ｐｒｏｃ．２２ｎｄ  Ｅｕｒｏｐｅａｎ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｃｏｎｆｅｒｅｎｃｅ（ＥＵＳＩＰＣＯ）、２０１４年、ｐｐ．９５９〜９６３。
［９］Ｚ．Ｘｉｏｎｇ、Ａ．Ｄ．Ｌｉｖｅｒｉｓ、およびＳ．Ｃｈｅｎｇによる「Ｄｉｓｔｒｉｂｕｔｅｄ  ｓｏｕｒｃｅ  ｃｏｄｉｎｇ  ｆｏｒ  ｓｅｎｓｏｒ  ｎｅｔｗｏｒｋｓ」、ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍａｇａｚｉｎｅ、ｖｏｌ．２１、ｎｏ．５、ｐｐ．８０〜９４、２００４年９月。
［１０］Ｂ．Ｇｉｒｏｄ、Ａ．Ａａｒｏｎ、Ｓ．Ｒａｎｅ、およびＤ．Ｒｅｂｏｌｌｏ−Ｍｏｎｅｄｅｒｏによる「Ｄｉｓｔｒｉｂｕｔｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ」Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ、ｖｏｌ．９３、ｎｏ．１、ｐｐ．７１〜８３、２００５年１月。
［１１］Ｄ．Ｄｏｎｏｈｏによる「Ｃｏｍｐｒｅｓｓｅｄ  ｓｅｎｓｉｎｇ」、ＩＥＥＥ  Ｔｒａｎｓ．  Ｉｎｆｏｒｍ．  Ｔｈｅｏｒｙ、ｖｏｌ．５２、ｎｏ．４、ｐｐ．１２８９〜１３０６、２００６年４月。
［１２］Ｒ．Ｇ．Ｂａｒａｎｉｕｋによる「Ｃｏｍｐｒｅｓｓｉｖｅ  ｓｅｎｓｉｎｇ」、ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍａｇ、ｖｏｌ．２４、ｎｏ．４、ｐｐ．１１８〜１２０、２００７年７月。
［１３］Ｅ．Ｊ．ＣａｎｄｅｓおよびＭ．Ｂ．Ｗａｋｉｎによる「Ａｎ  ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  ｃｏｍｐｒｅｓｓｉｖｅ  ｓａｍｐｌｉｎｇ」、ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍａｇａｚｉｎｅ、ｖｏｌ．２５、ｐｐ．２１〜３０、２００８年。
［１４］Ｒ．Ｇ．Ｂａｒａｎｉｕｋ、Ｖ．Ｃｅｖｈｅｒ、Ｍ．Ｆ．Ｄｕａｒｔｅ、およびＣ．Ｈｅｇｄｅによる「Ｍｏｄｅｌ−ｂａｓｅｄ  ｃｏｍｐｒｅｓｓｉｖｅ  ｓｅｎｓｉｎｇ」、ＩＥＥＥ  Ｔｒａｎｓ．Ｉｎｆｏ．Ｔｈｅｏｒｙ、ｖｏｌ．５６、ｎｏ．４、ｐｐ．１９８２〜２００１、２０１０年４月。
［１５］Ｃ．Ｆｅｖｏｔｔｅ、Ｎ．Ｂｅｒｔｉｎ、およびＪ．Ｌ．Ｄｕｒｒｉｅｕによる「Ｎｏｎｎｅｇａｔｉｖｅ  ｍａｔｒｉｘ  ｆａｃｔｏｒｉｚａｔｉｏｎ  ｗｉｔｈ  ｔｈｅ  Ｉｔａｋｕｒａ−Ｓａｉｔｏ  ｄｉｖｅｒｇｅｎｃｅ．Ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｍｕｓｉｃ  ａｎａｌｙｓｉｓ」、Ｎｅｕｒａｌ  Ｃｏｍｐｕｔａｔｉｏｎ、ｖｏｌ．２１、ｎｏ．３、ｐｐ．７９３〜８３０、２００９年３月。
［１６］Ａ．Ｐ．Ｄｅｍｐｓｔｅｒ、Ｎ．Ｍ．Ｌａｉｒｄ、およびＤ．Ｂ．Ｒｕｂｉｎによる「Ｍａｘｉｍｕｍ  ｌｉｋｅｌｉｈｏｏｄ  ｆｒｏｍ  ｉｎｃｏｍｐｌｅｔｅ  ｄａｔａ  ｖｉａ  ｔｈｅ  ＥＭ  ａｌｇｏｒｉｔｈｍ」、Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ｒｏｙａｌ  Ｓｔａｔｉｓｔｉｃａｌ  Ｓｏｃｉｅｔｙ．Ｓｅｒｉｅｓ  Ｂ（Ｍｅｔｈｏｄｏｌｏｇｉｃａｌ）、ｖｏｌ．３９、ｐｐ．１〜３８、１９７７年。
［１７］Ｓ．Ｍ．Ｋａｙによる「Ｆｕｎｄａｍｅｎｔａｌｓ  ｏｆ  Ｓｔａｔｉｓｔｉｃａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ：  Ｅｓｔｉｍａｔｉｏｎ  Ｔｈｅｏｒｙ」米国ニュージャージー州エングルウッド・クリフス、Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ、１９９３年。
［１８］Ａ．Ｏｚｅｒｏｖ、Ｃ．Ｆｅｖｏｔｔｅ、Ｒ．Ｂｌｏｕｅｔ、およびＪ．−Ｌ．Ｄｕｒｒｉｅｕによる「Ｍｕｌｔｉｃｈａｎｎｅｌ  ｎｏｎｎｅｇａｔｉｖｅ  ｔｅｎｓｏｒ  ｆａｃｔｏｒｉｚａｔｉｏｎ  ｗｉｔｈ  ｓｔｒｕｃｔｕｒｅｄ  ｃｏｎｓｔｒａｉｎｔｓ  ｆｏｒ  ｕｓｅｒ−ｇｕｉｄｅｄ  ａｕｄｉｏ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ」、ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  （ＩＣＡＳＳＰ’１１）、プラハ、２０１１年５月、ｐｐ．２５７〜２６０。
［１９］Ｖ．Ｅｍｉｙａ、Ｅ．Ｖｉｎｃｅｎｔ、Ｎ．Ｈａｒｌａｎｄｅｒ、およびＶ．Ｈｏｈｍａｎｎによる「Ｓｕｂｊｅｃｔｉｖｅ  ａｎｄ  ｏｂｊｅｃｔｉｖｅ  ｑｕａｌｉｔｙ  ａｓｓｅｓｓｍｅｎｔ  ｏｆ  ａｕｄｉｏ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ」、ＩＥＥＥ  Ｔｒａｎｓ．Ａｕｄｉｏ，Ｓｐｅｅｃｈ，Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓ、ｖｏｌ．１９、ｎｏ．７、ｐｐ．２０４６〜２０５７、２０１１年。
【図１】
2018513996.tif 000062
【図２】
2018513996.tif 000063
【図３】
2018513996.tif 000064
【図４】
2018513996.tif 000065
【手続補正書】
【提出日】平成29年12月20日(2017.12.20)
【手続補正１】
【補正対象書類名】明細書
【補正対象項目名】０００３
【補正方法】変更
【補正の内容】
【０００３】
既知の解決策（例えば、［３］、［４］、［５］、［２０］、［２１］）は、元のソースが符号化段階で利用可能であるという前提に立っている。副情報を計算して混合物とともに伝送し、復号段階ではその両方を処理して、ソースを回復する。
例えば、文書［２１］では、マグニチュード・スペクトログラムを非負値行列分解としてその原子単位（原子と呼ぶ）に分解する合成モデリング（ｃｏｍｐｏｓｉｔｉｏｎａｌ  ｍｏｄｅｌｉｎｇ）が特に開示されている。従って、アクティベーション・ベクトルと原子で構成される行列との組合せから、スペクトル・ベクトルを得ることができる。特定の実施態様として、スパース表現および圧縮センシングの分野で利用される辞書学習技術が、スパース表現を有する辞書を発見するために活用される。これにより、復号側で依拠することができるモデルが得られる。
いくつかのＩＳＳ方法が既知であるが、それらの手法では全て、符号化段階は、復号段階より複雑で計算コストが高い。従って、これらの手法は、符号化を実行するプラットフォームが、エンコーダが要求する計算の複雑さを取り扱うことができない場合には、好ましくない。最後に、既知の複雑なエンコーダは、いくつかの適用分野で非常に重要なオンライン符号化、すなわち信号が到着するにつれて順次符号化していく符号化には使用できない。
【手続補正２】
【補正対象書類名】明細書
【補正対象項目名】００１１
【補正方法】変更
【補正の内容】
【００１１】
一実施形態では、本発明の原理は、オーディオ・ソースを分離する符号化デバイスであって、例えばハードウェア・プロセッサ、および少なくとも１つのソフトウェア構成要素を有形に実施する非一時的有形コンピュータ可読記憶媒体など、少なくとも１つのハードウェア構成要素を含む符号化デバイスに関し、少なくとも１つのハードウェア・プロセッサ上で実行されるときに、このソフトウェア構成要素は、以下で述べる符号化方法のステップを引き起こす。一実施形態では、本発明の原理は、オーディオ・ソースを分離する符号化デバイスであって、例えばハードウェア・プロセッサ、および少なくとも１つのソフトウェア構成要素を有形に実施する非一時的有形コンピュータ可読記憶媒体など、少なくとも１つのハードウェア構成要素を含む符号化デバイスに関し、少なくとも１つのハードウェア・プロセッサ上で実行されるときに、このソフトウェア構成要素は、以下で述べる復号方法のステップを引き起こす。
既存の解決策に対して驚くべきことに、符号化は、モデルおよび／またはフーリエ変換計算を用いるのではなく、時間領域オーディオ信号のランダム・サンプリングに依拠する。これは、潜在的には、場合によっては特定の実施態様では非常に限られた処理しか必要としない可能性がある非常に高速な符号化プロセスをもたらす可能性がある。この予期しない時間領域ランダム・サンプリングにもかかわらず、オーディオ信号を復号側でそれらの混合物から再構築することが可能になる。
【手続補正３】
【補正対象書類名】明細書
【補正対象項目名】００６６
【補正方法】変更
【補正の内容】
【００６６】
特徴は、適宜、ハードウェア、ソフトウェア、またはその両者の組合せで実施することができる。接続は、適用可能である場合には、無線接続として実施することも有線接続として実施することもでき、必ずしも直接または専用の接続であるとは限らない。
【手続補正４】
【補正対象書類名】明細書
【補正対象項目名】００６７
【補正方法】変更
【補正の内容】
【００６７】
引用文献
［１］Ｅ．Ｖｉｎｃｅｎｔ、Ｓ．Ａｒａｋｉ、Ｆ．Ｊ．Ｔｈｅｉｓ、Ｇ．Ｎｏｌｔｅ、Ｐ．Ｂｏｆｉｌｌ、Ｈ．Ｓａｗａｄａ、Ａ．Ｏｚｅｒｏｖ、Ｂ．Ｖ．Ｇｏｗｒｅｅｓｕｎｋｅｒ、Ｄ．Ｌｕｔｔｅｒ、およびＮ．Ｑ．Ｋ．Ｄｕｏｎｇによる「Ｔｈｅ  ｓｉｇｎａｌ  ｓｅｐａｒａｔｉｏｎ  ｅｖａｌｕａｔｉｏｎ  ｃａｍｐａｉｇｎ（２００７〜２０１０）：Ａｃｈｉｅｖｅｍｅｎｔｓ  ａｎｄ  ｒｅｍａｉｎｉｎｇ  ｃｈａｌｌｅｎｇｅｓ」、Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ、ｖｏｌ．９２、ｎｏ．８、ｐｐ．１９２８〜１９３６、２０１２年。
［２］Ｍ．Ｐａｒｖａｉｘ、Ｌ．Ｇｉｒｉｎ、およびＪ．Ｍ．Ｂｒｏｓｓｉｅｒによる「Ａ  ｗａｔｅｒ  ｍａｒｋｉｎｇ  ｂａｓｅｄ  ｍｅｔｈｏｄ  ｆｏｒ  ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ  ｏｆ  ａｕｄｉｏ  ｓｉｇｎａｌｓ  ｗｉｔｈ  ａ  ｓｉｎｇｌｅ  ｓｅｎｓｏｒ」、ＩＥＥＥ  Ｔｒａｎｓ．Ａｕｄｉｏ，Ｓｐｅｅｃｈ，Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓ、ｖｏｌ．１８、ｎｏ．６、ｐｐ．１４６４〜１４７５、２０１０年。
［３］Ｍ．ＰａｒｖａｉｘおよびＬ．Ｇｉｒｉｎによる「Ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ  ｏｆ  ｌｉｎｅａｒ  ｉｎｓｔａｎｔａｎｅｏｕｓ  ｕｎｄｅｒ−ｄｅｔｅｒｍｉｎｅｄ  ａｕｄｉｏ  ｍｉｘｔｕｒｅｓ  ｂｙ  ｓｏｕｒｃｅ  ｉｎｄｅｘ  ｅｍｂｅｄｄｉｎｇ」、ＩＥＥＥ  Ｔｒａｎｓ．Ａｕｄｉｏ，Ｓｐｅｅｃｈ，Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓ、ｖｏｌ．１９、ｎｏ．６、ｐｐ．１７２１〜１７３３、２０１１年。
［４］Ａ．Ｌｉｕｔｋｕｓ、Ｊ．Ｐｉｎｅｌ、Ｒ．Ｂａｄｅａｕ、Ｌ．Ｇｉｒｉｎ、およびＧ．Ｒｉｃｈａｒｄによる「Ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ  ｔｈｒｏｕｇｈ  ｓｐｅｃｔｒｏｇｒａｍ  ｃｏｄｉｎｇ  ａｎｄ  ｄａｔａ  ｅｍｂｅｄｄｉｎｇ」、Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ、ｖｏｌ．９２、ｎｏ．８、ｐｐ．１９３７〜１９４９、２０１２年。
［５］Ａ．Ｏｚｅｒｏｖ、Ａ．Ｌｉｕｔｋｕｓ、Ｒ．Ｂａｄｅａｕ、およびＧ．Ｒｉｃｈａｒｄによる「Ｃｏｄｉｎｇ−ｂａｓｅｄ  ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ：Ｎｏｎｎｅｇａｔｉｖｅ  ｔｅｎｓｏｒ  ｆａｃｔｏｒｉｚａｔｉｏｎ  ａｐｐｒｏａｃｈ」、ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  Ａｕｄｉｏ，Ｓｐｅｅｃｈ，ａｎｄ  Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓｉｎｇ、ｖｏｌ．２１、ｎｏ．８、ｐｐ．１６９９〜１７１２、２０１３年８月。
［６］Ｊ．Ｅｎｇｄｅｇａｒｄ、Ｂ．Ｒｅｓｃｈ、Ｃ．Ｆａｌｃｈ、Ｏ．Ｈｅｌｌｍｕｔｈ、Ｊ．Ｈｉｌｐｅｒｔ、Ａ．Ｈ¨ｏｌｚｅｒ、Ｌ．Ｔｅｒｅｎｔｉｅｖ、Ｊ．Ｂｒｅｅｂａａｒｔ、Ｊ．Ｋｏｐｐｅｎｓ、Ｅ．Ｓｃｈｕｉｊｅｒｓ、およびＷ．Ｏｏｍｅｎによる「Ｓｐａｔｉａｌ  ａｕｄｉｏ  ｏｂｊｅｃｔ  ｃｏｄｉｎｇ（ＳＡＯＣ）−Ｔｈｅ  ｕｐｃｏｍｉｎｇ  ＭＰＥＧ  ｓｔａｎｄａｒｄ  ｏｎ  ｐａｒａｍｅｔｒｉｃ  ｏｂｊｅｃｔ  ｂａｓｅｄ  ａｕｄｉｏ  ｃｏｄｉｎｇ」、１２４ｔｈ  Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ  （ＡＥＳ  ２００８）、オランダ、アムステルダム、２００８年５月。
［７］Ａ．Ｏｚｅｒｏｖ、Ａ．Ｌｉｕｔｋｕｓ、Ｒ．Ｂａｄｅａｕ、およびＧ．Ｒｉｃｈａｒｄによる「Ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ：ｓｏｕｒｃｅ  ｃｏｄｉｎｇ  ｍｅｅｔｓ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ」、ＩＥＥＥ  Ｗｏｒｋｓｈｏｐ  Ａｐｐｌｉｃａｔｉｏｎｓ  ｏｆ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  ｔｏ  Ａｕｄｉｏ  ａｎｄ  Ａｃｏｕｓｔｉｃｓ（ＷＡＳＰＡＡ’１１）、米国ニューヨーク州ニューパルツ、２０１１年１０月、ｐｐ．２５７〜２６０。
［８］Ｓ．Ｋｉｒｂｉｚ、Ａ．Ｏｚｅｒｏｖ、Ａ．Ｌｉｕｔｋｕｓ、およびＬ．Ｇｉｒｉｎによる「Ｐｅｒｃｅｐｔｕａｌ  ｃｏｄｉｎｇ−ｂａｓｅｄ  ｉｎｆｏｒｍｅｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ」、Ｐｒｏｃ．２２ｎｄ  Ｅｕｒｏｐｅａｎ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｃｏｎｆｅｒｅｎｃｅ（ＥＵＳＩＰＣＯ）、２０１４年、ｐｐ．９５９〜９６３。
［９］Ｚ．Ｘｉｏｎｇ、Ａ．Ｄ．Ｌｉｖｅｒｉｓ、およびＳ．Ｃｈｅｎｇによる「Ｄｉｓｔｒｉｂｕｔｅｄ  ｓｏｕｒｃｅ  ｃｏｄｉｎｇ  ｆｏｒ  ｓｅｎｓｏｒ  ｎｅｔｗｏｒｋｓ」、ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍａｇａｚｉｎｅ、ｖｏｌ．２１、ｎｏ．５、ｐｐ．８０〜９４、２００４年９月。
［１０］Ｂ．Ｇｉｒｏｄ、Ａ．Ａａｒｏｎ、Ｓ．Ｒａｎｅ、およびＤ．Ｒｅｂｏｌｌｏ−Ｍｏｎｅｄｅｒｏによる「Ｄｉｓｔｒｉｂｕｔｅｄ  ｖｉｄｅｏ  ｃｏｄｉｎｇ」Ｐｒｏｃｅｅｄｉｎｇｓ  ｏｆ  ｔｈｅ  ＩＥＥＥ、ｖｏｌ．９３、ｎｏ．１、ｐｐ．７１〜８３、２００５年１月。
［１１］Ｄ．Ｄｏｎｏｈｏによる「Ｃｏｍｐｒｅｓｓｅｄ  ｓｅｎｓｉｎｇ」、ＩＥＥＥ  Ｔｒａｎｓ．  Ｉｎｆｏｒｍ．  Ｔｈｅｏｒｙ、ｖｏｌ．５２、ｎｏ．４、ｐｐ．１２８９〜１３０６、２００６年４月。
［１２］Ｒ．Ｇ．Ｂａｒａｎｉｕｋによる「Ｃｏｍｐｒｅｓｓｉｖｅ  ｓｅｎｓｉｎｇ」、ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍａｇ、ｖｏｌ．２４、ｎｏ．４、ｐｐ．１１８〜１２０、２００７年７月。
［１３］Ｅ．Ｊ．ＣａｎｄｅｓおよびＭ．Ｂ．Ｗａｋｉｎによる「Ａｎ  ｉｎｔｒｏｄｕｃｔｉｏｎ  ｔｏ  ｃｏｍｐｒｅｓｓｉｖｅ  ｓａｍｐｌｉｎｇ」、ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍａｇａｚｉｎｅ、ｖｏｌ．２５、ｐｐ．２１〜３０、２００８年。
［１４］Ｒ．Ｇ．Ｂａｒａｎｉｕｋ、Ｖ．Ｃｅｖｈｅｒ、Ｍ．Ｆ．Ｄｕａｒｔｅ、およびＣ．Ｈｅｇｄｅによる「Ｍｏｄｅｌ−ｂａｓｅｄ  ｃｏｍｐｒｅｓｓｉｖｅ  ｓｅｎｓｉｎｇ」、ＩＥＥＥ  Ｔｒａｎｓ．Ｉｎｆｏ．Ｔｈｅｏｒｙ、ｖｏｌ．５６、ｎｏ．４、ｐｐ．１９８２〜２００１、２０１０年４月。
［１５］Ｃ．Ｆｅｖｏｔｔｅ、Ｎ．Ｂｅｒｔｉｎ、およびＪ．Ｌ．Ｄｕｒｒｉｅｕによる「Ｎｏｎｎｅｇａｔｉｖｅ  ｍａｔｒｉｘ  ｆａｃｔｏｒｉｚａｔｉｏｎ  ｗｉｔｈ  ｔｈｅ  Ｉｔａｋｕｒａ−Ｓａｉｔｏ  ｄｉｖｅｒｇｅｎｃｅ．Ｗｉｔｈ  ａｐｐｌｉｃａｔｉｏｎ  ｔｏ  ｍｕｓｉｃ  ａｎａｌｙｓｉｓ」、Ｎｅｕｒａｌ  Ｃｏｍｐｕｔａｔｉｏｎ、ｖｏｌ．２１、ｎｏ．３、ｐｐ．７９３〜８３０、２００９年３月。
［１６］Ａ．Ｐ．Ｄｅｍｐｓｔｅｒ、Ｎ．Ｍ．Ｌａｉｒｄ、およびＤ．Ｂ．Ｒｕｂｉｎによる「Ｍａｘｉｍｕｍ  ｌｉｋｅｌｉｈｏｏｄ  ｆｒｏｍ  ｉｎｃｏｍｐｌｅｔｅ  ｄａｔａ  ｖｉａ  ｔｈｅ  ＥＭ  ａｌｇｏｒｉｔｈｍ」、Ｊｏｕｒｎａｌ  ｏｆ  ｔｈｅ  Ｒｏｙａｌ  Ｓｔａｔｉｓｔｉｃａｌ  Ｓｏｃｉｅｔｙ．Ｓｅｒｉｅｓ  Ｂ（Ｍｅｔｈｏｄｏｌｏｇｉｃａｌ）、ｖｏｌ．３９、ｐｐ．１〜３８、１９７７年。
［１７］Ｓ．Ｍ．Ｋａｙによる「Ｆｕｎｄａｍｅｎｔａｌｓ  ｏｆ  Ｓｔａｔｉｓｔｉｃａｌ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ：  Ｅｓｔｉｍａｔｉｏｎ  Ｔｈｅｏｒｙ」米国ニュージャージー州エングルウッド・クリフス、Ｐｒｅｎｔｉｃｅ  Ｈａｌｌ、１９９３年。
［１８］Ａ．Ｏｚｅｒｏｖ、Ｃ．Ｆｅｖｏｔｔｅ、Ｒ．Ｂｌｏｕｅｔ、およびＪ．−Ｌ．Ｄｕｒｒｉｅｕによる「Ｍｕｌｔｉｃｈａｎｎｅｌ  ｎｏｎｎｅｇａｔｉｖｅ  ｔｅｎｓｏｒ  ｆａｃｔｏｒｉｚａｔｉｏｎ  ｗｉｔｈ  ｓｔｒｕｃｔｕｒｅｄ  ｃｏｎｓｔｒａｉｎｔｓ  ｆｏｒ  ｕｓｅｒ−ｇｕｉｄｅｄ  ａｕｄｉｏ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ」、ＩＥＥＥ  Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ａｃｏｕｓｔｉｃｓ，Ｓｐｅｅｃｈ，ａｎｄ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  （ＩＣＡＳＳＰ’１１）、プラハ、２０１１年５月、ｐｐ．２５７〜２６０。
［１９］Ｖ．Ｅｍｉｙａ、Ｅ．Ｖｉｎｃｅｎｔ、Ｎ．Ｈａｒｌａｎｄｅｒ、およびＶ．Ｈｏｈｍａｎｎによる「Ｓｕｂｊｅｃｔｉｖｅ  ａｎｄ  ｏｂｊｅｃｔｉｖｅ  ｑｕａｌｉｔｙ  ａｓｓｅｓｓｍｅｎｔ  ｏｆ  ａｕｄｉｏ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ」、ＩＥＥＥ  Ｔｒａｎｓ．Ａｕｄｉｏ，Ｓｐｅｅｃｈ，Ｌａｎｇｕａｇｅ  Ｐｒｏｃｅｓｓ、ｖｏｌ．１９、ｎｏ．７、ｐｐ．２０４６〜２０５７、２０１１年。
［２０］Ｊ．Ｎｉｋｕｎｅｎ、Ｔ．Ｖｉｒｔａｎｅｎ、およびＭ．Ｖｉｌｅｒｍｏによる「Ｍｕｌｔｉｃｈａｎｎｅｌ  ａｕｄｉｏ  ｕｐｍｉｘｉｎｇ  ｂｙ  ｔｉｍｅ−ｆｒｅｑｕｅｎｃｙ  ｆｉｌｔｅｒｉｎｇ  ｕｓｉｎｇ  ｎｏｎ−ｎｅｇａｔｉｖｅ  ｔｅｎｓｏｒ  ｆａｃｔｏｒｉｚａｔｉｏｎ」、Ｊ．Ａｕｄｉｏ  Ｅｎｇ．Ｓｏｃ．、ｖｏｌ．６０、ｎｏ．１０、ｐｐ．７９４〜８０６、２０１２年。
［２１］Ｔ．Ｖｉｒｔａｎｅｎ、Ｊ．Ｆ．Ｇｅｍｍｅｋｅ、Ｂ．Ｒａｊ、およびＰ．Ｓｍａｒａｇｄｉｓによる「Ｃｏｍｐｏｓｉｔｉｏｎａｌ  ｍｏｄｅｌｓ  ｆｏｒ  ａｕｄｉｏ  ｐｒｏｃｅｓｓｉｎｇ」、ＩＥＥＥ  Ｓｉｇｎａｌ  Ｐｒｏｃｅｓｓｉｎｇ  Ｍａｇａｚｉｎｅ、ｐｐ．１２５〜１４４、２０１５年。
【手続補正５】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
複数の時間領域オーディオ信号を、前記複数の時間領域オーディオ信号の混合物から前記複数の時間領域オーディオ信号を復号および分離するために使用することができる副情報として符号化する方法であって、
前記複数の時間領域オーディオ信号の各々をランダム・サンプリングおよび量子化することと、
前記サンプリングおよび量子化した複数の時間領域オーディオ信号を、前記副情報として符号化することと、
を含む、前記方法。
【請求項２】
前記ランダム・サンプリングは、既定の疑似ランダム・パターンを使用する、請求項１に記載の方法。
【請求項３】
前記複数の時間領域オーディオ信号の混合物は、到着するにつれて順次符号化される、請求項１に記載の方法。
【請求項４】
どのソースがどの期間に無音であるかを割り出すステップと、前記割り出した情報を前記副情報内に符号化するステップとをさらに含む、請求項１に記載の方法。
【請求項５】
複数のオーディオ信号の混合物を復号する方法であって、
記憶装置または任意のデータ・ソースから、前記複数のオーディオ信号の混合物を受信する、または取り出すことと、
前記複数のオーディオ信号に近似した複数の推定オーディオ信号を、前記複数のオーディオ信号の混合物に関連付けられた副情報から生成することと、
を含み、前記方法は、
前記複数のオーディオ信号の各々のランダム・サンプリングされ量子化された時間領域サンプルを含む前記副情報を復号および逆多重化することと、
前記複数のオーディオ信号の各々の前記量子化されたサンプルを使用して、前記複数の推定オーディオ信号を生成することとを含む、前記方法。
【請求項６】
前記複数の推定オーディオ信号を生成することは、
ランダム非負値から分散テンソルＶを計算することと、
前記複数のオーディオ信号の前記量子化されたサンプルのソース・パワー・スペクトルの条件付き期待値を計算することであって、推定ソース・パワー・スペクトルＰ（ｆ，ｎ，ｊ）が得られ、かつ、前記複数のオーディオ信号の前記分散テンソルＶおよび複素短時間フーリエ変換（ＳＴＦＴ）係数が使用される、前記計算することと、
前記推定ソース・パワー・スペクトルＰ（ｆ，ｎ，ｊ）から前記分散テンソルＶを繰り返し再計算することと、
結果として得られる分散テンソルＶから、ＳＴＦＴ係数
2018513996.tif 000066
の配列を計算することと、
ＳＴＦＴ係数
2018513996.tif 000067
の前記配列を前記時間領域に変換することであって、前記複数の推定オーディオ信号が得られる、前記変換することと、
を含む、請求項５に記載の方法。
【請求項７】
前記複数のオーディオ信号のうちの少なくとも１つについてオーディオ・インペインティングを行うことをさらに含む、請求項５に記載の方法。
【請求項８】
前記副情報が、どのオーディオ・ソースがどの時間に無音であるかを示す情報をさらに含み、前記分散テンソルＶを定義する行列ＨおよびＱを自動的に定めることをさらに含む、請求項５に記載の方法。
【請求項９】
複数のオーディオ信号を、複数の時間領域オーディオ信号の混合物から前記複数の時間領域オーディオ信号を復号および分離するために使用することができる副情報として符号化する装置であって、
複数の時間領域オーディオ信号を符号化する方法を前記装置に実行させるように構成された少なくとも１つのプロセッサを有し、
前記少なくとも１つのプロセッサが前記装置に、
前記複数の時間領域オーディオ信号の各々をランダム・サンプリングおよび量子化することと、
前記サンプリングおよび量子化した複数の時間領域オーディオ信号を、前記副情報として符号化することと、
を実行させるように構成されていることを特徴とする、前記装置。
【請求項１０】
前記ランダム・サンプリングは、既定の疑似ランダム・パターンを使用する、請求項９に記載の装置。
【請求項１１】
複数のオーディオ信号の混合物を復号する装置であって、
複数のオーディオ信号の混合物を復号する方法を前記装置に実行させるように構成された少なくとも１つのプロセッサを有し、前記方法は、
記憶装置または任意のデータ・ソースから、前記複数のオーディオ信号の混合物を受信する、または取り出すことと、
前記複数のオーディオ信号に近似した複数の推定オーディオ信号を、前記複数のオーディオ信号の混合物に関連付けられた副情報から生成することと、
を含み、
前記少なくとも１つのプロセッサが、
前記複数のオーディオ信号の各々のランダム・サンプリングされ量子化された時間領域サンプルを含む前記副情報を復号および逆多重化し、
前記複数のオーディオ信号の各々の前記量子化されたサンプルを使用して、前記複数の推定オーディオ信号を生成するように構成されていることを特徴とする、前記装置。
【請求項１２】
前記複数の推定オーディオ信号を生成することは、
ランダム非負値から分散テンソルＶを計算することと、
前記複数のオーディオ信号の前記量子化されたサンプルのソース・パワー・スペクトルの条件付き期待値を計算することであって、推定ソース・パワー・スペクトルＰ（ｆ，ｎ，ｊ）が得られ、かつ、前記複数のオーディオ信号の前記分散テンソルＶおよび複素短時間フーリエ変換（ＳＴＦＴ）係数が使用される、前記計算することと、
前記推定ソース・パワー・スペクトルＰ（ｆ，ｎ，ｊ）から前記分散テンソルＶを繰り返し再計算することと、
結果として得られる分散テンソルＶからＳＴＦＴ係数
2018513996.tif 000068
の配列を計算することと、
ＳＴＦＴ係数
2018513996.tif 000069
の前記配列を前記時間領域に変換することであって、前記複数の推定オーディオ信号が得られる、前記変換することと、
を含む、請求項１１に記載の装置。
【請求項１３】
前記少なくとも１つのプロセッサが、前記複数の時間領域オーディオ信号のうちの少なくとも１つについてオーディオ・インペインティングを行うようにさらに構成されている
、請求項１１に記載の装置。
【請求項１４】
複数の時間領域オーディオ信号を、前記複数の時間領域オーディオ信号の混合物から前記複数の時間領域オーディオ信号を復号および分離するために使用することができる副情報として符号化する方法を実施するためにコンピュータによって実行可能な命令のプログラムを有形に含む、コンピュータ可読の非一時的プログラム記憶デバイスであって、前記方法は、
前記複数の時間領域オーディオ信号の各々をランダム・サンプリングおよび量子化することと、
前記サンプリングおよび量子化した複数の時間領域オーディオ信号を前記副情報として符号化することとを含む、前記非一時的プログラム記憶デバイス。
【請求項１５】
複数のオーディオ信号の混合物を復号する方法を実施するためにコンピュータによって実行可能な命令のプログラムを有形に含む、コンピュータ可読の非一時的プログラム記憶デバイスであって、前記方法は、
記憶装置または任意のデータ・ソースから、複数のオーディオ信号の混合物を受信する、または取り出すことと、
前記複数のオーディオ信号の混合物に関連付けられた副情報から前記複数のオーディオ信号に近似した複数の推定オーディオ信号を生成することとを含み、
前記方法は、
前記複数のオーディオ信号の各々のランダム・サンプリングされ量子化された時間領域サンプルを含む前記副情報を復号および逆多重化することと、
前記複数のオーディオ信号の各々の前記量子化されたサンプルを使用して、前記複数の推定オーディオ信号を生成することとを含む、前記非一時的プログラム記憶デバイス。
【請求項１６】
複数のオーディオ信号の混合物を復号するように構成された副情報を含む信号を有形に含む記憶媒体であって、
前記副情報は、前記複数のオーディオ信号の各々のランダム・サンプリングされ量子化された時間領域サンプルを含む、前記記憶媒体。
【国際調査報告】
2018513996.tif 000070
2018513996.tif 000071
2018513996.tif 000072