(57)【特許請求の範囲】
【請求項１】
オーディオ・コンテンツからのオーディオ源分離の方法であって：
オーディオ源の空間的パラメータを決定する段階であって、オーディオ源の空間的パラメータの該決定は：
前記オーディオ源の線形結合特性および前記オーディオ・コンテンツにおける分離されるべき二つ以上のオーディオ源の直交性特性のうちの一方に基づいて前記オーディオ源のパワースペクトル・パラメータを決定し；
前記線形結合特性および前記直交性特性のうちの他方に基づいて前記パワースペクトル・パラメータを更新し；
更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の空間的パラメータを決定することを含む、段階と；
前記空間的パラメータに基づいて前記オーディオ・コンテンツから前記オーディオ源を分離する段階とを含む、
方法。
【請求項２】
分離されるべき前記オーディオ源の数はあらかじめ決定されている、請求項１記載の方法。
【請求項３】
期待値最大化（EM）逐次反復プロセスにおいてオーディオ源の空間的パラメータを決定することをさらに含み、
当該方法はさらに：
前記EM逐次反復プロセスの開始前に前記空間的パラメータおよび前記オーディオ源のスペクトル・パラメータについての初期化された値を設定する段階を含み、前記空間的パラメータについての前記初期化された値は負でない、
請求項１記載の方法。
【請求項４】
EM逐次反復プロセスにおいてオーディオ源の空間的パラメータを決定することが：
前記EM逐次反復プロセスにおける各EM反復工程について、
前記線形結合特性に基づいて、前記オーディオ源の前記パワースペクトル・パラメータを、前のEM反復工程において決定された前記オーディオ源の前記スペクトル・パラメータを使って決定し；
前記直交性特性に基づいて前記オーディオ源の前記パワースペクトル・パラメータを更新し；
前記更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の前記空間的パラメータおよび前記パワースペクトル・パラメータを更新することを含む、
請求項３記載の方法。
【請求項５】
EM逐次反復プロセスにおいてオーディオ源の空間的パラメータを決定することが：
前記EM逐次反復プロセスにおける各EM反復工程について、
前記直交性特性に基づいて、前記オーディオ源の前記パワースペクトル・パラメータを、前のEM反復工程において決定された前記オーディオ源の前記空間的パラメータおよび前記スペクトル・パラメータを使って決定し；
前記線形結合特性に基づいて前記オーディオ源の前記パワースペクトル・パラメータを更新し；
前記更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の前記空間的パラメータおよび前記パワースペクトル・パラメータを更新することを含む、
請求項３記載の方法。
【請求項６】
前記直交性特性に基づいて、前記オーディオ源の前記パワースペクトル・パラメータを、前記空間的パラメータおよび前記スペクトル・パラメータについての初期化された値を使って、前記EM逐次反復プロセスの開始前に決定する段階をさらに含み、
EM逐次反復プロセスにおいてオーディオ源の空間的パラメータを決定することが：
前記EM逐次反復プロセスにおける各EM反復工程について、
前記線形結合特性に基づいて前記オーディオ源の前記パワースペクトル・パラメータを、前のEM反復工程において決定された前記オーディオ源の前記スペクトル・パラメータを使って更新し、
前記更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の前記空間的パラメータおよび前記パワースペクトル・パラメータを更新することを含む、
請求項３記載の方法。
【請求項７】
前記オーディオ源の前記スペクトル・パラメータは、非負行列因子分解モデルによってモデル化される、請求項４ないし６のうちいずれか一項記載の方法。
【請求項８】
前記オーディオ源の前記パワースペクトル・パラメータは、第一の逐次反復プロセスにおいて前記オーディオ源の共分散行列の推定誤差を減少させることによって、前記線形結合特性に基づいて決定または更新される、請求項４ないし６のうちいずれか一項記載の方法。
【請求項９】
前記オーディオ・コンテンツの共分散行列を決定する段階と；
前記オーディオ・コンテンツの前記共分散行列に基づいて直交性閾値を決定する段階と；
前記直交性閾値に基づいて前記第一の逐次反復プロセスの反復工程数を決定する段階とを含む、
請求項８記載の方法。
【請求項１０】
前記空間的パラメータまたは前記スペクトル・パラメータの少なくとも一方が、各EM反復工程の前に規格化される、請求項４ないし６のうちいずれか一項記載の方法。
【請求項１１】
オーディオ源の空間的パラメータの前記決定が、前記オーディオ源の移動度、前記オーディオ源の安定度または前記オーディオ源の混合型のうちの一つまたは複数にさらに基づく、請求項１ないし６のうちいずれか一項記載の方法。
【請求項１２】
前記空間的パラメータに基づいて前記オーディオ・コンテンツから前記オーディオ源を分離する前記段階が：
前記オーディオ・コンテンツから直接音オーディオ信号を抽出し；
前記空間的パラメータに基づいて前記直接音オーディオ信号から、前記オーディオ源を分離することを含む、
請求項１ないし６のうちいずれか一項記載の方法。
【請求項１３】
オーディオ・コンテンツからのオーディオ源分離のシステムであって：
オーディオ源の空間的パラメータを決定するよう構成された合同決定ユニットであって、該合同決定ユニットは：
前記オーディオ源の線形結合特性および前記オーディオ・コンテンツにおける分離されるべき二つ以上のオーディオ源の直交性特性のうちの一方に基づいて前記オーディオ源のパワースペクトル・パラメータを決定するよう構成されたパワースペクトル決定ユニット；
前記線形結合特性および前記直交性特性のうちの他方に基づいて前記パワースペクトル・パラメータを更新するよう構成されたパワースペクトル更新ユニット；および
更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の前記空間的パラメータを決定するよう構成された空間的パラメータ決定ユニットを有する、合同決定ユニットと；
前記空間的パラメータに基づいて前記オーディオ・コンテンツから前記オーディオ源を分離するよう構成されたオーディオ源分離ユニットとを有する、
システム。
【請求項１４】
分離されるべき前記オーディオ源の数はあらかじめ決定されている、請求項１３記載のシステム。
【請求項１５】
前記合同決定ユニットはさらに、期待値最大化（EM）逐次反復プロセスにおいてオーディオ源の空間的パラメータを決定するよう構成されており、
当該システムはさらに：
前記EM逐次反復プロセスの開始前に前記空間的パラメータおよび前記オーディオ源のスペクトル・パラメータについての初期化された値を設定するよう構成された初期化ユニットを有しており、前記空間的パラメータについての前記初期化された値は負でない、
請求項１３記載のシステム。
【請求項１６】
前記合同決定ユニットにおいて、前記EM逐次反復プロセスにおける各EM反復工程について、
前記パワースペクトル決定ユニットは、前記線形結合特性に基づいて、前記オーディオ源の前記パワースペクトル・パラメータを、前のEM反復工程において決定された前記オーディオ源の前記スペクトル・パラメータを使って決定するよう構成されており、
前記パワースペクトル更新ユニットは、前記直交性特性に基づいて前記オーディオ源の前記パワースペクトル・パラメータを更新するよう構成されており、
前記空間的パラメータ決定ユニットは、前記更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の前記空間的パラメータおよび前記パワースペクトル・パラメータを更新するよう構成されている、
請求項１５記載のシステム。
【請求項１７】
前記合同決定ユニットにおいて、前記EM逐次反復プロセスにおける各EM反復工程について、
前記パワースペクトル決定ユニットは、前記直交性特性に基づいて、前記オーディオ源の前記パワースペクトル・パラメータを、前のEM反復工程において決定された前記オーディオ源の前記空間的パラメータおよび前記スペクトル・パラメータを使って決定するよう構成されており、
前記パワースペクトル更新ユニットは、前記線形結合特性に基づいて前記オーディオ源の前記パワースペクトル・パラメータを更新するよう構成されており、
前記空間的パラメータ決定ユニットは、前記更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の前記空間的パラメータおよび前記パワースペクトル・パラメータを更新するよう構成されている、
請求項１５記載のシステム。
【請求項１８】
前記パワースペクトル決定ユニットは、前記直交性特性に基づいて、前記オーディオ源の前記パワースペクトル・パラメータを、前記空間的パラメータおよび前記スペクトル・パラメータについての前記初期化された値を使って、前記EM逐次反復プロセスの開始前に決定するよう構成されており、
前記EM逐次反復プロセスにおける各EM反復工程について、
前記パワースペクトル更新ユニットは、前記線形結合特性に基づいて前記オーディオ源の前記パワースペクトル・パラメータを、前のEM反復工程において決定された前記オーディオ源の前記スペクトル・パラメータを使って更新するよう構成されており、
前記空間的パラメータ決定ユニットは、前記更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の前記空間的パラメータおよび前記パワースペクトル・パラメータを更新するよう構成されている、
請求項１５記載のシステム。
【請求項１９】
前記オーディオ源の前記スペクトル・パラメータは、非負行列因子分解モデルによってモデル化される、請求項１６ないし１８のうちいずれか一項記載のシステム。
【請求項２０】
前記オーディオ源の前記パワースペクトル・パラメータは、第一の逐次反復プロセスにおいて前記オーディオ源の共分散行列の推定誤差を減少させることによって、前記線形結合特性に基づいて決定または更新される、請求項１６ないし１８のうちいずれか一項記載のシステム。
【請求項２１】
前記オーディオ・コンテンツの共分散行列を決定するよう構成された共分散行列決定ユニットと；
前記オーディオ・コンテンツの前記共分散行列に基づいて直交性閾値を決定するよう構成された直交性閾値決定ユニットと；
前記直交性閾値に基づいて前記第一の逐次反復プロセスの反復工程数を決定するよう構成された反復工程数決定ユニットとをさらに有する、
請求項２０記載のシステム。
【請求項２２】
前記空間的パラメータまたは前記スペクトル・パラメータの少なくとも一方は、各EM反復工程の前に規格化される、請求項１６ないし１８のうちいずれか一項記載のシステム。
【請求項２３】
前記合同決定ユニットは、前記オーディオ源の移動度、前記オーディオ源の安定度または前記オーディオ源の混合型のうちの一つまたは複数に基づいて前記オーディオ源の前記空間的パラメータを決定するようさらに構成されている、請求項１３ないし１８のうちいずれか一項記載のシステム。
【請求項２４】
前記オーディオ源分離ユニットは、前記オーディオ・コンテンツから直接音オーディオ信号を抽出し、前記空間的パラメータに基づいて前記直接音オーディオ信号から前記オーディオ源を分離するよう構成されている、請求項１３ないし１８のうちいずれか一項記載のシステム。
【請求項２５】
オーディオ・コンテンツからのオーディオ源分離のためのコンピュータ・プログラムであって、請求項１ないし１２のうちいずれか一項記載の方法を機械に実行させるための、コンピュータ・プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
関連出願への相互参照
本願は2015年2月15日に出願された中国特許出願第201510082792.6号および2015年3月23日に出願された米国仮出願第61/136,849号の優先権を主張するものである。同出願の内容はここに参照によってその全体において組み込まれる。
【０００２】
技術
本稿に開示される例示的実施形態は概括的にはオーディオ・コンテンツ処理に、より詳細にはオーディオ・コンテンツからのオーディオ源分離の方法およびシステムに関する。
【背景技術】
【０００３】
マルチチャネル・フォーマット（ステレオ、サラウンド5.1、サラウンド7.1など）のオーディオ・コンテンツは、スタジオにおいて異なるオーディオ信号を混合することによって作り出されるか、現実の環境において同時に音響信号を記録することによって生成される。混合されたオーディオ信号またはコンテンツは、いくつかの異なる源を含むことがある。源分離は、たとえばモノ信号および空間的情報、スペクトル情報などを含むメタデータによってオーディオ・コンテンツを再構成するために、それぞれの源の情報を識別するタスクである。
【０００４】
一つまたは複数のマイクロフォンを使って聴覚シーンを記録するとき、多様なその後のオーディオ処理タスクにおける使用に好適となりうるよう、オーディオ源に依存する情報が分離されることが好ましい。本稿での用法では、用語「オーディオ源」は、オーディオ・コンテンツにおいてある定義された継続時間にわたって存在する個別のオーディオ要素をいう。オーディオ源は動的または静的でありうる。たとえば、オーディオ源は人間、動物または音場における他の任意の音源でありうる。オーディオ処理タスクのいくつかの例は、空間的オーディオ符号化、リミックス／再オーサリング、3D音分解および合成および／またはさまざまな目的（たとえば自動発話認識）のための信号向上／ノイズ抑制を含みうる。したがって、オーディオ源分離がうまくいくことで、改善された多用途性およびよりよい性能が達成できる。
【０００５】
捕捉プロセスに関わったオーディオ源の事前情報（たとえば、記録装置の属性、部屋の音響属性など）が利用可能でないときは、分離プロセスは盲目的な源分離（BSS:  blind  source  separation）と呼ぶことができる。盲目的な源分離はさまざまな応用領域に重要である。たとえば、複数マイクロフォンを用いた発話向上、マルチチャネル通信における漏話除去、マルチパス・チャネル識別および等化、センサー・アレイにおける到来方向（DOA:  direction  of  arrival）推定、オーディオおよびパッシブソナーのためのビームフォーミング・マイクロフォンに対する改善、音楽リマスタリング、文字起こし、オブジェクト・ベース符号化などがある。
【発明の概要】
【発明が解決しようとする課題】
【０００６】
当技術分野では、事前情報なしでのオーディオ・コンテンツからのオーディオ源分離のための解決策が必要とされている。
【課題を解決するための手段】
【０００７】
上記および他の潜在的な問題に対処するために、本稿に開示される例示的実施形態は、チャネル・ベースのオーディオ・コンテンツからのオーディオ源分離の方法およびシステムを提案する。
【０００８】
ある側面では、本稿に開示される例示的実施形態は、オーディオ・コンテンツからのオーディオ源分離の方法を提供する。本方法は、オーディオ源の空間的パラメータを、前記オーディオ源の線形結合特性および前記オーディオ・コンテンツにおける分離されるべき二つ以上のオーディオ源の直交性特性に基づいて決定することを含む。本方法はまた、前記空間的パラメータに基づいて前記オーディオ・コンテンツから前記オーディオ源を分離することをも含む。これに関する実施形態はさらに、対応するコンピュータ・プログラム・プロダクトを含む。
【０００９】
もう一つの側面では、本稿に開示される例示的実施形態は、オーディオ・コンテンツからのオーディオ源分離のシステムを提供する。本システムは、オーディオ源の空間的パラメータを、前記オーディオ源の線形結合特性および前記オーディオ・コンテンツにおける分離されるべき二つ以上のオーディオ源の直交性特性に基づいて決定するよう構成された合同決定ユニットを含む。本システムはまた、前記空間的パラメータに基づいて前記オーディオ・コンテンツから前記オーディオ源を分離するよう構成されたオーディオ源分離ユニットをも含む。
【００１０】
以下の記述を通じて、本稿に開示される例示的実施形態によれば、オーディオ源分離のために使われるオーディオ源の空間的パラメータは、前記オーディオ源の線形結合特性および前記オーディオ・コンテンツにおける分離されるべき二つ以上のオーディオ源の直交性特性に基づいて合同して決定されることができ、安定した高速な収束を可能にしつつ知覚的に自然なオーディオ源が得られることが理解されるであろう。本稿に開示される例示的実施形態によって達成される他の利点は、以下の記述を通じて明白となるであろう。
【図面の簡単な説明】
【００１１】
付属の図面を参照しての以下の詳細な説明を通じて、本稿に開示される例示的実施形態の上記および他の目的、特徴および利点がより把握しやすくなるであろう。図面においては、本稿に開示されるいくつかの例示的実施形態が例において、限定しない仕方で示される。
【図１】本稿に開示される例示的実施形態に基づく、オーディオ・コンテンツからのオーディオ源分離の方法のフローチャートである。
【図２】本稿に開示される例示的実施形態に基づく、空間的パラメータ決定のためのフレームワークのブロック図である。
【図３】本稿に開示される例示的実施形態に基づく、オーディオ源分離のシステムのブロック図である。
【図４】本稿に開示される例示的実施形態に基づく、逐次反復プロセスにおけるパラメータ決定のための擬似コードの概略図である。
【図５】本稿に開示される例示的実施形態に基づく、もう一つの逐次反復プロセスにおけるパラメータ決定のためのもう一つの擬似コードの概略図である。
【図６】本稿に開示される一つの例示的実施形態に基づく、空間的パラメータ決定のためのプロセスのフローチャートである。
【図７】本稿に開示される一つの例示的実施形態に基づく、源パラメータの合同決定における信号の流れの概略図である。
【図８】本稿に開示されるもう一つの例示的実施形態に基づく、空間的パラメータ決定のためのプロセスのフローチャートである。
【図９】本稿に開示されるもう一つの例示的実施形態に基づく、源パラメータの合同決定における信号の流れの概略図である。
【図１０】本稿に開示されるさらにもう一つの例示的実施形態に基づく、空間的パラメータ決定のためのプロセスのフローチャートである。
【図１１】本稿に開示される例示的実施形態に基づく、図３のシステムにおいて使うための合同決定器のブロック図である。
【図１２】本稿に開示されるさらにもう一つの例示的実施形態に基づく、源パラメータの合同決定における信号の流れの概略図である。
【図１３】本稿に開示される例示的実施形態に基づく、直交性制御のための方法のフローチャートである。
【図１４】本稿に開示される例示的実施形態に基づく、逐次反復プロセスにおけるパラメータ決定のためのさらにもう一つの擬似コードの概略図である。
【図１５】本稿に開示されるもう一つの例示的実施形態に基づく、オーディオ源分離のシステムのブロック図である。
【図１６】本稿に開示される一つの例示的実施形態に基づく、オーディオ源分離のシステムのブロック図である。
【図１７】本稿に開示される例示的実施形態を実装するのに好適な例示的なコンピュータ・システムのブロック図である。  諸図面を通じて、同じまたは対応する参照符号は同じまたは対応する部分を指す。
【発明を実施するための形態】
【００１２】
本稿に開示される例示的実施形態の原理についてここで図面に示されるさまざまな例示的実施形態を参照して述べる。これらの実施形態の描出は単に当業者が本稿に開示される例示的実施形態をよりよく理解し、さらに実装することができるようにするためのものであり、いかなる仕方であれ本稿に開示される範囲を限定することは意図されていない。
【００１３】
上述したように、事前の知識なしに伝統的なチャネル・ベースのフォーマットのオーディオ・コンテンツからオーディオ源を分離することが望まれる。オーディオ源モデル化における多くの技法が。オーディオ源分離の問題に取り組むために生み出されている。代表的なクラスの技法は、オーディオ・コンテンツにおけるオーディオ源の直交性の仮定に基づく。すなわち、オーディオ・コンテンツに含まれるオーディオ源は独立であるまたは無相関であると想定される。独立／無相関オーディオ源モデル化技法に基づくいくつかの典型的な方法は、適応脱相関（adaptive  de-correlation）法、主成分解析（PCA:  Principal  Component  Analysis）および独立成分解析（ICA:  Independent  Component  Analysis）などを含む。もう一つの代表的なクラスの技法は、オーディオ・コンテンツにおける目標オーディオ源の線形結合の仮定に基づく。これは、周波数領域におけるオーディオ源のスペクトル成分の線形結合を、時間領域におけるそれらのスペクトル成分の活性化に基づいて、許容する。この仮定では、オーディオ・コンテンツは加法的モデルによってモデル化される。典型的な加法的源モデル化法は、非負行列因子分解（NMF:  Non-negative  Matrix  Factorization）であり、これは意味のあるスペクトル成分の線形結合に基づく、二次元の負でない成分（スペクトル成分および時間成分）の表現を許容する。
【００１４】
上記の代表的なクラス（すなわち直交性仮定および線形結合仮定）はオーディオ処理用途（たとえば、現実世界の映画コンテンツのリマスタリング、現実の環境における録音の分離）においてそれぞれの利点および欠点をもつ。
【００１５】
たとえば、独立／無相関源モデルは、計算において安定した収束をもちうる。しかしながら、これらのモデルによるオーディオ源出力は通例、知覚的に自然なものには聞こえず、時に結果は意味のないものになる。理由は、モデルがリアルな音シナリオによく適合しないということである。たとえば、PCAモデルは、対角行列D、直交行列Vおよび入力オーディオ信号の共分散行列を表わす行列CXを用いてD＝V-1CXVによって構築される。この最小二乗／ガウシアン・モデルは音について直感に反することがあり、相互打ち消し（cross-cancellation）を利用することによって意味のない結果を与えることがある。
【００１６】
独立／無相関源モデルに比べ、線形結合仮定に基づく源モデル（加法的源モデルとも称される）は、より知覚的に快い音を生成するという長所がある。これはおそらく、現実世界における音が加法的モデルにより近いので、加法的源モデルがより知覚的な受容解析（take-on  analysis）に関係しているためである。しかしながら、加法的源モデルには不定性の問題がある。これらのモデルは一般には、目的関数の停留点への収束を保証するだけであることがあり、よってパラメータの初期化に敏感である。もとの源情報が初期化のために利用可能ないくつかの従来のシステムについては、加法的源モデルは、合理的な収束速度で源を復元するために十分であることがある。初期化情報は通例利用可能ではないので、それはたいていの現実世界の用途については実際的ではない。特に、きわめて非定常的で、変動する源については、加法的源モデルでは収束が得られないことがありうる。
【００１７】
加法的源モデルのいくつかの応用についてはトレーニング・データが利用可能であることが理解されるはずである。しかしながら、トレーニング・データから学習されたオーディオ源についての加法的モデルは現実の場合においてはいい性能を発揮しない傾向があるという事実のため、トレーニング・データを実際に用いるときには困難が生じることがある。これは一般には、加法的モデルと混合中のオーディオ源の実際の属性との間の不一致に起因する。適正にマッチした初期化なしには、この解決策は有効ではないことがあり、実のところ、互いに高い相関のある源を生成することがある。これは推定の不安定性あるいはさらには発散につながりうる。結果として、NMFのような加法的モデル化方法は、多くの現実世界の用途シナリオについて、安定かつ定常的な収束のためには十分でないことがある。
【００１８】
さらに、置換不定性（permutation  indeterminacy）は、独立／無相関源モデル化および加法的源モデル化方法の両方について対処されるべき共通の問題である。独立／無相関源モデル化方法は、それぞれの周波数ビンにおいて適用されて、周波数ビン毎に源サブバンド推定値の集合を与えうる。しかしながら、分離された各オーディオ源に関するサブバンド推定を同定することは難しい。同様に、スペクトル成分因子を得るNMFのような加法的源モデル化方法については、どのスペクトル成分が分離された各オーディオ源に関するのかを知ることは難しい。
【００１９】
チャネル・ベースのオーディオ・コンテンツからのオーディオ源分離の実行を改善するために、本稿に開示される例示的実施形態は、加法的源モデル化および独立／無相関源モデル化の両方の利点を合同して取ることによってオーディオ源分離のための解決策を提供する。例示的実施形態の一つの可能な利点は、安定して高速な収束を可能にしつつ知覚的に自然なオーディオ源が得られることを含みうる。この解決策は、混合された信号の処理および解析、たとえばオブジェクト・ベースの符号化、映画および音楽リマスタリング、到来方向（DOA）推定、マルチチャネル通信における漏話除去、発話向上、マルチパス・チャネル識別および等化などのためにオーディオ源分離を要求するいかなる応用領域において使用されることもできる。
【００２０】
これらの従来の解決策に比べ、提案される解決策のいくつかの利点は下記のようにまとめられる。
１）加法的源モデル化方法の推定不安定性または発散の問題が克服されうる。上記で論じたように、NMFのような加法的源モデル化方法は、多くの現実世界の応用条件においては安定かつ満足のいく収束性能を達成するためには十分ではない。他方、提案される合同決定解決策は、独立／無相関源モデルに埋め込まれている追加的な基準を活用する。
２）加法的源モデル化のためのパラメータ初期化の重要さを減じることができる。提案される合同決定解決策は、独立／無補正正則化を組み込むので、高速な収束が達成でき、これはもはや異なるパラメータ初期化についても著しくは変化しない。一方、最終的な結果はパラメータ初期化に強く依存しないことがある。
３）提案される合同決定解決策は、動きの速いオブジェクト、時間変化する音を含む高度に非定常的な源を、トレーニング・プロセスおよびオラクル初期化ありまたはなしで、安定した収束をもって扱うことを可能にしうる。
４）提案される合同決定解決策は、知覚的受容解析方法を活用することにより、独立／無相関モデルよりも、オーディオ・コンテンツによりよく統計的に適合しうる。よって、よりよく聞こえ、より意味のある出力を与える。
５）提案される合同決定解決策は、モデルの和が音の和のモデルに等しくなることができるという意味で、独立／無相関モデルのファクトリアル（factorial）方法に対して利点をもつ。よって、これは「ターゲット」および／または「ノイズ」モデルの柔軟な学習、時間次元制約条件／制約を簡単に加えること、空間的ガイダンス、ユーザー・ガイダンス、時間周波数ガイダンスを適用することなどといった、さまざまな応用シナリオに対する多用途性を許容する。
６）提案される合同決定解決策は、加法的モデル化方法および独立／無相関モデル化方法両方において存在する置換問題を回避しうる。これは周波数置換のような独立性基準において内在する曖昧さ、加法的コンポーネントの間の曖昧さおよび通常の源モデル化方法によって導入される自由度の一部を軽減する。
【００２１】
提案される解決策の詳細な説明が下記に与えられる。
【００２２】
まず図１が参照される。これは本稿に開示される例示的実施形態に基づくオーディオ・コンテンツからのオーディオ源分離の方法１００のフローチャートを描いている。
【００２３】
S101では、オーディオ源の空間的パラメータが、前記オーディオ源の線形結合特性および前記オーディオ・コンテンツにおける分離されるべき二つ以上のオーディオ源の直交性特性に基づいて合同して決定される。
【００２４】
処理されるオーディオ・コンテンツはたとえば、伝統的なマルチチャネル・オーディオ・コンテンツであってもよく、時間周波数領域表現であってもよい。時間周波数領域表現は、オーディオ・コンテンツを、複数の周波数帯域を記述する複数のサブバンド信号を用いて表現する。たとえば、Iチャネル入力オーディオxi(t)（ここでi＝1,2,…,I、t＝1,2,…,T）が短時間フーリエ変換（STFT）領域で処理されてXf,n＝[xi,f,n,……,xI,f,n]を得てもよい。本稿では特に断わりのない限り、iはチャネルのインデックスを表わし、Iはオーディオ・コンテンツにおけるチャネルの数を表わす；fは周波数ビン・インデックスを表わし、Fは周波数ビンの総数を表わす；nは時間フレーム・インデックスを表わし、Nは時間フレームの総数を表わす。
【００２５】
ある例示的実施形態では、オーディオ・コンテンツは、混合モデルによってモデル化される。ここで、オーディオ源はそれぞれの混合パラメータによってオーディオ・コンテンツにおいて混合される。オーディオ源以外の残りの信号はノイズである。オーディオ・コンテンツの混合モデルは次式のように行列で呈示されうる。
【００２６】
Xf,n＝Af,nsf,n＋bf,n        (1)
ここで、sf,n＝[s1,f,n,……,sJ,f,n]は分離されるべきJ個のオーディオ源の行列を表わし、Af,n＝[aij,fn]ijはI個のチャネルにおけるオーディオ源の混合パラメータ行列（空間的パラメータ行列とも称される）を表わし、bf,n＝[b1,f,n,……,bI,f,n]は加法的ノイズを表わす。本稿で特に断わりのない限り、jはオーディオ源のインデックスを表わし、Jは分離されるべきオーディオ源の数を表わす。場合によっては、オーディオ・コンテンツをモデル化するときにはノイズ信号を無視してもよいことを注意しておく。すなわち、式(1)においてbf,nが無視されてもよい。
【００２７】
オーディオ・コンテンツをモデル化する際、分離されるべきオーディオ源の数はあらかじめ決定されていてもよい。あらかじめ決定された数はいかなる値であってもよく、ユーザーの経験またはオーディオ・コンテンツの解析に基づいて設定されてもよい。ある例示的実施形態では、オーディオ・コンテンツの型に基づいて構成されてもよい。もう一つの例示的実施形態では、前記あらかじめ決定された数は1より大きくてもよい。
【００２８】
上記の混合モデルが与えられると、オーディオ源分離の問題は、入力オーディオ・コンテンツXf,nが観察されたとき、いかにして、周波数依存し時間変動することがありうる未知のオーディオ源の空間的パラメータAf,nを決定するかであると述べることができる。ある例示的実施形態では、Af,nを反転させる逆混合行列Df,nが導入されてもよい。たとえばウィーナー・フィルタリングおよびその後のオーディオ源の推定〔＾付きのsf,n〕を介して、分離されたオーディオ源を直接得るためである。該推定は次のように決定されうる。
【００２９】
【数１】
0006400218.tif 000002
ノイズ信号は時に無視されることがあるので、あるいは入力オーディオ・コンテンツに基づいて推定されることがあるので、オーディオ源分離における一つの重要なタスクは、空間的パラメータ行列Af,nを推定することである。
【００３０】
本稿に開示される例示的実施形態では、加法的源モデル化および独立／無相関源モデル化の両方が、分離されるべき目標オーディオ源の空間的パラメータを推定するために活用されてもよい。上述したように、加法的源モデル化は、目標オーディオ源の線形結合特性に基づき、その結果、知覚的に自然な音が得られる。独立／無相関源モデル化は分離されるべき複数のオーディオ源の直交性特性に基づき、その結果、安定かつ高速な収束が得られる。これに関し、両方の特性に基づいて空間的パラメータを合同的に決定することによって、安定かつ高速な収束を可能にしつつ、知覚的に自然なオーディオ源を得ることができる。
【００３１】
考えている目標オーディオ源の線形結合特性および目標オーディオ源を含む分離されるべき複数のオーディオ源の直交性特性は、目標オーディオ源の空間的パラメータを決定する際に、合同して考慮に入れられてもよい。いくつかの例示的実施形態では、目標オーディオ源のパワースペクトル・パラメータが、線形結合特性または直交性特性のいずれかに基づいて決定されてもよい。次いで、パワースペクトル・パラメータは、他方の選択されなかった特性（たとえば線形結合特性または直交性特性）に基づいて更新されてもよい。目標オーディオ源の空間的パラメータは、更新されたパワースペクトル・パラメータに基づいて決定されてもよい。
【００３２】
ある例示的実施形態では、加法的源モデルがまず使われてもよい。上述したように、加法的源モデルは、目標オーディオ源の線形結合の想定に基づく。加法的源モデル化におけるいくつかのよく知られた処理アルゴリズムが、オーディオ源のパラメータ、たとえばパワースペクトル・パラメータを得るために使われてもよい。次いで、独立／無相関源モデルが、加法的源モデルにおいて得られたオーディオ源パラメータを更新するために使われてもよい。独立／無相関源モデルにおいては、目標オーディオ源を含む二つ以上のオーディオ源は、互いに統計的に独立または無相関であり直交性属性をもつと想定されてもよい。独立／無相関源モデル化におけるいくつかのよく知られた処理アルゴリズムが使われてもよい。別の例示的実施形態では、オーディオ源パラメータを決定するために最初に独立／無相関源モデルが使われてもよく、次いでオーディオ源パラメータを更新するために加法的源モデルが使われてもよい。
【００３３】
いくつかの例示的実施形態では、合同決定は逐次反復プロセスであってもよい。すなわち、オーディオ源についての適正な空間的パラメータを得るよう、上記の決定および更新のプロセスが逐次反復的に実行されてもよい。たとえば、期待値最大化（EM:  expectation  maximization）逐次反復プロセスが、空間的パラメータを得るために使われてもよい。EMプロセスの各反復工程は、期待値ステップ（Eステップ）と最大化ステップ（Mステップ）を含んでいてもよい。
【００３４】
異なる源パラメータの混同を避けるために、いくつかの用語定義を下記に与えておく。
・主パラメータ：オーディオ源を記述および／または出力するために推定され、出力されるパラメータ。オーディオ源の空間的パラメータおよびスペクトル・パラメータを含む。
・中間パラメータ：主パラメータを決定するために計算されるパラメータ。オーディオ源のパワースペクトル・パラメータ、入力オーディオ・コンテンツの共分散行列、オーディオ源の共分散行列、入力オーディオ・コンテンツとオーディオ源の相互共分散行列、それらの共分散行列の逆行列などを含む。
【００３５】
源パラメータは、主パラメータおよび中間パラメータの両方を指しうる。
【００３６】
独立／無相関源モデルおよび加法的源モデルの両方に基づく合同決定では、直交性の度合いが加法的源モデルによって制約されてもよい。いくつかの例示的実施形態では、分離されるべきオーディオ源の間での直交性属性を示す直交性制御の度合いが、空間的パラメータの合同決定のために設定されてもよい。したがって、知覚的に自然な音および他のオーディオ源に対する適正な直交度をもつオーディオ源が、空間的パラメータに基づいて得られてもよい。本稿で用いるところの直交性の「適正な」度合いとは、後述するように合同源分離を制御することによって、オーディオ源の間のある受け入れ可能な量の相関にもかかわらず快く聞こえる源を出力するものとして定義される。
【００３７】
あらかじめ決定された数の分離されるべきオーディオ源のうちの各オーディオ源について、それぞれの空間的パラメータがしかるべく得られてもよいことが理解できる。
【００３８】
図２は、本稿に開示される例示的実施形態に基づく、空間的パラメータ決定のためのフレームワーク２００のブロック図を描いている。フレームワーク２００において、加法的源モデル２０１がオーディオ源の中間パラメータ、たとえばパワースペクトル・パラメータをそれぞれの線形結合特性に基づいて推定するために使われてもよい。独立／無相関源モデル２０２が、オーディオ源の中間パラメータを直交性特性に基づいて更新するために使われてもよい。空間的パラメータ合同決定器２０３が、モデル２０１および２０２のうちの一方をリボークしてまず分離されるべきオーディオ源の中間パラメータを推定し、次いで他方のモデルをリボークして中間パラメータを更新してもよい。空間的パラメータ合同決定器２０３は次いで、更新された中間パラメータに基づいて空間的パラメータを決定してもよい。推定および更新の処理は逐次反復的であってもよい。分離されるべきオーディオ源の間での直交性属性を制御するよう、直交性制御の度合いが空間的パラメータ合同決定器２０３に与えられてもよい。
【００３９】
空間的パラメータ決定の記述について、以下で詳細に述べる。
【００４０】
図１に示したように、方法１００はS102に進み、オーディオ源は空間的パラメータに基づいてオーディオ・コンテンツから分離される。
【００４１】
空間的パラメータが決定されているので、対応する目標オーディオ源はオーディオ・コンテンツから分離されうる。たとえば、オーディオ源信号は混合モデルにおいて式(2)に従って得られてもよい。
【００４２】
ここで図３を参照する。図３は本稿に開示される例示的実施形態に基づくオーディオ源分離のシステム３００のブロック図を描いている。本稿で提案されるオーディオ源分離の方法はシステム３００において実装されてもよい。システム３００は、時間周波数領域表現における入力オーディオ・コンテンツXf,nおよび一組の源設定を受領するよう構成されていてもよい。一組の源設定はたとえば、あらかじめ決定された源の数、オーディオ源の移動度、オーディオ源の安定度、オーディオ源混合の型などの一つまたは複数を含んでいてもよい。システム３００は、空間的パラメータを推定することを含めオーディオ・コンテンツを処理し、次いで分離されたオーディオ源sf,nおよび空間的パラメータAf,nを含むその対応するパラメータを出力してもよい。
【００４３】
システム３００は、源パラメータを初期化するよう構成された源パラメータ初期化ユニット３０１を含んでいてもよい。源パラメータは、空間的パラメータ、スペクトル・パラメータおよびオーディオ・コンテンツの共分散行列を含み、これらは空間的パラメータおよびノイズ信号を決定することにおいて支援するために使用されうる。初期化は、入力オーディオ・コンテンツおよび源設定に基づいていてもよい。直交度設定ユニット３０２は、空間的パラメータの合同決定のための直交度を設定するよう構成されていてもよい。システム３００は、線形結合特性および直交性特性の両方に基づいてオーディオ源の空間的パラメータを合同して決定するよう構成された合同決定器３０３を含む。合同決定器３０３において、第一中間パラメータ決定ユニット３０３１が、オーディオ源の中間パラメータ、たとえばパワースペクトル・パラメータを、加法的源モデルまたは独立／無相関源モデルに基づいて推定するよう構成されていてもよい。合同決定器３０３に含まれる第二中間パラメータ決定ユニット３０３２が、第一決定ユニット３０３１とは異なるモデルに基づいて、第一決定ユニット３０３１において推定された中間パラメータを洗練するよう構成されていてもよい。次いで、空間的パラメータ決定ユニット３０３３が、洗練された中間パラメータを入力されて、分離されるべきオーディオ源の空間的パラメータを決定してもよい。決定ユニット３０３１、３０３２、３０３３は、オーディオ源分離のための適正な空間的パラメータを得るよう、逐次反復的に、たとえばEM逐次反復プロセスにおいて、源パラメータを決定してもよい。オーディオ源分離器３０４がシステム３００に含まれており、合同決定器３０３から得られる空間的パラメータに基づいて入力オーディオ・コンテンツからオーディオ源を分離するよう構成される。
【００４４】
図３に示したシステム３００における諸ブロックの機能について以下でより詳細に述べる。
【００４５】
〈源設定〉
いくつかの例示的実施形態では、空間的パラメータ決定は源設定に基づいていてもよい。源設定はたとえば、あらかじめ決定された源の数、オーディオ源の移動度、オーディオ源の安定度、オーディオ源混合の型などを含んでいてもよい。源設定はユーザー入力によってあるいはオーディオ・コンテンツの解析によって得られてもよい。
【００４６】
ある例示的実施形態では、あらかじめ決定された源の数の知識から、オーディオ源のための空間的パラメータの初期化された行列が構築されてもよい。あらかじめ決定された源の数は空間的パラメータ決定の処理にも影響をもつことがありうる。たとえば、Iチャネル・オーディオ・コンテンツからJ個のオーディオ源が分離されるとあらかじめ決定されているとすると、J＞Iであれば、空間的パラメータ決定は、不足決定モードで処理されてもよい。たとえば、観察された信号（オーディオ信号のI個のチャネル）が推定されるべき信号（J個のオーディオ源）より少ない。
【００４７】
ある例示的実施形態では、オーディオ源の移動度（オーディオ源移動度とも称される）が、オーディオ源が動いているか静止しているかを設定するために使われてもよい。動いている源が分離される場合には、その空間的パラメータは時間変化するよう推定されうる。この設定は、オーディオ源の空間的パラメータAf,nが時間フレームnに沿って変化しうるかどうかを決定してもよい。
【００４８】
ある例示的実施形態では、オーディオ源の安定度（オーディオ源安定度とも称される）が、源パラメータ、たとえば空間的パラメータの決定を支援するために導入されるスペクトル・パラメータが、決定プロセスの間に、修正されるか固定したままにされるかを設定するために使われてもよい。この設定は、たとえばオーディオ源の位置のようなオーディオ源のある種の事前の知識が与えられている、信頼ガイダンス・メタデータをもつ情報を与えられての使用シナリオにおいて有用でありうる。
【００４９】
ある例示的実施形態では、オーディオ源混合の型が、オーディオ源が瞬間的な仕方で混合されるか畳み込み式に混合されるかを設定するために使用されてもよい。この設定は、空間的パラメータAf,nが周波数ビンfに沿って変化しうるかどうかを決定してもよい。
【００５０】
源設定は上述した例に限定されず、空間的ガイダンス・メタデータ、ユーザー・ガイダンス・メタデータ、時間周波数ガイダンス・メタデータなどといった他の多くの設定に拡張されることができることを注意しておく。
【００５１】
〈源パラメータ初期化〉
源パラメータ初期化は、システム３００の源パラメータ初期化ユニット３０１において、合同空間的パラメータ決定の処理の前に実行されてもよい。
【００５２】
いくつかの例示的実施形態では、空間的パラメータ決定のプロセスの前に、空間的パラメータAf,nが初期化された値をもって設定されてもよい。たとえば、空間的パラメータAf,nはランダム・データによって初期化されてもよく、次いでΣi|aij,fn|2＝1を課すことによって規格化されてもよい。
【００５３】
下記に述べる空間的パラメータ決定のプロセスにおいて、空間的パラメータを決定するために、スペクトル・パラメータが主パラメータとして導入されてもよい。いくつかの例示的実施形態では、オーディオ源のスペクトル・パラメータは、非負行列因子分解（NMF）モデルによってモデル化されてもよい。よって、オーディオ源jのスペクトル・パラメータは非負の行列{Wj,Hj}として初期化されてもよい。これらの行列におけるすべての要素は負でないランダムな値である。
【００５４】
【数２】
0006400218.tif 000003
は、目標オーディオ源のスペクトル成分を列ベクトルとして含む非負の行列であり、
【数３】
0006400218.tif 000004
は、各スペクトル成分の時間的活性化に対応する行ベクトルをもつ非負の行列である。本稿で特に断わりのない限り、KはNMF成分の数を表わす。
【００５５】
ある例示的実施形態では、ノイズ信号bf,nのパワーが、入力オーディオ・コンテンツのパワーに比例するよう初期化されてもよく、これはいくつかの例では合同決定器３０１における合同決定の反復工程数とともに減少してもよい。たとえば、ノイズ信号のパワーは次のように決定されてもよい。
【００５６】
【数４】
0006400218.tif 000005
いくつかの例示的実施形態では、中間パラメータとして、オーディオ・コンテンツの共分散行列CX,fも源パラメータ初期化においてその後の処理のために決定されてもよい。共分散行列はSTFT領域で計算されてもよい。ある例示的実施形態では、共分散行列はすべてのフレームにわたって入力オーディオ・コンテンツを平均することによって計算されてもよい：
【数５】
0006400218.tif 000006
ここで、上付き添え字Hはエルミート共役転置を表わす。
【００５７】
上述したように、オーディオ源の空間的パラメータは、オーディオ源の線形結合特性および直交性特性に基づいて合同で決定されてもよい。線形結合特性に基づいてオーディオ・コンテンツをモデル化するためには加法的源モデルが使われてもよい。一つの典型的な加法的源モデルはNMFモデルでありうる。直交性特性に基づいてオーディオ・コンテンツをモデル化するためには独立／無相関源モデルが使われてもよい。一つの典型的な独立／無相関源モデルは適応脱相関モデルであってもよい。空間的パラメータの合同決定はシステム３００の合同決定器３０３において実行されてもよい。
【００５８】
空間的パラメータの合同決定を記述する前に、NMFモデルおよび適応脱相関モデルにおける若干の例示的計算をまず下記で述べておく。
【００５９】
〈NMFモデルを用いた源パラメータ計算〉
ある例示的実施形態では、NMFモデルは、分離されるべきオーディオ源のパワースペクトルに基づいて適用されうる。分離されるべきオーディオ源のパワースペクトル行列は
【数６】
0006400218.tif 000007
と表現されてもよい。ここで、＾付きのΣjはオーディオ源jのパワースペクトルであり、左辺はJ個のオーディオ源全部のパワースペクトルの総合を表わす。スペクトル・パラメータの形{Wj,Hj}が、内容的に意味のある（解釈可能な）表現をもってオーディオ源jをモデル化しうる。スペクトル・パラメータが非負の行列{Wj,Hj}の形であれば、上記の総合パワースペクトルは板倉・斉藤ダイバージェンスを使ってNMFモデルにおいて推定されうる。
【００６０】
いくつかの例示的実施形態では、各オーディオ源jについて、そのパワースペクトル〔＾付きのΣj〕は、図４における擬似コード１において示されるように、第一の逐次反復プロセスにおいて推定されてもよい。
【００６１】
第一の逐次反復プロセスの始まりにおいて、NMF行列{Wj,Hj}は上述したように初期化されてもよく、オーディオ源のパワースペクトル〔＾付きのΣs,fn〕は次のように初期化されてもよい。
【００６２】
【数７】
0006400218.tif 000008
第一の逐次反復プロセスの各反復工程において、NMF行列Wjは次のように更新されてもよい。
【００６３】
【数８】
0006400218.tif 000009
第一の逐次反復プロセスの各反復工程において、NMF行列Hjは次のように更新されてもよい。
【００６４】
【数９】
0006400218.tif 000010
NMF行列{Wj,Hj}が各反復工程において得られた後、得られたNMF行列{Wj,Hj}に基づいてパワースペクトル〔＾付きのΣs,fn〕が次の反復工程での使用のために更新されてもよい。第一の逐次反復プロセスの反復工程数はあらかじめ決定されていてもよく、1〜20回などであってもよい。
【００６５】
NMF推定のための他の既知のダイバージェンス方法が適用されてもよく、本稿に開示される例示的実施形態の範囲はこの点で限定されるものではないことを注意しておくべきである。
【００６６】
〈適応脱相関モデルを用いた源パラメータ計算〉
上述したように、オーディオ源のパワースペクトルは
【数１０】
0006400218.tif 000011
によって決定される。したがって、適応脱相関モデルにおいてパワースペクトルを決定するために、オーディオ源の共分散行列CS,fnが決定されてもよい。オーディオ・コンテンツにおけるオーディオ源の直交性特性に基づいて、オーディオ源の共分散行列CS,fnは対角であると想定される。式(4)で表わされるオーディオ・コンテンツの共分散行列および式(1)で表わされるオーディオ・コンテンツの混合モデルに基づいて、オーディオ・コンテンツの共分散行列が次のように書かれてもよい。
【００６７】
【数１１】
0006400218.tif 000012
ある例示的実施形態では、オーディオ源の共分散行列は下記に与えられるような逆向きモデルに基づいて推定されてもよい。
【００６８】
【数１２】
0006400218.tif 000013
推定の不正確さは、次のように、推定誤差と考えられてもよい。
【００６９】
【数１３】
0006400218.tif 000014
空間的パラメータAf,nの逆行列Df,nの推定は、下記のように推定されてもよい。
【００７０】
【数１４】
0006400218.tif 000015
計算効率のため、不足決定条件（J≧I）では式(10)が適用でき、過剰決定条件（J＜I）では式(11)が適用できることを注意しておく。
【００７１】
逆行列Df,nおよびオーディオ源の共分散行列CS,fnは、推定誤差を減少させることによって、あるいは下記のように推定誤差を最小化することによって決定されてもよい。
【００７２】
【数１５】
0006400218.tif 000016
式(12)は、解くべき最小二乗（LS）推定問題を表わしている。ある例示的実施形態では、これは図５において擬似コード２で示されるような勾配降下アルゴリズムを用いた第二の逐次反復プロセスにおいて解くことができる。
【００７３】
勾配降下アルゴリズムでは、共分散行列CX,fnおよびノイズ信号のパワーの推定Λb,fが入力として使われてもよい。第二の逐次反復プロセスの開始の前に、オーディオ源の共分散行列の推定〔＾付きのCS,fn〕がパワースペクトル
【数１６】
0006400218.tif 000017
によって初期化されてもよい。これらのパワースペクトルは、初期化されたNMF行列{Wj,Hj}または上記の第一の逐次反復プロセスにおいて得られたNMF行列{Wj,Hj}によって推定されてもよい。逆行列〔＾付きのDf,n〕も初期化されてもよい。
【００７４】
式(12)に基づいてオーディオ源の共分散行列の推定誤差を減少させるために、第二の逐次反復プロセスの各反復工程において、ある例示的実施形態では、逆行列〔＾付きのDf,n〕が次の式(13)および(14)によって更新されてもよい。
【００７５】
【数１７】
0006400218.tif 000018
式(13)において、μは勾配降下法のための学習ステップを表わし、εは0による除算を避けるための小さな値を表わす。||・||F2は二乗されたフロベニウス・ノルムを表わし、これはすべての行列要素の二乗の和からなり、ベクトルについては||・||F2は当該ベクトルの自分自身とのドット積に等しい。||・||Fはフロベニウス・ノルムを表わし、これは二乗されたフロベニウス・ノルムの平方根に等しい。式(13)で与えられているように、勾配項を冪（二乗化されたフロベニウス・ノルム）によって規格化することが望ましい。種々の周波数について比較可能な更新ステップを与えるよう勾配をスケーリングするためである。
【００７６】
各反復工程における更新された逆行列〔＾付きのDf,n〕を用いて、オーディオ源の共分散行列〔＾付きのCS,fn〕は式(8)に従って下記のように更新されてもよい。
【００７７】
【数１８】
0006400218.tif 000019
パワースペクトルは更新された共分散行列〔＾付きのCS,fn〕に基づいて更新されてもよい。
【００７８】
【数１９】
0006400218.tif 000020
別の実施形態では、式(13)は下記のように加法的ノイズを無視することによって単純化されてもよい。
【００７９】
【数２０】
0006400218.tif 000021
ノイズ信号の無視ありでもなしでも、オーディオ源の共分散行列およびパワースペクトルはそれぞれ式(15)および(16)によって更新されることができることは理解できる。しかしながら、他のいくつかの場合には、オーディオ源の共分散行列およびパワースペクトルを更新するときにノイズ信号が考慮に入れられてもよい。
【００８０】
いくつかの例示的実施形態では、第二の逐次反復プロセスの反復工程数は、たとえば1〜20回のようにあらかじめ決定されていてもよい。他のいくつかの実施形態では、第二の逐次反復プロセスの反復工程数は、直交性制御の度合いによって制御されてもよい。これについては後述する。
【００８１】
適応脱相関モデル自身はそれぞれの周波数について任意の置換（arbitrary  permutation）をもつように見えることがあることは理解しておくべきである。本稿に開示される例示的実施形態は合同決定プロセスに関して後述するようにこの置換問題に対処する。
【００８２】
源設定および初期化された源パラメータを用いて、オーディオ源の空間的パラメータが、たとえばEM逐次反復プロセスにおいて、合同で決定されてもよい。EM逐次反復プロセスにおける合同決定のいくつかの実装を下記で述べる。
【００８３】
〈第一の例示的実装〉
第一の例示的実装では、オーディオ源の空間的パラメータを決定するために、オーディオ源のパワースペクトルがまず線形結合特性に基づいて決定されてもよく、次いで直交性特性に基づいて更新されてもよい。オーディオ源の空間的パラメータは、更新されたパワースペクトルに基づいて決定されてもよい。
【００８４】
システム３００の例示的実施形態では、合同決定器３０３の第一中間パラメータ決定ユニット３０３１は、入力オーディオ・コンテンツに含まれるオーディオ源のパワースペクトル・パラメータを、NMFモデルのような加法的源モデルに基づいて決定するよう構成されていてもよい。合同決定器３０３の第二中間パラメータ決定ユニット３０３２は、適応脱相関モデルのような独立／無相関源モデルに基づいてパワースペクトル・パラメータを洗練するよう構成されていてもよい。次いで、空間的パラメータ決定ユニット３３０３は更新されたパワースペクトル・パラメータに基づいてオーディオ源の空間的パラメータを決定するよう構成されていてもよい。
【００８５】
いくつかの例示的実施形態では、空間的パラメータの合同決定は、期待値最大化（EM）逐次反復プロセスにおいて処理されてもよい。EM逐次反復プロセスの各EM反復工程は、期待値ステップと最大化ステップを含んでいてもよい。期待値ステップでは、空間的パラメータを決定するための中間パラメータの条件付き期待値が計算されてもよい。一方、最大化ステップでは、オーディオ源を記述および／または復元するための主パラメータ（オーディオ源の空間的パラメータおよびスペクトル・パラメータを含む）が更新されてもよい。期待値ステップおよび最大化ステップは、限られた回数によってオーディオ源分離のための空間的パラメータを決定するよう逐次反復されてもよい。それにより、EM逐次反復プロセスの安定かつ高速な収束を可能にしつつ、知覚的に自然なオーディオ源を得ることができる。
【００８６】
第一の例示的実装では、EM逐次反復プロセスの各EM反復工程について、オーディオ源のパワースペクトル・パラメータが、以前のEM反復工程（たとえば前回のEM反復工程）において決定されたオーディオ源のスペクトル・パラメータを使って線形結合特性に基づいて決定されてもよく、該パワースペクトル・パラメータは直交性特性に基づいて更新されてもよい。各EM反復工程において、オーディオ源の空間的パラメータおよびスペクトル・パラメータが、該更新されたパワースペクトル・パラメータに基づいて、更新されてもよい。
【００８７】
NMFモデルおよび適応脱相関モデルの上記の記述に基づいて例示的なプロセスを記述する。図６を参照する。この図は、本稿に開示される例示的実施形態に基づく空間的パラメータ決定６００についてのプロセスのフローチャートを描いている。
【００８８】
S601では、決定のために使われる源パラメータが初期化される。源パラメータ初期化は上記してある。いくつかの例示的実施形態では、源パラメータ初期化はシステム３００における源パラメータ初期化ユニット３０１によって実行されてもよい。
【００８９】
期待値ステップS602では、S6021においてオーディオ源のパワースペクトル〔＾付きのΣS,fn〕が、NMFモデルにおいて、各オーディオ源jのスペクトル・パラメータ{Wj,Hj}を使うことによって決定されてもよい。NMFモデルにおけるパワースペクトル〔＾付きのΣS,fn〕の決定は、NMFモデルおよび図４の擬似コード１に関して上記で触れたものであってもよい。たとえば、パワースペクトルは次のようになる。
【００９０】
【数２１】
0006400218.tif 000022
最初のEM反復工程では、各オーディオ源jのスペクトル・パラメータ{Wj,Hj}はS601からの初期化されたスペクトル・パラメータであってもよい。その後のEM反復工程では、前のEM反復工程からの、たとえば直前のEM反復工程の最大化ステップからの更新されたスペクトル・パラメータが使われてもよい。
【００９１】
サブステップS6022では、空間的パラメータの逆行列〔＾付きのDf,n〕が式(10)または(11)に従って、S6021で得られたパワースペクトル〔＾付きのΣS,fn〕および空間的パラメータAfnを使って推定されてもよい。最初のEM反復工程では、空間的パラメータAfnはS601からの初期化された空間的パラメータであってもよい。その後のEM反復工程では、前のEM反復工程からの、たとえば直前のEM反復工程の最大化ステップからの更新された空間的パラメータが使われてもよい。
【００９２】
期待値ステップS602におけるサブステップS6023では、パワースペクトル〔＾付きのΣS,fn〕および空間的パラメータの逆行列〔＾付きのDf,n〕が適応脱相関モデルにおいて更新されてもよい。更新は、適応脱相関モデルおよび図５に示した擬似コード２に関して上記で触れたものであってもよい。ステップS6023では、逆行列〔＾付きのDf,n〕がステップS6022からの逆行列によって初期化されてもよく、オーディオ源の共分散行列〔＾付きのCS,fn〕もステップS6021からのパワースペクトルに従って初期化されてもよい。
【００９３】
期待値ステップS602では、空間的パラメータを更新するために、共分散行列の条件付き期待値〔＾付きのCS,fn〕および相互共分散行列〔＾付きのCXS,fn〕もサブステップS6024において計算されてもよい。共分散行列〔＾付きのCS,fn〕は適応脱相関モデルにおいて、たとえば式(15)によって計算されてもよい。相互共分散行列は次のように計算されてもよい。
【００９４】
【数２２】
0006400218.tif 000023
最大化ステップS603では、空間的パラメータAfnおよびスペクトル・パラメータ{Wj,Hj}が更新されてもよい。いくつかの例示的実施形態では、空間的パラメータAfnは、期待値ステップS602からの共分散行列〔＾付きのCS,fn〕および相互共分散行列〔＾付きのCXS,fn〕に基づいて、下記のように更新されてもよい。
【００９５】
【数２３】
0006400218.tif 000024
いくつかの例示的実施形態では、スペクトル・パラメータ{Wj,Hj}は、図４に示した第一の逐次反復プロセスに基づいて期待値ステップS602からのパワースペクトル〔＾付きのΣS,fn〕を使って更新されてもよい。たとえば、スペクトル・パラメータWjは式(5)によって更新されてもよく、一方、スペクトル・パラメータHjは式(6)によって更新されてもよい。
【００９６】
S603の後、EM逐次反復プロセスは次いでS602に戻ってもよく、更新された空間的パラメータAfnおよびスペクトル・パラメータ{Wj,Hj}がS602の入力として使われてもよい。
【００９７】
いくつかの例示的実施形態では、次のEM反復工程の開始前に、空間的パラメータAfnおよびスペクトル・パラメータ{Wj,Hj}は、
【数２４】
0006400218.tif 000025
次いでスケーリングhj,knを課すことによってしかるべく規格化されてもよい。規格化は、トリビアルなスケールの不定性を解消する。
【００９８】
EM逐次反復プロセスの数は、最終的な空間的パラメータに基づいて知覚的な自然な聞こえ方および適正な相互直交度をもつオーディオ源が得られるよう、あらかじめ決定されていてもよい。
【００９９】
図７は、本稿に開示される第一の例示的実装に基づく源パラメータの合同決定における信号の流れの概略図である。簡単のため、二つのオーディオ源（チャイム（chime）源および発話（speech）源）をもつモノ混合信号のみが入力オーディオ・コンテンツとして示されている。
【０１００】
入力オーディオ・コンテンツはまず加法的モデル（たとえばNMFモデル）においてシステム３００の第一中間パラメータ決定ユニット３０３１によって処理されて、チャイム源および発話源のパワースペクトルを決定する。図７に描かれるスペクトル・パラメータ{WChime,F×K,HChime,K×N}および{WSpeech,F×K,HSpeech,F×K}は決定されたパワースペクトル〔＾付きのΣS,fn〕を表わしうる。各オーディオ源jについて、そのパワースペクトルはNMFモデルにおいて
【数２５】
0006400218.tif 000026
となるからである。これらのパワースペクトルは独立／無相関モデル（たとえば適応脱相関モデル）においてシステム３００の第二中間パラメータ決定ユニット３０３２によって更新される。図７に描かれる共分散行列
【数２６】
0006400218.tif 000027
は、更新されたパワースペクトルを表わしうる。適応脱相関モデルでは
【数２７】
0006400218.tif 000028
となるからである。更新されたパワースペクトルは次いで、チャイム源および発話源の空間的パラメータAChimeおよびASpeechを得るために、空間的パラメータ決定ユニット３０３３に与えられてもよい。これらの空間的パラメータは次の反復工程の処理のために第一の中間パラメータ決定ユニット３０３１にフィードバックされてもよい。逐次反復プロセスは、ある程度の収束が達成されるまで続けられてもよい。
【０１０１】
〈第二の例示的実装〉
第二の例示的実装では、オーディオ源の空間的パラメータを決定するために、オーディオ源のパワースペクトルがまず直交性特性に基づいて決定されてもよく、次いで線形結合特性に基づいて更新されてもよい。オーディオ源の空間的パラメータは、更新されたパワースペクトルに基づいて決定されてもよい。
【０１０２】
システム３００の例示的実施形態では、合同決定器３０３の第一中間パラメータ決定ユニット３０３１は、パワースペクトル・パラメータを適応脱相関モデルのような独立／無相関源モデルに基づいて決定するよう構成されていてもよい。合同決定器３０３の第二源パラメータ決定ユニット３０３２は、NMFモデルのような加法的源モデルに基づいてパワースペクトル・パラメータを洗練するよう構成されていてもよい。次いで、空間的パラメータ決定ユニット３３０３は更新されたパワースペクトル・パラメータに基づいてオーディオ源の空間的パラメータを決定するよう構成されていてもよい。
【０１０３】
いくつかの例示的実施形態では、空間的パラメータの合同決定は、EM逐次反復プロセスにおいて処理されてもよい。EM逐次反復プロセスの各EM反復工程において、期待値ステップについては、オーディオ源のパワースペクトル・パラメータが以前のEM反復工程（たとえば前回のEM反復工程）において決定された空間的パラメータおよびスペクトル・パラメータを使って直交性特性に基づいて決定されてもよく、オーディオ源の該パワースペクトル・パラメータは線形結合特性に基づいて更新されてもよく、オーディオ源の該空間的パラメータおよびスペクトル・パラメータは、該更新されたパワースペクトル・パラメータに基づいて、更新されてもよい。
【０１０４】
NMFモデルおよび適応脱相関モデルの上記の記述に基づいて例示的なプロセスを記述する。図８を参照する。この図は、本稿に開示される別の実施形態に基づく空間的パラメータ決定８００についてのプロセスのフローチャートを描いている。
【０１０５】
S801では、決定のために使われる源パラメータが初期化されてもよい。源パラメータ初期化は上記してある。いくつかの例示的実施形態では、源パラメータ初期化はシステム３００における源パラメータ初期化ユニット３０１によって実行されてもよい。
【０１０６】
期待値ステップS802では、S8021において、空間的パラメータの逆行列〔＾付きのDf,n〕が式(10)または(11)に従って、スペクトル・パラメータ{Wj,Hj}および空間的パラメータAfnを使って推定されてもよい。スペクトル・パラメータ{Wj,Hj}は式(10)または(11)において使うためのオーディオ源のパワースペクトル〔＾付きのΣS,fn〕を計算するために使われてもよい。EM逐次反復プロセスの最初のEM反復工程では、S801からの初期化されたスペクトル・パラメータおよび空間的パラメータが使われてもよい。その後のEM反復工程では、前のEM反復工程からの、たとえば直前のEM反復工程の最大化ステップからの更新された空間的パラメータおよびスペクトル・パラメータが使われてもよい。
【０１０７】
サブステップS8022では、パワースペクトル〔＾付きのΣS,fn〕および空間的パラメータの逆行列〔＾付きのDf,n〕が、適応脱相関モデルにおいて決定されてもよい。該決定は、適応脱相関モデルおよび図５に示した擬似コード２に関して上記で触れたものであってもよい。期待値ステップS802では、逆行列〔＾付きのDf,n〕はサブステップS8021からの逆行列によって初期化されてもよい。最初のEM反復工程では、オーディオ源の共分散行列〔＾付きのCS,fn〕はS801からのスペクトル・パラメータ{Wj,Hj}の初期化された値を使って初期化されてもよい。その後のEM反復工程では、前のEM反復工程からの、たとえば直前のEM反復工程の最大化ステップからの更新されたスペクトル・パラメータ{Wj,Hj}が使われてもよい。
【０１０８】
サブステップS8023では、パワースペクトル〔＾付きのΣS,fn〕がNMFモデルにおいて更新されてもよく、次いで逆行列〔＾付きのDf,n〕が更新される。パワースペクトルの更新は、NMFモデルおよび図４に示した擬似コード１に関して上記で触れたものであってもよい。たとえば、ステップS8022からのパワースペクトル〔＾付きのΣS,fn〕がこのステップでスペクトル・パラメータ{Wj,Hj}を使って更新されてもよい。擬似コード１におけるスペクトル・パラメータ{Wj,Hj}の初期化は、S801からの初期化された値であってもよく、あるいは前のEM反復工程からの、たとえば直前の反復工程の最大化ステップからの更新された値であってもよい。逆行列〔＾付きのDf,n〕は、NMFモデルにおける更新されたパワースペクトルに基づいて式(10)または(11)によって更新されてもよい。
【０１０９】
期待値ステップS802では、空間的パラメータを更新するために、共分散行列の条件付き期待値〔＾付きのCS,fn〕および相互共分散行列〔＾付きのCXS,fn〕もサブステップS8024において計算されてもよい。共分散行列〔＾付きのCS,fn〕および相互共分散行列〔＾付きのCXS,fn〕の計算は、第一の例示的実装において述べたものと同様であってもよく、明確のためここでは割愛する。
【０１１０】
最大化ステップS803では、空間的パラメータAfnおよびスペクトル・パラメータ{Wj,Hj}が更新されてもよい。空間的パラメータAfnは、期待値ステップS802からの計算された共分散行列〔＾付きのCS,fn〕および相互共分散行列〔＾付きのCXS,fn〕に基づいて、式(19)に従って更新されてもよい。いくつかの例示的実施形態では、スペクトル・パラメータ{Wj,Hj}は、図４に示した第一の逐次反復プロセスに基づいて期待値ステップS802からのパワースペクトル〔＾付きのΣS,fn〕を使って更新されてもよい。たとえば、スペクトル・パラメータWjは式(5)によって更新されてもよく、一方、スペクトル・パラメータHjは式(6)によって更新されてもよい。
【０１１１】
S803の後、EM逐次反復プロセスは次いでS802に戻ってもよく、S803で得られた更新された空間的パラメータAfnおよびスペクトル・パラメータ{Wj,Hj}がS802の入力として使われてもよい。
【０１１２】
いくつかの例示的実施形態では、次のEM反復工程の開始前に、空間的パラメータAfnおよびスペクトル・パラメータ{Wj,Hj}は、
【数２８】
0006400218.tif 000029
次いでスケーリングhj,knを課すことによってしかるべく規格化されてもよい。規格化は、トリビアルなスケールの不定性を解消する。
【０１１３】
EM逐次反復プロセスの数は、最終的な空間的パラメータに基づいて知覚的な自然な聞こえ方および適正な相互直交度をもつオーディオ源が得られるよう、あらかじめ決定されていてもよい。
【０１１４】
図９は、本稿に開示される第二の例示的実装に基づく源パラメータの合同決定における信号の流れの概略図である。簡単のため、二つのオーディオ源（チャイム（chime）源および発話（speech）源）をもつモノ混合信号のみが入力オーディオ・コンテンツとして示されている。
【０１１５】
入力オーディオ・コンテンツはまず独立／無相関モデル（たとえば適応脱相関モデル）においてシステム３００の第一中間パラメータ決定ユニット３０３１によって処理されて、チャイム源および発話源のパワースペクトルを決定する。図９に描かれる共分散行列〔＾付きのCChime,F×Nおよび＾付きのCSpeech,F×N〕は決定されたパワースペクトル〔＾付きのΣS,fn〕を表わしうる。適応脱相関モデルでは
【数２９】
0006400218.tif 000030
となるからである。これらのパワースペクトルは加法的モデル（たとえばNMFモデル）においてシステム３００の第二中間パラメータ決定ユニット３０３２によって更新される。図９に描かれるスペクトル・パラメータ{WChime,F×K,HChime,K×N}および{WSpeech,F×K,HSpeech,F×K}は更新されたパワースペクトルを表わしうる。NMFモデルでは各オーディオ源jについて、そのパワースペクトルは
【数３０】
0006400218.tif 000031
となるからである。更新されたパワースペクトルは次いで、チャイム源および発話源の空間的パラメータAChimeおよびASpeechを得るために、空間的パラメータ決定ユニット３０３３に与えられてもよい。これらの空間的パラメータは次の反復工程の処理のために第一中間パラメータ決定ユニット３０３１にフィードバックされてもよい。逐次反復プロセスは、ある程度の収束が達成されるまで続けられてもよい。
【０１１６】
〈第三の例示的実装〉
第三の例示的実装では、オーディオ源の空間的パラメータを決定するために、まず直交性特性が利用され、次いで線形結合特性が利用される。だが第二の例示的実装のいくつかの実施形態とは異なり、直交性特性に基づくパワースペクトルの決定はEM逐次反復プロセスの外である。すなわち、オーディオ源のパワースペクトル・パラメータは、EM逐次反復プロセスの開始前の空間的パラメータおよびスペクトル・パラメータについての初期化された値を使って、直交性特性に基づいて決定されうる。次いで、決定されたパワースペクトル・パラメータがEM逐次反復プロセスにおいて更新されうる。EM逐次反復プロセスの各EM反復工程において、オーディオ源のパワースペクトル・パラメータは、前のEM反復工程（たとえば前回のEM反復工程）において決定されたスペクトル・パラメータを使って線形結合特性に基づいて決定されてもよく、次いでオーディオ源の空間的パラメータおよびスペクトル・パラメータが、更新されたパワースペクトル・パラメータに基づいて決定されてもよい。
【０１１７】
第三の例示的実装において空間的パラメータを更新するためには、EM逐次反復プロセスにおいてNMFモデルが使われてもよい。NMFモデルは初期化された値に敏感なので、適応脱相関モデルによって決定された、より合理的な値を用いることで、NMFモデルの結果はオーディオ源分離のために改善されうる。
【０１１８】
NMFモデルおよび適応脱相関モデルの上記の記述に基づいて例示的なプロセスを記述する。図１０を参照する。この図は、本稿に開示されるさらにもう一つの実施形態に基づく空間的パラメータ決定１０００についてのプロセスのフローチャートを描いている。
【０１１９】
S1001では、決定のために使われる源パラメータがサブステップS10011において初期化されてもよい。源パラメータ初期化は上記してある。いくつかの例示的実施形態では、源パラメータ初期化はシステム３００における源パラメータ初期化ユニット３０１によって実行されてもよい。
【０１２０】
サブステップS10012では、逆行列〔＾付きのDf,n〕が式(10)または(11)に従って、初期化されたスペクトル・パラメータ{Wj,Hj}および初期化された空間的パラメータAfnを使って推定されてもよい。スペクトル・パラメータ{Wj,Hj}は式(10)または(11)において使うためのオーディオ源のパワースペクトル〔＾付きのΣS,fn〕を計算するために使われてもよい。
【０１２１】
サブステップS10013では、パワースペクトル〔＾付きのΣS,fn〕および空間的パラメータの逆行列〔＾付きのDf,n〕が、適応脱相関モデルにおいて決定されてもよい。該決定は、適応脱相関モデルおよび図５に示した擬似コード２に関して上記で触れたものであってもよい。擬似コード２において、逆行列〔＾付きのDf,n〕はS10012における決定された逆行列によって初期化されてもよい。擬似コード２において、オーディオ源の共分散行列〔＾付きのCS,fn〕はS10011からのスペクトル・パラメータ{Wj,Hj}の初期化された値によって初期化されてもよい。
【０１２２】
期待値ステップS1002のために、S10021において、S1001からのパワースペクトル〔＾付きのΣS,fn〕がNMFモデルにおいて更新されてもよい。パワースペクトルの更新は、NMFモデルおよび図４の擬似コード１に関して上記で触れたものであってもよい。擬似コード１におけるスペクトル・パラメータ{Wj,Hj}の初期化は、S10011からの初期化された値であってもよく、あるいは前のEM反復工程からの、たとえば直前の反復工程の最大化ステップからの更新された値であってもよい。
【０１２３】
サブステップS10022では、逆行列〔＾付きのDf,n〕が、S10021で得られたパワースペクトル〔＾付きのΣS,fn〕および空間的パラメータAfnを使って式(10)または(11)に従って更新されてもよい。最初の反復工程では、空間的パラメータについての初期化された値が使われてもよい。その後の反復工程では、前のEM反復工程、たとえば直前の反復工程の最大化ステップからの更新された値が使われてもよい。
【０１２４】
期待値ステップS1002では、空間的パラメータを更新するために、共分散行列の条件付き期待値〔＾付きのCS,fn〕および相互共分散行列〔＾付きのCXS,fn〕もサブステップS10024において計算されてもよい。共分散行列〔＾付きのCS,fn〕および相互共分散行列〔＾付きのCXS,fn〕の計算は、第一の例示的実装において述べたものと同様であってもよく、明確のためここでは割愛する。
【０１２５】
最大化ステップS1003では、空間的パラメータAfnおよびスペクトル・パラメータ{Wj,Hj}が更新されてもよい。空間的パラメータは、期待値ステップS1002からの計算された共分散行列〔＾付きのCS,fn〕および相互共分散行列〔＾付きのCXS,fn〕に基づいて、式(19)に従って更新されてもよい。いくつかの例示的実施形態では、スペクトル・パラメータ{Wj,Hj}は、図４に示した第一の逐次反復プロセスに基づいて期待値ステップS802からのパワースペクトル〔＾付きのΣS,fn〕を使って更新されてもよい。たとえば、スペクトル・パラメータWjは式(5)によって更新されてもよく、一方、スペクトル・パラメータHjは式(6)によって更新されてもよい。
【０１２６】
S1003の後、EM逐次反復プロセスは次いでS1002に戻ってもよく、S1003で得られた更新された空間的パラメータAfnおよびスペクトル・パラメータ{Wj,Hj}がS1002の入力として使われてもよい。
【０１２７】
いくつかの例示的実施形態では、次のEM反復工程の開始前に、空間的パラメータAfnおよびスペクトル・パラメータ{Wj,Hj}は、
【数３１】
0006400218.tif 000032
次いでスケーリングhj,knを課すことによってしかるべく規格化されてもよい。規格化は、トリビアルなスケールの不定性を解消する。
【０１２８】
EM逐次反復プロセスの数は、最終的な空間的パラメータに基づいて知覚的な自然な聞こえ方および適正な相互直交度をもつオーディオ源が得られるよう、あらかじめ決定されていてもよい。
【０１２９】
図１１は、本稿に開示されるある例示的実施形態に基づく、システム３００において使うための合同決定器３０３のブロック図を描いている。図１１に描かれた合同決定器３０３は図１０におけるプロセスを実行するよう構成されていてもよい。図１１に描かれるように、第一中間パラメータ決定ユニット３０３１は、EM逐次反復プロセスの外で中間パラメータを決定するよう構成されていてもよい。特に、第一中間パラメータ決定ユニット３０３１は、上記のようなステップS10012およびS10013を実行するために使われてもよい。加法的モデル、たとえばNMFモデルにおいて中間パラメータを更新するために、第二中間パラメータ決定ユニット３０３２が期待値ステップS1002を実行するよう構成されてもよく、空間的パラメータ決定ユニット３０３３がステップS1003を実行するよう構成されていてもよい。決定ユニット３０３３の出力は決定ユニット３０３２に入力として与えられてもよい。
【０１３０】
図１２は、本稿に開示される第三の例示的実装に基づく源パラメータの合同決定における信号の流れの概略図である。簡単のため、二つのオーディオ源（チャイム（chime）源および発話（speech）源）をもつモノ混合信号のみが入力オーディオ・コンテンツとして示されている。
【０１３１】
入力オーディオ・コンテンツはまず独立／無相関モデル（たとえば適応脱相関モデル）においてシステム３００の第一中間パラメータ決定ユニット３０３１によって処理されて、チャイム源および発話源のパワースペクトルを決定する。図１２に描かれる共分散行列〔＾付きのCChime,F×Nおよび＾付きのCSpeech,F×N〕は決定されたパワースペクトル〔＾付きのΣS,fn〕を表わしうる。適応脱相関モデルでは
【数３２】
0006400218.tif 000033
となるからである。これらのパワースペクトルは加法的モデル（たとえばNMFモデル）においてシステム３００の第二中間パラメータ決定ユニット３０３２によって更新される。図１２に描かれるスペクトル・パラメータ{WChime,F×K,HChime,K×N}および{WSpeech,F×K,HSpeech,F×K}は更新されたパワースペクトルを表わしうる。NMFモデルでは各オーディオ源jについて、そのパワースペクトルは
【数３３】
0006400218.tif 000034
となるからである。更新されたパワースペクトルは次いで、チャイム源および発話源の空間的パラメータAChimeおよびASpeechを得るために、空間的パラメータ決定ユニット３０３３に与えられてもよい。これらの空間的パラメータは次の反復工程の処理のために第二中間パラメータ決定ユニット３０３２にフィードバックされてもよい。決定ユニット３０３２および３０３３の逐次反復プロセスは、ある程度の収束が達成されるまで続けられてもよい。
【０１３２】
〈直交度の制御〉
上述したように、分離されるべきオーディオ源の直交性は、心地よく聞こえる源が得られるよう、適正な度合いに制御されてもよい。直交度の制御は上記の第一、第二または第三の実装の一つまたは複数において組み合わされてもよく、たとえば図３における直交度設定ユニット３０２によって実行されてもよい。
【０１３３】
適正な直交性制約条件のないNMFモデルは、異なるオーディオ源について同様のスペクトル・パターンの同時形成が可能なので、時に不十分であることが示されている。このように、オーディオ源分離の後にオーディオ源が互いから独立／無相関になる保証はない。これはいくつかの条件では貧弱な収束性能、さらには発散につながりうる。特に、「オーディオ源移動度」が動きの速いオーディオ源を推定するよう設定されているとき、空間的パラメータは時間変動してもよく、よって空間的パラメータAfnはフレームごとに推定される必要があることがある。式(19)において与えられているように、Afnは
【数３４】
0006400218.tif 000035
を計算することによって推定される。これはオーディオ源の共分散行列〔＾付きのCs,fn〕の逆行列を含む。源の間での高い相関は、悪条件の逆行列計算につながることがあり、よって時間変動するスペクトル・パラメータを推定できないことになる。こうした問題は、独立／無相関源モデルの合同決定とともに直交性制約条件を導入することによって効果的に解決できる。
【０１３４】
他方、オーディオ源／成分が統計的に脱相関されている（たとえば適応脱相関法およびPCA）または独立である（たとえばICA）という想定での独立／無相関源モデルは、スペクトルにおけるくっきりした変化を生じることがあり、これは知覚的な品質を低下させることがある。これらのモデルの一つの欠点は、時間周波数平面にわたって散らばった不自然な、孤立した時間周波数（TF）ビンに由来する、音楽ノイズのような知覚可能なアーチファクトである。対照的に、NMFモデルで生成されたオーディオ源は一般には、耳に対してより快く、そのようなアーチファクトを受けにくいように感じられる。
【０１３５】
したがって、源の間のある受け入れ可能な量の相関にもかかわらず快く聞こえる源を得るために、合同決定において使われる加法的源モデルと独立／無相関モデルとの間にはトレードオフがある。いくつかの例示的実施形態では、適応脱相関モデルにおいて実行される逐次反復プロセス、たとえば擬似コード２に示される逐次反復プロセスは、分離されるべきオーディオ源の間の直交性を制約するよう制御されてもよい。直交度は入力オーディオ・コンテンツを解析することによって制御されてもよい。
【０１３６】
図１３は、本稿に開示される例示的実施形態に基づく直交性制御のための方法１３００のフローチャートである。
【０１３７】
S1301では、オーディオ・コンテンツの共分散行列がオーディオ・コンテンツから決定されてもよい。オーディオ・コンテンツの共分散行列はたとえば式(4)に従って決定されてもよい。
【０１３８】
入力オーディオ・コンテンツの直交性は、入力信号のバイアスによって測られうる。入力信号のバイアスは、入力オーディオ・コンテンツが「階数１」（unity-rank）であることにどのくらい近いかを示しうる。たとえば、混合信号としてのオーディオ・コンテンツが単に単一のオーディオ源をパンすることによって生成される場合、この信号は階数１でありうる。この混合信号が各チャネルにおける相関していないノイズまたは拡散性信号からなる場合には、これは階数Iをもちうる。混合信号が単一のオブジェクト源に少量の無相関ノイズを加えたものからなる場合にも、階数Iをもちうるが、代わりに、該信号を「階数１であることに近い」として記述するために測度が必要とされることがある。一般に、オーディオ・コンテンツが階数１に近いほど、合同決定が比較的十全な独立／無相関制約を適用することに、より自信がある／曖昧さが少ない。典型的には、NMFモデルは相関のないノイズまたは拡散性の信号をうまく扱うことができ、一方、「階数１に近い」信号において満足いくように機能することが示されている独立／無相関モデルは拡散性の信号では過剰補正を導入しがちであり、その結果、たとえば音楽ノイズのように知覚される散らばったTFビンを生じる。
【０１３９】
「階数１に近い」度合いを示すために使われる一つの特徴量は、オーディオ・コンテンツの共分散行列CX,fnの純度（purity）と呼ばれる。よって、この実施形態では、オーディオ・コンテンツの共分散行列CX,fnが、分離されるべきオーディオ源の間の直交性を制御するために計算されてもよい。
【０１４０】
S1302では、オーディオ・コンテンツの共分散行列に基づいて、直交性閾値が決定されてもよい。
【０１４１】
ある例示的実施形態では、共分散行列CX,fnは
【数３５】
0006400218.tif 000036
として規格化されてもよい。具体的には、共分散行列CX,fnの固有値λi（i＝1,…,I）は、すべての固有値の和が1に等しくなるよう、規格化されてもよい。共分散行列の純度は、固有値の二乗の和によって、たとえば規格化された共分散行列のフロベニウス・ノルムによって
【数３６】
0006400218.tif 000037
として、決定されてもよい。ここで、γが共分散行列CX,fnの純度を表わす。
【０１４２】
直交性閾値は、純度についての下限および上限によって得られてもよい。いくつかの例では、純度の下限はすべての固有値が等しいときに現われ、たとえばγ＝1/Nである。これは最も拡散性であり、曖昧な場合を示す。純度の上限はある固有値が1に等しく、他のすべての固有値が0であるときに現われ、たとえばγ＝1である。これは最も簡単で最も自信のある場合を示す。
【０１４３】
【数３７】
0006400218.tif 000038
の階数は0でない固有値の数に等しいので、純度特徴は入力オーディオ・コンテンツ（混合信号）の潜在的な諸成分の間でエネルギーが不公平に分配されている度合いを反映できると述べることは理にかなっている。
【０１４４】
直交性閾値をよりよくスケーリングするために、入力オーディオ・コンテンツのバイアスと称される別の測度が、純度に基づいて下記のようにさらに計算されてもよい。
【０１４５】
【数３８】
0006400218.tif 000039
バイアスΨXは0から1まで変わりうる。ΨX＝0は入力オーディオ・コンテンツが完全に拡散性であることを含意し、これはさらに、合同決定において、より少ない独立／無相関制約が適用されるべきであることを含意する。ΨX＝1はオーディオ・コンテンツが階数１であることを含意し、バイアスΨXが1により近いことはオーディオ・コンテンツが階数１により近いことを含意する。これらの場合、独立／無相関モデルにおけるより多くの反復工程回数が合同決定において設定されてもよい。
【０１４６】
方法１３００は次いで、S1302に進み、独立／無相関モデルにおける逐次反復プロセスの反復工程数が、直交性閾値に基づいて決定される。
【０１４７】
直交性閾値は、直交度を制御するために、独立／無相関モデルにおける逐次反復プロセス（上記の第二の逐次反復プロセスおよび図５に示した擬似コード２を参照）の反復工程数を設定するために使われてもよい。ある例示的実施形態では、逐次反復プロセスを制御するよう、反復工程数についての閾値は、直交性閾値に基づいて決定されてもよい。別の実施形態では、逐次反復プロセスを制御するよう、収束についての閾値が直交性閾値に基づいて設定されてもよい。独立／無相関モデルにおける逐次反復プロセスの収束は、次のように決定されてもよい。
【０１４８】
【数３９】
0006400218.tif 000040
各反復工程において、前記収束が前記閾値より小さければ、逐次反復プロセスは終了する。
【０１４９】
さらにもう一つの例示的実施形態では、逐次反復プロセスについて、二つの連続する反復工程の間の差についての閾値が設定されてもよい。二つの連続する反復工程の間の差は次のように表わされてもよい。
【０１５０】
【数４０】
0006400218.tif 000041
直前の反復工程と現在の反復工程の収束の間の差が前記閾値より小さければ、逐次反復プロセスは終了する。
【０１５１】
さらにもう一つの例示的実施形態では、反復工程数、収束および二つの連続する反復工程の間の差についての閾値のうちの二つ以上が、逐次反復プロセスにおいて考慮されてもよい。
【０１５２】
図１４は、本稿に開示される例示的実施形態に基づく、図５の逐次反復プロセスにおけるパラメータ決定のための擬似コード３の概略図を描いている。この例示的実施形態では、反復工程のカウントiter_Gradient、収束測定のための閾値thr_convおよび二つの相続く反復工程の間の差についての閾値thr_conv_diffが、直交性閾値に基づいて決定されうる。これらのパラメータはみな、直交度を制御するよう独立／無相関モデルにおける逐次反復プロセスをガイドするために使われる。
【０１５３】
上記の記述においては、オーディオ源分離のために使われる空間的パラメータの合同決定が記述されている。合同決定は、加法的モデルおよび独立／無相関モデルに基づいて、最終的な空間的パラメータに基づいて知覚的に自然な聞こえ方および適正な相互の直交度をもつオーディオ源が選られうるよう、実装されてもよい。
【０１５４】
独立／無相関モデル化方法および加法的モデル化方法はいずれも置換曖昧さ問題をもつことを理解しておくべきである。すなわち、独立／無相関モデル化方法では、置換曖昧さは各サブバンドの個別の処理から生じる。各サブバンドの個別の処理は、一つの源の諸サブバンドの相互の独立性を暗黙的に想定している。加法的モデル化方法（たとえばNMF）に関しては、物理的エンティティ全体に対応するオーディオ源の分離は、個別の各源に関するNMFコンポーネントをクラスタリングすることを要求する。NMFコンポーネントは周波数にわたって広がっているが、時間的に一定のスペクトルのため、単純なオーディオ・オブジェクト／コンポーネントをモデル化できるだけである。そのような単純なオーディオ・オブジェクト／コンポーネントはさらにクラスタリングされる必要がある。
【０１５５】
対照的に、図７、図９および図１２に描かれるような本稿に開示される例示的実施形態は、有益なことに、源空間的パラメータおよびスペクトル・パラメータを合同で推定し、それにより諸周波数帯域を結合することによって、この置換整列（permutation  alignment）問題を解決する。これは、同じ音響源に由来するコンポーネントは、オブジェクト源として知られるように、同様の空間的共分散属性を共有するという想定に基づく。空間的係数の間の一貫性に基づいて、図３における提案されるシステムは、NMFコンポーネントおよび独立／無相関モデル化された時間周波数ビンの両方を別個の音響源に関連付けるために使用されてもよい。
【０１５６】
上記の記述では、空間的パラメータの合同決定は、加法的モデル、たとえばNMFモデルおよび独立／無相関モデル、たとえば適応脱相関モデルに基づいて記述されている。
【０１５７】
NMFモデル化のような加法的モデル化の一つの長所は、
【数４１】
0006400218.tif 000042
のように、モデルの和がオーディオ音の和に等しくなることができるということである。
【０１５８】
入力オーディオ・コンテンツが加法的源モデルによって一組の基本コンポーネントの和としてモデル化され、オーディオ源が該一組の基本コンポーネントをグループ化することによって生成される場合、これらの源は「内部源」として示されてもよい。一組のオーディオ源が加法的源モデルによって独立してモデル化される場合、これらの源は、上記のEMアルゴリズムにおいて分離されたオーディオ源のような、「外部源」として示されてもよい。本稿に開示される例示的実施形態は：１）加法的源モデル（たとえばNMF）および独立／無相関モデルのような他のモデルの両方；および２）内部源だけでなく外部源も、に対して、源が互いに、または調整可能な直交度をもって独立／無相関であるよう強制されることができるよう、洗練または制約条件を課すことができるという点で利点を提供する。
【０１５９】
したがって、知覚的に自然な聞こえ方および適正な相互の直交度をもつオーディオ源が、本稿に開示される例示的実施形態において得られる。
【０１６０】
本稿に開示されるいくつかのさらなる例示的実施形態では、オーディオ源をよりよく抽出するために、マルチチャネル・オーディオ・コンテンツはマルチチャネル直接信号<Xf,n>directおよびマルチチャネル周囲信号<Xf,n>ambienceとして分離されてもよい。本稿での用法では、用語「直接信号」は、聞こえる音がある見かけの方向をもつという印象を聴取者に与えるオブジェクト源によって生成されるオーディオ信号を指す。用語「拡散信号」は、聞こえる音が見かけの方向をもたないまたは聴取者のまわりの多数の方向から発しているという印象を聴取者に与えるオーディオ信号を指す。典型的には、直接信号は、諸チャネルの間にパンされた複数の直接オブジェクト源に由来することがある。拡散信号は直接音源と弱く相関していてもよく、および／または周囲音、残響などのようにチャネルを横断して分散されていてもよい。
【０１６１】
したがって、オーディオ源は、合同で決定された空間パラメータに基づいて直接オーディオ信号から分離されてもよい。ある例示的な実施形態では、マルチチャネル・オーディオ源信号の時間周波数領域が、次のように、ウィーナー・フィルタリングを使って再構成されてもよい。
【０１６２】
【数４２】
0006400218.tif 000043
式(23)におけるパラメータDf,nは不足決定条件では式(10)によって、過剰決定条件では式(11)によって与えられてもよい。そのようなウィーナー再構成は、抽出されたオーディオ源信号および加法的ノイズが足し合わせると時間周波数領域における前記マルチチャネル直接信号<Xf,n>directになるという意味で保存的である。
【０１６３】
前記合同決定の例示的実施形態では、空間的パラメータの合同決定において考慮されるDf,nを含む源パラメータは、分解された直接信号<Xf,n>directではなく、いまだもとの入力オーディオ・コンテンツXf,nに基づいて生成されてもよい。よって、もとの入力オーディオ・コンテンツから得られる源パラメータは、分解アルゴリズムとは切り離されてもよく、不安定性アーチファクトを受けにくいように見える。
【０１６４】
図１５は、本稿に開示されるもう一つの例示的実施形態に基づくオーディオ源分離のシステム１５００のブロック図を描いている。システム１５００はシステム３００の拡張であり、周囲音／直接音分解器３０５という追加的なコンポーネントを含んでいる。システム１５００におけるコンポーネント３０１〜３０３の機能はシステム３００でのこれらのコンポーネントを参照して述べたものと同じであってもよい。いくつかの例示的実施形態では、合同決定器３０３は図１１に示されるものによって置き換えられてもよい。
【０１６５】
周囲／直接分解器３０５は、時間周波数領域表現で入力オーディオ・コンテンツXf,nを受領し、周囲信号<Xf,n>ambianceおよび直接信号<Xf,n>directを含むマルチチャネル・オーディオ信号を得るよう構成されていてもよい。周囲信号<Xf,n>ambianceはシステム１５００によって出力されてもよく、直接信号<Xf,n>directはオーディオ源抽出器３０４に提供されてもよい。
【０１６６】
オーディオ源抽出器３０４は、もとの入力オーディオ・コンテンツから分解された直接信号<Xf,n>directの時間周波数領域表現と、決定された空間的パラメータとを受領し、分離されたオーディオ源信号sf,nを出力するよう構成されていてもよい。
【０１６７】
図１６は、本稿に開示されるある例示的実施形態に基づくオーディオ源分離のシステム１６００のブロック図を描いている。描かれているように、システム１６００は、オーディオ源の空間的パラメータを、オーディオ源の線形結合特性およびオーディオ・コンテンツにおける分離されるべき二つ以上のオーディオ源の直交性特性に基づいて決定するよう構成された合同決定ユニット１６０１を有する。システム１６００は、前記空間的パラメータに基づいて前記オーディオ・コンテンツから前記オーディオ源を分離するよう構成されたオーディオ源分離ユニット１６０２をも有する。
【０１６８】
いくつかの例示的実施形態では、分離されるべきオーディオ源の数はあらかじめ決定されてもよい。
【０１６９】
いくつかの例示的実施形態では、合同決定ユニット１６０１は、線形結合特性および直交性特性のうちの一方に基づいてオーディオ源のパワースペクトル・パラメータを決定するよう構成されたパワースペクトル決定ユニットと、線形結合特性および直交性特性のうちの他方に基づいてパワースペクトル・パラメータを更新するよう構成されたパワースペクトル更新ユニットと、更新されたパワースペクトル・パラメータに基づいてオーディオ源の空間的パラメータを決定するよう構成された空間的パラメータ決定ユニットとを有していてもよい。
【０１７０】
いくつかの例示的実施形態では、合同決定ユニット１６０１はさらに、期待値最大化（EM）プロセスにおいてオーディオ源の空間的パラメータを決定するよう構成されていてもよい。これらの実施形態において、システム１６００はさらに、EM逐次反復プロセスの開始前に前記空間的パラメータおよび前記オーディオ源のスペクトル・パラメータについての初期化された値を設定するよう構成された初期化ユニットを有していてもよい。空間的パラメータについての初期化された値は負でない。
【０１７１】
いくつかの例示的実施形態では、合同決定ユニット１６０１において、EM逐次反復プロセスにおける各EM反復工程について、パワースペクトル決定ユニットは、線形結合特性に基づいて、オーディオ源のパワースペクトル・パラメータを、前のEM反復工程において決定されたオーディオ源のスペクトル・パラメータを使って決定するよう構成されていてもよく、パワースペクトル更新ユニットは、直交性特性に基づいてオーディオ源のパワースペクトル・パラメータを更新するよう構成されていてもよく、空間的パラメータ決定ユニットは、更新されたパワースペクトル・パラメータに基づいてオーディオ源の空間的パラメータおよびパワースペクトル・パラメータを更新するよう構成されていてもよい。
【０１７２】
いくつかの例示的実施形態では、合同決定ユニット１６０１において、EM逐次反復プロセスにおける各EM反復工程について、パワースペクトル決定ユニットは、直交性特性に基づいて、オーディオ源のパワースペクトル・パラメータを、前のEM反復工程において決定された空間的パラメータおよびスペクトル・パラメータを使って決定するよう構成されていてもよく、パワースペクトル更新ユニットは、線形結合特性に基づいてオーディオ源のパワースペクトル・パラメータを更新するよう構成されていてもよく、空間的パラメータ決定ユニットは、更新されたパワースペクトル・パラメータに基づいてオーディオ源の空間的パラメータおよびパワースペクトル・パラメータを更新するよう構成されていてもよい。
【０１７３】
いくつかの例示的実施形態では、空間的パラメータ決定ユニットは、直交性特性に基づいて、オーディオ源のパワースペクトル・パラメータを、空間的パラメータおよびスペクトル・パラメータについての初期化された値を使って、EM逐次反復プロセスの開始前に決定するよう構成されていてもよい。これらの実施形態では、EM逐次反復プロセスにおける各EM反復工程について、パワースペクトル更新ユニットは、線形結合特性に基づいてオーディオ源のパワースペクトル・パラメータを、前のEM反復工程において決定されたスペクトル・パラメータを使って更新するよう構成されていてもよく、空間的パラメータ決定ユニットは、更新されたパワースペクトル・パラメータに基づいてオーディオ源の空間的パラメータおよびパワースペクトル・パラメータを更新するよう構成されていてもよい。
【０１７４】
いくつかの例示的実施形態では、オーディオ源のスペクトル・パラメータは、非負行列因子分解モデルによってモデル化されてもよい。
【０１７５】
いくつかの例示的実施形態では、オーディオ源のパワースペクトル・パラメータは、第一の逐次反復プロセスにおいてオーディオ源の共分散行列の推定誤差を減少させることによって、線形結合特性に基づいて決定または更新されてもよい。
【０１７６】
いくつかの例示的実施形態では、システム１６００はさらに、オーディオ・コンテンツの共分散行列を決定するよう構成された共分散行列決定ユニットと、オーディオ・コンテンツの共分散行列に基づいて直交性閾値を決定するよう構成された直交性閾値決定ユニットと、直交性閾値に基づいて第一の逐次反復プロセスの反復工程数を決定するよう構成された反復工程数決定ユニットとを有していてもよい。
【０１７７】
いくつかの例示的実施形態では、空間的パラメータまたはスペクトル・パラメータの少なくとも一方は、各EM反復工程の前に規格化されてもよい。
【０１７８】
いくつかの例示的実施形態では、合同決定ユニット１６０１は、オーディオ源の移動度、オーディオ源の安定度またはオーディオ源の混合型のうちの一つまたは複数に基づいてオーディオ源の空間的パラメータを決定するようさらに構成されていてもよい。
【０１７９】
いくつかの例示的実施形態では、オーディオ源分離ユニット１６０２は、オーディオ・コンテンツから直接オーディオ信号を抽出し、前記空間的パラメータに基づいてオーディオ源を該直接オーディオ信号から分離するよう構成されていてもよい。
【０１８０】
明確のため、システム１６００のいくつかの追加的なコンポーネントは図１６には描かれていない。しかしながら、図１〜図１５を参照して上記した特徴はみなシステム１６００に適用可能であることは理解されるはずである。さらに、システム１６００のコンポーネントは、ハードウェア・モジュールまたはソフトウェア・ユニット・モジュールなどであってもよい。たとえば、いくつかの実施形態では、システム１６００は、部分的にまたは完全に、たとえばコンピュータ可読媒体において具現されたコンピュータ・プログラム・プロダクトとして実装されるソフトウェアおよび／またはファームウェアとして実装されてもよい。代替的または追加的に、システム１６００は部分的または完全に、たとえば集積回路（IC）、特定用途向け集積回路（ASIC）、システムオンチップ（SOC）、フィールド・プログラマブル・ゲート・アレイ（FPGA）などのようなハードウェアに基づいて実装されてもよい。
【０１８１】
図１７は、本稿に開示される例示的実施形態を実装するために好適な例示的なコンピュータ・システム１７００のブロック図を描いている。図のように、コンピュータ・システム１７００は、読み出し専用メモリ（ROM）１７０２に記憶されたプログラムまたは記憶部１７０８からランダム・アクセス・メモリ（RAM）１７０３にロードされたプログラムに従ってさまざまなプロセスを実行することのできる中央処理ユニット（CPU）１７０１を有する。RAM  １７０３では、CPU  １７０１がさまざまなプロセスを実行するときに必要とされるデータなども必要に応じて記憶される。CPU  １７０１、ROM  １７０２およびRAM  １７０３はバス１７０４を介して互いに接続されている。入出力（I/O）インターフェース１７０５もバス１７０４に接続されている。
【０１８２】
以下のコンポーネントがI/Oインターフェース１７０５に接続される：キーボード、マウスなどを含む入力部１７０６；陰極線管（CRT）、液晶ディスプレイ（LCD）などのようなディスプレイおよびスピーカーなどを含む出力部１７０７；ハードディスクなどを含む記憶部１７０８；およびLANカード、モデムなどのようなネットワーク・インターフェース・カードを含む通信部１７０９である。通信部１７０９は、インターネットのようなネットワークを介して通信プロセスを実行する。ドライブ１７１０も必要に応じてI/Oインターフェース１７０５に接続される。磁気ディスク、光ディスク、光磁気ディスク、半導体メモリなどのような着脱可能な媒体１７１１が必要に応じてドライブ１７１０にマウントされ、それにより必要に応じて、そこから読まれたコンピュータ・プログラムが記憶部１７０８にインストールされる。
【０１８３】
特に、本稿に開示される例示的実施形態によれば、図１〜図１５を参照して上記したプロセスがコンピュータ・ソフトウェア・プログラムとして実装されてもよい。たとえば、本稿に開示される例示的実施形態は、方法またはプロセス１００、２００、６００、８００、１０００および／または１３００を実行するためのプログラム・コードを含む、機械可読媒体上に有体に具現されたコンピュータ・プログラムを含むコンピュータ・プログラム・プロダクトを含む。そのような実施形態では、コンピュータ・プログラムは、通信部１７０９を介してネットワークからダウンロードおよびマウントされ、および／または着脱可能な媒体１７１１からインストールされてもよい。
【０１８４】
一般に、さまざまな例示的実施形態はハードウェアまたは特殊目的回路、ソフトウェア、論理またはそれらの任意の組み合わせにおいて実装されうる。いくつかの側面はハードウェアにおいて実装されてもよく、一方で他の側面がコントローラ、マイクロプロセッサまたは他のコンピューティング装置によって実行されうるファームウェアまたはソフトウェアにおいて実装されてもよい。本稿に開示される例示的実施形態のさまざまな側面がブロック図、フローチャートとしてまたは他のいくつかの絵的表現を使って図示され、記述されているが、本稿に記載されるブロック、装置、システム、技法または方法は、限定しない例として、ハードウェア、ソフトウェア、ファームウェア、特殊目的回路または論理、汎用ハードウェアまたはコントローラまたは他のコンピューティング装置またはそれらの何らかの組み合わせにおいて実装されてもよいことは理解されるであろう。
【０１８５】
さらに、フローチャートに示されるさまざまなブロックを方法ステップとしておよび／またはコンピュータ・プログラム・コードの動作から帰結する動作としておよび／または関連する機能（単数または複数）を実行するよう構築された複数の結合された論理回路要素として見ることができる。たとえば、本稿に開示される実施形態は、機械可読媒体上に有体に具現されたコンピュータ・プログラムを有するコンピュータ・プログラム・プロダクトを含み、該コンピュータ・プログラムは、上記で述べた諸方法を実行するために構成されたプログラム・コードを含む。
【０１８６】
本開示のコンテキストにおいて、機械可読媒体は、命令実行システム、装置またはデバイスによってまたはそれとの関連で使うためのプログラムを含むまたは記憶することができるいかなる有体の媒体であってもよい。機械可読媒体は機械可読信号媒体または機械可読記憶媒体でありうる。機械可読媒体は、電子式、磁気式、光学式、電磁式、赤外線または半導体のシステム、装置またはデバイスまたは上記の任意の好適な組み合わせを含みうるが、それに限られなくてもよい。機械可読記憶媒体のより具体的な例は、一つまたは複数のワイヤを有する電気接続、ポータブルなコンピュータ・ディスケット、ハードディスク、ランダム・アクセス・メモリ（RAM）、読み出し専用メモリ（ROM）、消去可能なプログラム可能型読み出し専用メモリ（EPROMまたはフラッシュ・メモリ）、光ファイバー、ポータブルなコンパクト・ディスク読み出し専用メモリ（CD-ROM）、光記憶デバイス、磁気記憶デバイスまたは上記の任意の好適な組み合わせを含む。
【０１８７】
本稿に開示される方法を実行するためのコンピュータ・プログラム・コードは、一つまたは複数のプログラミング言語の任意の組み合わせにおいて書かれうる。これらのコンピュータ・プログラム・コードは、汎用コンピュータ、特殊目的コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサに提供されてもよく、それにより該プログラム・コードは、該コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサによって実行されたとき、フローチャートおよび／またはブロック図において規定された機能／動作を実装させる。プログラム・コードは完全にコンピュータ上で、部分的にコンピュータ上で、スタンドアローンのソフトウェア・パッケージとして、部分的にはコンピュータ上で部分的にはリモート・コンピュータ上で、あるいは完全にリモート・コンピュータまたはサーバー上で実行されてもよい。プログラム・コードは、本稿で一般に「モジュール」と称されることがある特別にプログラムされたデバイス上に分散されていてもよい。モジュールのソフトウェア・コンポーネント部分はいかなるコンピュータ言語で書かれてもよく、モノリシックなコード・ベースの一部であってもよく、あるいはオブジェクト指向コンピュータ言語において典型的であるように、より離散的なコード部分において開発されてもよい。さらに、モジュールは複数のコンピュータ・プラットフォーム、サーバー、端末、モバイル装置などを横断して分散されてもよい。所与のモジュールはさらには、記載される機能が別個のプロセッサおよび／またはコンピューティング・ハードウェア・プラットフォームによって実行されるように実装されてもよい。
【０１８８】
本願での用法では、用語「回路」は、次のすべてを指す：（ａ）ハードウェアのみの回路実装（たとえばアナログおよび／またはデジタル回路のみでの実装）および（ｂ）回路およびソフトウェア（および／またはファームウェア）の組み合わせ、たとえば（適宜）：（ｉ）プロセッサ（単数または複数）の組み合わせまたは（ｉｉ）プロセッサ（単数または複数）／ソフトウェア（デジタル信号プロセッサを含む）、ソフトウェアおよびメモリ（単数または複数）の、一緒になって携帯電話もしくはサーバーのような装置にさまざまな機能を実行させる部分および（ｃ）マイクロプロセッサ（単数または複数）またはマイクロプロセッサ（単数または複数）の一部のような、たとえソフトウェアまたはファームウェアが物理的に存在していなくても、ソフトウェアまたはファームウェアを動作のために必要とする回路。さらに、当業者には、通信媒体が典型的には、コンピュータ可読命令、データ構造、プログラム・モジュールまたは他のデータを、搬送波または他の転送機構のような変調されたデータ信号において具現し、任意の送達媒体を含むことはよく知られている。
【０１８９】
さらに、動作は特定の順序で描かれているが、これは、そのような動作が示される特定の順序で、あるいは逐次順に実行されること、あるいは望ましい結果を達成するために示されているすべての動作が実行されることを要求するものと理解されるべきではない。ある種の状況では、マルチタスクおよび並列処理が有利であることがある。同様に、いくつかの個別的な実装詳細が上記の議論に含まれるものの、これらは本稿に開示される主題のまたは特許請求されうるものの範囲に対する限定として解釈されるべきではなく、むしろ特定の実施形態に固有でありうる事項の記述と解釈されるべきである。別個の実施形態のコンテキストにおいて本明細書に記載されるある種の特徴は、単一の実施形態において組み合わせて実装されてもよい。逆に、単一の実施形態のコンテキストにおいて記述されているさまざまな特徴が、複数の実施形態において別個にまたは任意の好適なサブコンビネーションにおいて実装されることもできる。
【０１９０】
付属の図面との関連で読まれるときの上記の記述に鑑み、本稿に開示される上記の例示的実施形態へのさまざまな修正および適応が当業者に明白となることがありうる。任意の、あらゆる修正がそれでも、本稿に開示される、限定しない、例示的な実施形態の範囲内にはいる。さらに、本稿に開示される他の実施形態が、上記の記述および図面に呈示される教示の恩恵をもつ当業者には思いつくであろう。
【０１９１】
よって、主題は、本稿に記載される形の任意のもので具現されうる。たとえば、以下の付番実施例（EEE:  enumerated  example  embodiment）は、本稿に開示されるいくつかの側面のいくつかの構造、特徴および機能を記述するものである。
〔ＥＥＥ１〕
時間周波数領域入力オーディオ信号に基づいてオーディオ源を分離する装置であって、時間周波数領域表現は複数の周波数帯域を記述する複数のサブバンド信号を用いて前記入力オーディオ信号を表わし、当該装置は合同源分離器を有し、前記合同源分離器は、洗練されたパラメータに基づいて安定かつ高速な収束を可能にしつつ知覚的に自然に聞こえる源を復元するよう複数の源パラメータを組み合わせるよう構成され、前記複数の源パラメータは、前記オーディオ源を復元するために推定される主パラメータおよび前記主パラメータを洗練するための中間パラメータを含む、装置。当該装置はまた、前記入力オーディオ信号における見えない源についてのスペクトル情報および／または前記入力オーディオ信号に存在する前記見えない源の空間性または混合プロセスを記述する情報が得られるよう、前記主パラメータを推定するよう構成された第一の決定器を有する。当該装置はさらに、前記見えない源のスペクトル属性、空間性および／または混合プロセスを洗練するための情報が得られるよう、前記中間パラメータを得るよう構成された第二の決定器を有する。
〔ＥＥＥ２〕
ＥＥＥ１記載の装置であって、前記入力オーディオ信号に基づいてオーディオ源の間の直交性制御の度合いが得られるよう係数因子を得るよう構成された直交度決定器をさらに有し、前記係数因子は前記源の間の直交性属性を示す複数の定量的な特徴値を含む、装置。前記合同源分離器は、知覚的に自然な聞こえ方および前記入力オーディオ信号の属性に基づいて前記直交度決定器によって決定される適正な相互の直交度をもつオーディオ源を得るために、前記複数の源パラメータの組み合わせを制御するよう前記直交度決定器から直交度を受領するよう構成される。
〔ＥＥＥ３〕
前記第一の決定器が、知覚的に自然な音を復元するよう、加法的源モデルを適用することによって、前記入力オーディオ信号の前記時間周波数領域表現に基づいて前記主パラメータを推定するよう構成されている、ＥＥＥ１記載の装置。
〔ＥＥＥ４〕
ＥＥＥ３記載の装置であって、前記加法的源モデルが、推定されたオーディオ源の非負の時間周波数領域表現を基本コンポーネントの和に分解して、前記主スペクトル・パラメータが非負の行列の積の表現で表わされるようにするために非負行列因子分解方法を使うよう構成されており、前記非負の行列は、スペクトル制約条件が適用できるようスペクトル成分を列ベクトルとしてもつ一つの非負の行列と、時間的制約条件が適用できるよう各スペクトル成分の活性化を行ベクトルとしてもつ一つの非負の行列とを含む、装置。
〔ＥＥＥ５〕
前記複数の源パラメータが空間的パラメータおよびスペクトル・パラメータを含み、前記スペクトル・パラメータをその空間的パラメータに基づいて分離されたオーディオ源へ結合することによって置換曖昧性が解消される、ＥＥＥ１記載の装置。
〔ＥＥＥ６〕
前記第二の決定器は、前記主パラメータを洗練するために独立／無相関制約条件が適用されるよう適応脱相関モデルを使うよう構成されている、ＥＥＥ１記載の装置。
〔ＥＥＥ７〕
前記第二の決定器は、推定および完璧な共分散行列の間の測定誤差Ef,nを最小化することによって独立／無相関制約条件を適用するよう構成されており、空間的パラメータおよびスペクトル・パラメータの少なくとも一方を含む洗練されたパラメータが
【数４３】
0006400218.tif 000044
として洗練される、ＥＥＥ１または６記載の装置。
〔ＥＥＥ８〕
前記測定誤差が、勾配法を適用することによって最小化され、勾配項は、種々の周波数について匹敵する更新ステップを与えるよう勾配をスケーリングするよう冪によって規格化される、ＥＥＥ７記載の装置。
〔ＥＥＥ９〕
ＥＥＥ１記載の装置であって、前記合同源分離器が前記オーディオ源の前記スペクトル・パラメータおよび前記空間的パラメータをEMアルゴリズム内で合同して推定するよう前記二つの決定器を組み合わせるよう構成されており、前記EMアルゴリズムの一つの反復工程は期待値ステップおよび最大化ステップを有し、
期待値ステップについて：
前記源の少なくともパワー・スペクトログラムを含む中間スペクトル・パラメータを、前記第一の決定器によってモデル化された推定された主スペクトル・パラメータに基づいて計算する段階と、
少なくとも逆混合パラメータ、たとえばウィーナー・フィルタ・パラメータを含む中間空間的パラメータを、前記源の推定されたスペクトル・パラメータおよび推定された主空間的パラメータに基づいて計算する段階と、
前記中間空間的およびスペクトル・パラメータを前記第二の決定器の源モデルを用いて、上記の推定された中間パラメータに基づいて用いて洗練する段階であって、前記パラメータは、前記ウィーナー・フィルタ・パラメータ、前記オーディオ源の共分散行列および前記オーディオ源のパワー・スペクトログラムのうちの少なくとも一つを含む、段階と、
他の中間パラメータを前記洗練されたパラメータに基づいて計算する段階であって、前記他の中間パラメータは少なくとも、前記入力オーディオ信号と前記推定された源信号との間の相互共分散行列を含む、段階とを含み、
最大化ステップについて：
前記主スペクトル・パラメータおよび前記主空間的パラメータ（混合パラメータ）を含む前記主パラメータを、前記洗練された中間パラメータに基づいて用いて再洗練する段階と、
トリビアルなスケール不定性が解消されるよう前記主パラメータを再規格化する段階とを含む、
装置。
〔ＥＥＥ１０〕
一つまたは複数の入力オーディオ信号に基づいて複数のオーディオ源信号およびそのパラメータを抽出するための源生成器装置であって、当該装置は、時間周波数領域表現での入力オーディオおよび一組の源設定を受領するよう構成される。当該装置はまた、前記源パラメータを、一組の源設定および推定される加法的ノイズを引いて前記入力オーディオから生成される減算信号に基づいて初期化し、一組の初期化された源パラメータを得るよう構成される。前記一組の源設定は、初期の源の数、源移動度、源安定度、オーディオ混合クラス、空間的ガイダンス・メタデータ、ユーザー・ガイダンス・メタデータおよび時間周波数ガイダンス・メタデータを含むがそれに限られない。当該装置はさらに、受領された初期化された源パラメータに基づいて前記オーディオ源を合同して分離し、分離された源およびその対応するパラメータを出力することを、逐次反復的な分離手順が収束するまで行なうよう構成される。逐次反復的な分離手順の各段階はさらに、受領された初期化されたおよび／または洗練された中間パラメータを用いて、加法的モデルに基づいて主パラメータを推定する段階と、中間パラメータを推定し、これらのパラメータを独立／無相関モデルに基づいて洗練する段階と、分離されたオブジェクト源信号を推定された源パラメータおよび時間周波数領域表現での前記入力オーディオに基づいて復元する段階とを含む。
〔ＥＥＥ１１〕
ＥＥＥ１０記載の装置であって、前記源を合同して分離する段階がさらに、前記入力信号および受領された前記一組の源設定に基づいて、前記見えない源の直交度を決定する段階と、源の間の定量的な直交度制御を得る段階と、受領された初期化された源パラメータおよび直交制御度に基づいて前記オーディオ源を合同して分離する段階と、分離された源およびその対応するパラメータを出力する段階とを、逐次反復的な分離手順が収束するまで行なうことを含む。逐次反復的な分離手順の各段階はさらに、受領された初期化されたおよび／または洗練された中間パラメータを用いて、加法的モデルに基づいて主パラメータを推定する段階と、中間パラメータを推定し、これらのパラメータを受領された直交性制御度を用いて独立／無相関モデルに基づいて洗練する段階とを含む。
〔ＥＥＥ１２〕
一つまたは複数の入力オーディオ信号に基づいて少なくとも一つのオブジェクト信号を含むマルチチャネル・オーディオ信号を提供するためのマルチチャネル・オーディオ信号生成器装置であって、当該装置は、時間周波数領域表現での入力オーディオおよび一組の源設定を受領し、前記源パラメータを、一組の源設定および受領された推定される加法的ノイズを引いて前記入力オーディオから生成される減算信号を用いて初期化し、一組の初期化された源パラメータを得るよう構成される。前記一組の源設定は、初期の源の数、源移動度、源安定度、オーディオ混合クラス、空間的ガイダンス・メタデータ、ユーザー・ガイダンス・メタデータおよび時間周波数ガイダンス・メタデータを含むがそれに限られない。当該装置はまた、前記入力信号および受領された前記一組の源設定を用いて、前記見えない源の直交度を決定する段階と、源の間の定量的な直交度制御を得る段階とを実行するよう構成される。当該装置はさらに、受領された初期化された源パラメータおよび直交制御度を用いて前記源を合同して分離する段階と、分離された源およびその対応するパラメータを出力する段階とを、逐次反復的な分離手順が収束するまで行なうよう構成される。逐次反復的な分離手順の各段階はさらに、受領された初期化されたおよび／または洗練された中間パラメータを用いて、加法的モデルに基づいて主パラメータを推定する段階と、中間パラメータを推定し、これらのパラメータを受領された直交性制御度を用いて独立／無相関モデルに基づいて洗練する段階とを含む。当該装置はさらに、前記入力信号を、周囲音信号および直接音信号を含むマルチチャネル・オーディオ信号に分解し、推定された源パラメータおよび時間周波数領域表現での分解された直接音信号に基づいて、分離されたオブジェクト源信号を抽出するよう構成される。
〔ＥＥＥ１３〕
ＥＥＥ１２記載の装置であって、前記源を合同して分離する段階がさらに、前記入力信号および受領された前記一組の源設定を用いて、前記見えない源の直交度を決定する段階と、源の間の定量的な直交度制御を得る段階と、受領された初期化された源パラメータおよび直交制御度に基づいて前記源を合同して分離する段階と、分離された源およびその対応するパラメータを出力する段階とを、逐次反復的な分離手順が収束するまで行なうことを含む。逐次反復的な分離手順の各段階はさらに、受領された初期化されたおよび／または洗練された中間パラメータを用いて、加法的モデルに基づいて主パラメータを推定する段階と、中間パラメータを推定し、これらのパラメータを受領された直交性制御度を用いて独立／無相関モデルに基づいて洗練する段階とを含む。
〔ＥＥＥ１４〕
受領された一組の初期化された源パラメータを用いて、独立／無相関モデルを用いて源パラメータを洗練して、他のモデルのもとでの前記源パラメータについての推定の高速かつ安定な収束を保証するための源パラメータ推定装置であって、再推定問題は、最小二乗（LS）推定問題として解かれ、前記一組のパラメータは、現在のパラメータを用いて計算される共分散行列の条件付き期待値と独立／無相関モデルでの理想的な共分散行列との間の測定誤差を最小にするよう再推定される、装置。
〔ＥＥＥ１５〕
ＥＥＥ１４記載の装置であって、前記最小二乗（LS）推定問題は、勾配降下アルゴリズムを用いて逐次反復的手順で解かれ、各反復工程は、現在のパラメータを用いて計算される共分散行列の条件付き期待値と独立／無相関モデルでの理想的な共分散行列との間の測定誤差を最小化することによって勾配降下値を計算し、前記勾配降下値を使って前記源パラメータを更新し、収束測度を計算することを含み、収束測度が収束閾値に達したら逐次反復が中止され、更新された源パラメータが出力される。
〔ＥＥＥ１６〕
当該装置がさらに、推定された源がそれらの間のある受け入れ可能な量の相関にもかかわらず快く聞こえる源となるよう、推定された源の間の直交度を設定するための決定器を有する、ＥＥＥ１４記載の装置。
〔ＥＥＥ１７〕
前記決定器が、前記入力オーディオ信号がどの程度「階数１に近い」かを示す定量的測度（バイアス）を含むがそれに限られないコンテンツ適応的な測度を使って直交度を決定し、前記オーディオ信号が階数１に近いほど、前記独立／無相関制約がより自信をもって／より少ない曖昧さで、徹底的に適用される、ＥＥＥ１６記載の装置。
【０１９２】
本稿に開示される例示的実施形態は開示される特定の実施形態に限定されず、修正および他の実施形態が付属の請求項の範囲内に含まれることが意図されていることは理解されるであろう。本稿では個別的な用語が使われているが、それらは一般的で記述的な意味において使われているだけであり、限定のためではない。
いくつかの態様を記載しておく。
〔態様１〕
オーディオ・コンテンツからのオーディオ源分離の方法であって：
オーディオ源の空間的パラメータを、前記オーディオ源の線形結合特性および前記オーディオ・コンテンツにおける分離されるべき二つ以上のオーディオ源の直交性特性に基づいて決定する段階と；
前記空間的パラメータに基づいて前記オーディオ・コンテンツから前記オーディオ源を分離する段階とを含む、
方法。
〔態様２〕
分離されるべき前記オーディオ源の数はあらかじめ決定されている、態様１記載の方法。
〔態様３〕
オーディオ源の空間的パラメータを決定する前記段階は：
前記線形結合特性および前記直交性特性のうちの一方に基づいて前記オーディオ源のパワースペクトル・パラメータを決定し；
前記線形結合特性および前記直交性特性のうちの他方に基づいて前記パワースペクトル・パラメータを更新し；
更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の前記空間的パラメータを決定することを含む、
態様１記載の方法。
〔態様４〕
期待値最大化（EM）逐次反復プロセスにおいてオーディオ源の空間的パラメータを決定することをさらに含み、
当該方法はさらに：
前記EM逐次反復プロセスの開始前に前記空間的パラメータおよび前記オーディオ源のスペクトル・パラメータについての初期化された値を設定する段階を含み、前記空間的パラメータについての前記初期化された値は負でない、
態様３記載の方法。
〔態様５〕
EM逐次反復プロセスにおいてオーディオ源の空間的パラメータを決定することが：
前記EM逐次反復プロセスにおける各EM反復工程について、
前記線形結合特性に基づいて、前記オーディオ源の前記パワースペクトル・パラメータを、前のEM反復工程において決定された前記オーディオ源の前記スペクトル・パラメータを使って決定し；
前記直交性特性に基づいて前記オーディオ源の前記パワースペクトル・パラメータを更新し；
前記更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の前記空間的パラメータおよび前記パワースペクトル・パラメータを更新することを含む、
態様４記載の方法。
〔態様６〕
EM逐次反復プロセスにおいてオーディオ源の空間的パラメータを決定することが：
前記EM逐次反復プロセスにおける各EM反復工程について、
前記直交性特性に基づいて、前記オーディオ源の前記パワースペクトル・パラメータを、前のEM反復工程において決定された前記オーディオ源の前記空間的パラメータおよび前記スペクトル・パラメータを使って決定し；
前記線形結合特性に基づいて前記オーディオ源の前記パワースペクトル・パラメータを更新し；
前記更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の前記空間的パラメータおよび前記パワースペクトル・パラメータを更新することを含む、
態様４記載の方法。
〔態様７〕
前記直交性特性に基づいて、前記オーディオ源の前記パワースペクトル・パラメータを、前記空間的パラメータおよび前記スペクトル・パラメータについての初期化された値を使って、前記EM逐次反復プロセスの開始前に決定する段階をさらに含み、
EM逐次反復プロセスにおいてオーディオ源の空間的パラメータを決定することが：
前記EM逐次反復プロセスにおける各EM反復工程について、
前記線形結合特性に基づいて前記オーディオ源の前記パワースペクトル・パラメータを、前のEM反復工程において決定された前記オーディオ源の前記スペクトル・パラメータを使って更新し、
前記更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の前記空間的パラメータおよび前記パワースペクトル・パラメータを更新することを含む、
態様４記載の方法。
〔態様８〕
前記オーディオ源の前記スペクトル・パラメータは、非負行列因子分解モデルによってモデル化される、態様５ないし７のうちいずれか一項記載の方法。
〔態様９〕
前記オーディオ源の前記パワースペクトル・パラメータは、第一の逐次反復プロセスにおいて前記オーディオ源の共分散行列の推定誤差を減少させることによって、前記線形結合特性に基づいて決定または更新される、態様５ないし７のうちいずれか一項記載の方法。
〔態様１０〕
前記オーディオ・コンテンツの共分散行列を決定する段階と；
前記オーディオ・コンテンツの前記共分散行列に基づいて直交性閾値を決定する段階と；
前記直交性閾値に基づいて前記第一の逐次反復プロセスの反復工程数を決定する段階とを含む、
態様９記載の方法。
〔態様１１〕
前記空間的パラメータまたは前記スペクトル・パラメータの少なくとも一方が、各EM反復工程の前に規格化される、態様５ないし７のうちいずれか一項記載の方法。
〔態様１２〕
オーディオ源の空間的パラメータの前記決定が、前記オーディオ源の移動度、前記オーディオ源の安定度または前記オーディオ源の混合型のうちの一つまたは複数にさらに基づく、態様１ないし７のうちいずれか一項記載の方法。
〔態様１３〕
前記空間的パラメータに基づいて前記オーディオ・コンテンツから前記オーディオ源を分離する前記段階が：
前記オーディオ・コンテンツから直接音オーディオ信号を抽出し；
前記空間的パラメータに基づいて前記直接音オーディオ信号から、前記オーディオ源を分離することを含む、
態様１ないし７のうちいずれか一項記載の方法。
〔態様１４〕
オーディオ・コンテンツからのオーディオ源分離のシステムであって：
オーディオ源の空間的パラメータを、前記オーディオ源の線形結合特性および前記オーディオ・コンテンツにおける分離されるべき二つ以上のオーディオ源の直交性特性に基づいて決定するよう構成された合同決定ユニットと；
前記空間的パラメータに基づいて前記オーディオ・コンテンツから前記オーディオ源を分離するよう構成されたオーディオ源分離ユニットとを有する、
システム。
〔態様１５〕
分離されるべき前記オーディオ源の数はあらかじめ決定されている、態様１４記載のシステム。
〔態様１６〕
前記合同決定ユニットは：
前記線形結合特性および前記直交性特性のうちの一方に基づいて前記オーディオ源のパワースペクトル・パラメータを決定するよう構成されたパワースペクトル決定ユニットと；
前記線形結合特性および前記直交性特性のうちの他方に基づいて前記パワースペクトル・パラメータを更新するよう構成されたパワースペクトル更新ユニットと；
更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の前記空間的パラメータを決定するよう構成された空間的パラメータ決定ユニットとを有する、
態様１４記載のシステム。
〔態様１７〕
前記合同決定ユニットはさらに、期待値最大化（EM）逐次反復プロセスにおいてオーディオ源の空間的パラメータを決定するよう構成されており、
当該システムはさらに：
前記EM逐次反復プロセスの開始前に前記空間的パラメータおよび前記オーディオ源のスペクトル・パラメータについての初期化された値を設定するよう構成された初期化ユニットを有しており、前記空間的パラメータについての前記初期化された値は負でない、
態様１６記載のシステム。
〔態様１８〕
前記合同決定ユニットにおいて、前記EM逐次反復プロセスにおける各EM反復工程について、
前記パワースペクトル決定ユニットは、前記線形結合特性に基づいて、前記オーディオ源の前記パワースペクトル・パラメータを、前のEM反復工程において決定された前記オーディオ源の前記スペクトル・パラメータを使って決定するよう構成されており、
前記パワースペクトル更新ユニットは、前記直交性特性に基づいて前記オーディオ源の前記パワースペクトル・パラメータを更新するよう構成されており、
前記空間的パラメータ決定ユニットは、前記更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の前記空間的パラメータおよび前記パワースペクトル・パラメータを更新するよう構成されている、
態様１７記載のシステム。
〔態様１９〕
前記合同決定ユニットにおいて、前記EM逐次反復プロセスにおける各EM反復工程について、
前記パワースペクトル決定ユニットは、前記直交性特性に基づいて、前記オーディオ源の前記パワースペクトル・パラメータを、前のEM反復工程において決定された前記オーディオ源の前記空間的パラメータおよび前記スペクトル・パラメータを使って決定するよう構成されており、
前記パワースペクトル更新ユニットは、前記線形結合特性に基づいて前記オーディオ源の前記パワースペクトル・パラメータを更新するよう構成されており、
前記空間的パラメータ決定ユニットは、前記更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の前記空間的パラメータおよび前記パワースペクトル・パラメータを更新するよう構成されている、
態様１７記載のシステム。
〔態様２０〕
前記パワースペクトル決定ユニットは、前記直交性特性に基づいて、前記オーディオ源の前記パワースペクトル・パラメータを、前記空間的パラメータおよび前記スペクトル・パラメータについての前記初期化された値を使って、前記EM逐次反復プロセスの開始前に決定するよう構成されており、
前記EM逐次反復プロセスにおける各EM反復工程について、
前記パワースペクトル更新ユニットは、前記線形結合特性に基づいて前記オーディオ源の前記パワースペクトル・パラメータを、前のEM反復工程において決定された前記オーディオ源の前記スペクトル・パラメータを使って更新するよう構成されており、
前記空間的パラメータ決定ユニットは、前記更新されたパワースペクトル・パラメータに基づいて前記オーディオ源の前記空間的パラメータおよび前記パワースペクトル・パラメータを更新するよう構成されている、
態様１７記載のシステム。
〔態様２１〕
前記オーディオ源の前記スペクトル・パラメータは、非負行列因子分解モデルによってモデル化される、態様１８ないし２０のうちいずれか一項記載のシステム。
〔態様２２〕
前記オーディオ源の前記パワースペクトル・パラメータは、第一の逐次反復プロセスにおいて前記オーディオ源の共分散行列の推定誤差を減少させることによって、前記線形結合特性に基づいて決定または更新される、態様１８ないし２０のうちいずれか一項記載のシステム。
〔態様２３〕
前記オーディオ・コンテンツの共分散行列を決定するよう構成された共分散行列決定ユニットと；
前記オーディオ・コンテンツの前記共分散行列に基づいて直交性閾値を決定するよう構成された直交性閾値決定ユニットと；
前記直交性閾値に基づいて前記第一の逐次反復プロセスの反復工程数を決定するよう構成された反復工程数決定ユニットとをさらに有する、
態様２２記載のシステム。
〔態様２４〕
前記空間的パラメータまたは前記スペクトル・パラメータの少なくとも一方は、各EM反復工程の前に規格化される、態様１８ないし２０のうちいずれか一項記載のシステム。
〔態様２５〕
前記合同決定ユニットは、前記オーディオ源の移動度、前記オーディオ源の安定度または前記オーディオ源の混合型のうちの一つまたは複数に基づいて前記オーディオ源の前記空間的パラメータを決定するようさらに構成されている、態様１４ないし２０のうちいずれか一項記載のシステム。
〔態様２６〕
前記オーディオ源分離ユニットは、前記オーディオ・コンテンツから直接音オーディオ信号を抽出し、前記空間的パラメータに基づいて前記直接音オーディオ信号から前記オーディオ源を分離するよう構成されている、態様１４ないし２０のうちいずれか一項記載のシステム。
〔態様２７〕
オーディオ・コンテンツからのオーディオ源分離のためのコンピュータ・プログラム・プロダクトであって、前記コンピュータ・プログラム・プロダクトは非一時的なコンピュータ可読媒体上に有体に記憶されており、実行されたときに機械に態様１ないし１３のうちいずれか一項記載の方法の段階を実行させる機械実行可能命令を有する、コンピュータ・プログラム・プロダクト。
【図１】
0006400218.tif 000045
【図２】
0006400218.tif 000046
【図３】
0006400218.tif 000047
【図４】
0006400218.tif 000048
【図５】
0006400218.tif 000049
【図６】
0006400218.tif 000050
【図７】
0006400218.tif 000051
【図８】
0006400218.tif 000052
【図９】
0006400218.tif 000053
【図１０】
0006400218.tif 000054
【図１１】
0006400218.tif 000055
【図１２】
0006400218.tif 000056
【図１３】
0006400218.tif 000057
【図１４】
0006400218.tif 000058
【図１５】
0006400218.tif 000059
【図１６】
0006400218.tif 000060
【図１７】
0006400218.tif 000061