(57)【要約】特徴ベクトルのシーケンスの形態の入力信号が、まずこの入力信号のモデルのパラメーターをメモリに記憶することによって、出力信号に変換される。ベクトル及びパラメーターを用いて、隠れた変数のベクトルのシーケンスが推論される。特徴ベクトルｘｎごとに隠れた変数ｈｉ，ｎの少なくとも１つのベクトルｈｎが存在し、各隠れた変数は非負である。出力信号は、特徴ベクトルと、隠れた変数のベクトルと、パラメーターとを用いて生成される。各特徴ベクトルｘｎは、同じｎについて、隠れた変数ｈｉ，ｎのうちの少なくとも１つに依存する。隠れた変数は    【数１】2015521748.tif 000134に従って関係付けられ、ここでｊ及びｌは総和インデックスである。パラメーターは非負の重みｃｉ，ｊ，ｌを有し、εｌ，ｎは独立した非負の確率変数である。
2015521748.tif 000002
【特許請求の範囲】
【請求項１】
入力信号を変換する方法であって、
前記入力信号のモデルのパラメーターをメモリに記憶するステップと、
前記入力信号を特徴ベクトルのシーケンスとして受け取るステップと、
前記特徴ベクトルのシーケンスと前記パラメーターとを用いて、隠れた変数のベクトルのシーケンスを推論するステップであって、特徴ベクトルｘｎごとに隠れた変数ｈｉ，ｎの少なくとも１つのベクトルｈｎが存在し、各隠れた変数は非負である、ステップと、
前記特徴ベクトルと、前記隠れた変数のベクトルと、前記パラメーターとを用いて、前記入力信号に対応する出力信号を生成するステップと、
を含み、
各特徴ベクトルｘｎは、同じｎについて、前記隠れた変数ｈｉ，ｎのうちの少なくとも１つに依存し、前記隠れた変数は、
【数１】
2015521748.tif 000116
に従って関係付けられ、ここで、ｊ及びｌは総和インデックスであり、前記パラメーターは非負の重みｃｉ，ｊ，ｌを含み、εｌ，ｎは独立した非負の確率変数であり、前記ステップはプロセッサにおいて実行される、入力信号を変換する方法。
【請求項２】
ｃｉ，ｊ，ｌ＝δ（ｉ，ｌ）ａｉ，ｊであり、ここで、ａｉ，ｊは非負のスカラーであり、δはクロネッカーのデルタであり、以下の式が成り立つ、
【数２】
2015521748.tif 000117
請求項１に記載の方法。
【請求項３】
ｃｉ，ｊ，ｌ＝δ（ｍ（ｉ，ｊ），ｌ）ａｉ，ｊであり、ａｉ，ｊは非負のスカラーであり、δはクロネッカーのデルタであり、ｍ（ｉ，ｊ）は、ｉ及びｊの各組み合わせから、ｌに対応するインデックスへの１対１のマッピングであり、以下の式が成り立つ、
【数３】
2015521748.tif 000118
請求項１に記載の方法。
【請求項４】
前記確率変数εｌ，ｎはガンマ分布に従う、請求項１に記載の方法。
【請求項５】
前記推論中に用いられる観測モデルは、少なくとも部分的に、
【数４】
2015521748.tif 000119
に基づき、ここで、
【数５】
2015521748.tif 000120
は、非負のスカラーであり、
【数６】
2015521748.tif 000121
は独立した非負の確率変数であり、ｖｆ，ｎはフレームｎ及び特徴ｆにおける前記入力信号の非負の特徴であり、ｊ及びｌはインデックスである、請求項１に記載の方法。
【請求項６】
【数７】
2015521748.tif 000122
であり、ここで、ｗｆ，ｉは非負のスカラーであり、δはクロネッカーのデルタであり、
【数８】
2015521748.tif 000123
はガンマ分布に従う確率変数であり、前記観測モデルは少なくとも部分的に、
【数９】
2015521748.tif 000124
に基づくようになっており、ここで、ｖｆ，ｎはフレームｎにおける前記入力信号の非負の特徴であり、ｆは周波数であり、Ｇａｍｍａ（・｜ａ，ｂ）は形状パラメーターａ及び逆スケールパラメーターｂを有するガンマ分布であり、α（ｖ）及びβ（ｖ）は正のスカラーであり、ｗｆ，ｉは非負のスカラーである、請求項５に記載の方法。
【請求項７】
前記入力信号の複素スペクトログラムとして前記特徴ベクトルｘｆ，ｎを取得することであって、ｘｆ，ｎは、フレームｎ及び周波数ｆについての前記複素スペクトログラムの値であることと、
非負の特徴ｖｆ，ｎ＝｜ｘｆ，ｎ｜２をフレームｎ及び周波数ｆにおける累乗として求めることであって、前記観測モデルが少なくとも部分的に、
【数１０】
2015521748.tif 000125
に基づくようにし、ここで、
【数１１】
2015521748.tif 000126
は虚数単位であり、θｆ，ｎは、前記フレームｎ及び前記周波数ｆについての位相を表す確率変数であることと、
を更に含む、請求項５に記載の方法。
【請求項８】
前記パラメーターα（ｖ）＝１を設定することであって、ここで、θｆ，ｎは一様分布に従うランダム位相変数であり、以下の式が成り立ち、
【数１２】
2015521748.tif 000127
ここで、ＮＣは複素ガウス分布であること、
を更に含む、請求項６に記載の方法。
【請求項９】
前記推論は最大事後確率推定を用いる、請求項１に記載の方法。
【請求項１０】
前記推論は変分ベイズ法を用いる、請求項１に記載の方法。
【請求項１１】
前記推論は適応的であり、前記入力信号に対しオンラインで実行される、請求項１に記載の方法。
【請求項１２】
前記入力信号は、複数のチャネルにおいて同時に受信される、請求項１に記載の方法。
【請求項１３】
前記推論中に用いられる観測モデルは、少なくとも部分的に、
【数１３】
2015521748.tif 000128
及び
【数１４】
2015521748.tif 000129
に基づき、ここで、
【数１５】
2015521748.tif 000130
及び
【数１６】
2015521748.tif 000131
は、非負のスカラーであり、
【数１７】
2015521748.tif 000132
及び
【数１８】
2015521748.tif 000133
は独立した非負の確率変数であり、ｉ、ｉ’、ｌ’、ｌ’’、ｆ及びｎはインデックスである、請求項１に記載の方法。
【請求項１４】
前記隠れた変数ｈｉ，ｎはＳ個のグループに分割され、非負の確率変数εｌ，ｎはそれぞれ、前記グループのうちの１つと関連付けられ、ｈｉ，ｎ及びｈｊ，ｎ、又はｈｉ，ｎ及びεｌ，ｎが異なるグループにあるとき、ｃｉ，ｊ，ｌ＝０である、請求項１に記載の方法。
【請求項１５】
前記モデルは動的であり、前記入力信号は非定常である、請求項１に記載の方法。
【請求項１６】
前記推論中にオンラインで前記入力信号の利得に適応すること、
を更に含む、請求項１に記載の方法。
【請求項１７】
前記入力信号は音声及び雑音の混合信号であり、前記出力信号は向上した音声信号である、請求項１に記載の方法。
【請求項１８】
前記パラメーターは基底関数Ｗと、遷移行列Ａと、アクティベーション行列Ｈと、連続ガンマ分布パラメーターの固定形状パラメーターα及び逆スケールパラメーターβと、それらの様々な組み合わせとを含む、請求項１に記載の方法。
【請求項１９】
Ｈ及びβの更新は任意選択である、請求項１８に記載の方法。
【請求項２０】
βの更新は前記推論において用いられる最大事後確率推定において任意選択である、請求項１８に記載の方法。
【請求項２１】
前記入力信号は、単一のセンサーによって複数のソースから同時に受け取られる、請求項１に記載の方法。
【請求項２２】
Ｈの事後分布は変分ベイズ法において用いられる、請求項１８に記載の方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、包括的には信号処理に関し、より詳細には、動的モデルを用いて入力信号を出力信号に変換することに関する。この信号はオーディオ（音声）信号である。
【背景技術】
【０００２】
非定常信号における動力学をモデル化するための一般的な枠組みは、時間的動力学を用いた隠れマルコフモデル（ＨＭＭ：ｈｉｄｄｅｎ  Ｍａｒｋｏｖ  ｍｏｄｅｌ）である。ＨＭＭは音声認識のためのデファクトスタンダードである。離散時間ＨＭＭは、Ｎ個の観測される（取得される）確率変数からなるシーケンス
【数１】
2015521748.tif 000003
すなわち信号サンプルをモデル化する。これは、観測されていない確率状態変数のシーケンス｛ｈｎ｝に対し確率分布を条件付けすることによって行われる。ＨＭＭにおいて、通常２つの制約が定義される。
【０００３】
第１に、状態変数は一次マルコフ動力学を有する。これは、ｐ（ｈｎ｜ｈ１：ｎ−１）＝ｐ（ｈｎ｜ｈｎ−１）を意味する。ここで、ｐ（ｈｎ｜ｈｎ−１）は遷移確率として知られる。遷移確率は通例、時不変になるように制約される。
【０００４】
第２に、各サンプルｘｎは、対応する状態ｈｎを所与とすると、全ての他の隠れた状態ｈｎ’，ｎ’≠ｎから独立し、ｐ（ｘｎ｜ｈ１：Ｎ）＝ｐ（ｘｎ｜ｈｎ）となる。ここで、ｐ（ｘｎ｜ｈｎ）は観測確率として知られる。多くの音声用途において、状態ｈｎは離散であり、観測値ｘｎはＦ次元ベクトル値連続音響特徴であり、
【数２】
2015521748.tif 000004
であり、ここで、括弧はｎが反復されないことを示す。通常の周波数特徴は短時間対数パワースペクトルであり、ここで、ｆは周波数ビンを表す。
【０００５】
初期確率
【数３】
2015521748.tif 000005
を定義すると、ＨＭＭの確率変数の同時分布は以下となる。
【数４】
2015521748.tif 000006
【０００６】
線形動的システム
関連モデルは、カルマンフィルターにおいて用いられる線形動的システムである。線形動的システムは、連続したベクトル値の同時ガウス分布である状態及び観測値によって特徴付けられる。
【数５】
2015521748.tif 000007
【数６】
2015521748.tif 000008
ここで、ｈｎ∈ＲＫ（又はｈｎ∈ＣＫ）は時点ｎにおける状態であり、Ｋは状態空間の次元であり、Ａは状態遷移行列であり、εｎは加法的ガウス遷移雑音であり、ｖｎ∈ＲＦ（又はｖｎ∈ＣＦ）は時点ｎにおける観測値であり、Ｆは観測（又は特徴）空間の次元であり、Ｂは観測行列であり、ｖｎは加法的ガウス雑音であり、Ｒは実数である。
【０００７】
非負行列因子分解
オーディオ信号処理との関連において、信号は通常、スライディングウィンドウと、オーディオ信号の、多くの場合に大きさ又はパワースペクトルである特徴ベクトル表現とを用いて処理される。特徴は非負である。信号における繰り返しパターンを無監督方式で発見するために、非負行列因子分解（ＮＭＦ：Ｎｏｎｎｅｇａｔｉｖｅ  Ｍａｔｒｉｘ  Ｆａｃｔｏｒｉｚａｔｉｏｎ）が拡張的に用いられる。
【０００８】
次元Ｆ×Ｎの非負の行列Ｖの場合、階数が低減された近似は、
【数７】
2015521748.tif 000009
であり、Ｗ及びＨはそれぞれ、次元Ｆ×Ｋ及びＫ×Ｎの非負の行列である。近似は通常、最小化
【数８】
2015521748.tif 000010
から得られ、ここで、ｄ（ｘ｜ｙ）はｘ＝ｙにおいて一意の最小値を有する正の関数のスカラーコスト関数である。
【０００９】
板倉−斉藤非負行列因子分解（ＩＳ−ＮＭＦ：Ｉｔａｋｕｒａ−Ｓａｉｔｏ  ＮＭＦ）
オーディオ信号の場合、行列Ｖは複素数値短時間フーリエ変換（ＳＴＦＴ：ｓｈｏｒｔ−ｔｉｍｅ  Ｆｏｕｒｉｅｒ  ｔｒａｎｓｆｏｒｍ）行列Ｘのパワースペクトログラムであり、従来の方法は、コスト関数として、実際のスペクトルと近似スペクトルとの間の差異を測る板倉−斉藤距離を用いてきた。なぜなら、コスト関数は、オーディオ信号に関連する重ね合わせされたゼロ平均ガウス成分の潜在モデルを暗に意味するためである。より正確には、ｘｆｎがフレームｎ及び周波数ｆにおける複素数値ＳＴＦＴ係数であるものとし、
【数９】
2015521748.tif 000011
であるものとする。ここで、
【数１０】
2015521748.tif 000012
である。
【００１０】
このとき、
【数１１】
2015521748.tif 000013
であり、ここで、
【数１２】
2015521748.tif 000014
である。
【００１１】
モデルは、以下のように表すこともできる。
【数１３】
2015521748.tif 000015
【００１２】
これは、
【数１４】
2015521748.tif 000016
が、パラメーターΣｋｗｆｋｈｋｎ及び一様位相を有する指数分布に従うと仮定することに等しい。
【数１５】
2015521748.tif 000017
【数１６】
2015521748.tif 000018
【００１３】
平滑なＩＳ−ＮＭＦ
ＩＳ−ＭＭＦの平滑な変形形態において、Ｈの独立した行について逆ガンマ又はガンマランダムウォークが仮定される。より正確には、以下のモデルが検討されている。
【数１７】
2015521748.tif 000019
ここで、εｋｎは、
【数１８】
2015521748.tif 000020
又は
【数１９】
2015521748.tif 000021
等の、最頻値１を有する非負の乗法的なイノベーション確率変数であり、ここで、慣例により、ガンマ及び逆ガンマは
【数２０】
2015521748.tif 000022
及び
【数２１】
2015521748.tif 000023
である。
【００１４】
ＨＭＭ及びＮＭＦを結合するモデル
ＨＭＭ及びＮＭＦが組み合わされる場合、一度に１つの離散状態しかアクティブになることができないという制限がＨＭＭから受け継がれる。これは、複数のソースに複数のモデルが必要とされることを意味し、これは計算の扱いやすさに対する潜在的な問題へとつながる。
【００１５】
特許文献１は、雑音が低減された特徴ベクトルの推定値と音響環境のモデルとを用いて音声信号の雑音を除去することについて記載している。このモデルは、入力特徴ベクトルと、クリーン特徴ベクトルと、雑音特徴ベクトルと、クリーン特徴ベクトル及び雑音特徴ベクトルの混合を示す位相関係との間の関係を記述する非線形関数に基づく。
【００１６】
特許文献２は、雑音除去モデルによって制約されるＮＭＦを用いて、混合信号、例えば音声及び雑音の、雑音を除去することについて記載している。雑音除去モデルは、トレーニング音響信号及びトレーニング雑音信号のトレーニング基底行列と、トレーニング基底行列の重みの統計とを含む。音響信号の基底行列の重みと、トレーニング音響信号及びトレーニング雑音信号のトレーニング基底行列との積は、音響信号を再構成するのに用いられる。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】米国特許第７，０４７，０４７号
【特許文献２】米国特許第８，０１５，００３号
【発明の概要】
【発明が解決しようとする課題】
【００１８】
一般的に、低速に変化する雑音に焦点を当てる従来技術による方法は、雑音環境において移動電話を用いることによって経験される雑音等の、高速に変化する非定常雑音には不適切である。
【００１９】
ＨＭＭは音声動力学を処理することができるにもかかわらず、ＨＭＭは離散状態空間に起因して多くの場合に組み合わせ問題につながる。これは特に幾つかのソースから混合した信号の場合に計算的に複雑である。従来のＨＭＭ手法では、利得適応を処理することも簡単でない。
【００２０】
ＮＭＦは、計算上の問題及び利得適応問題の双方を解決する。一方、ＮＭＦは動的信号を処理しない。平滑なＩＳ−ＮＭＦは動力学を処理することを試みる。一方、Ｈの行の独立仮定は、フレームｎにおけるスペクトルパターンのアクティベーションが前のフレームｎ−１における他のパターンのアクティベーションと相関する可能性が高いので、現実的でない。
【００２１】
本発明の目的は、ＨＭＭ及びＮＭＦの枠組みを用いた信号及びデータの処理に関連する内在的問題を解決することである。
【課題を解決するための手段】
【００２２】
本発明の目的は、入力信号が非定常信号、より詳細には混合した信号であるときに、入力信号を出力信号に変換することである。したがって、本発明の実施形態は、入力信号、特に、雑音と混合した音声信号を処理するための非負の線形動的システムモデルを提供する。音声の分離及び音声の雑音除去との関連で、本発明によるモデルはオンラインで信号動力学に適応し、従来の方法よりも良好な性能を達成する。
【００２３】
信号動力学のための従来のモデルは、多くの場合に隠れマルコフモデル（ＨＭＭ）又は非負行列因子分解（ＮＭＦ）を用いる。
【００２４】
ＨＭＭは、離散状態空間に起因する組み合わせ問題へとつながり、特に幾つかのソースからの混合信号の場合に計算的に複雑である。従来のＨＭＭ手法では、利得適応を扱うことも簡単でない。
【００２５】
ＮＭＦは、計算的複雑性の問題及び利得適応問題の双方を解決する。一方、ＮＭＦは、信号の過去の観測値を利用せずにその信号の未来の観測値をモデル化する。予測可能な動力学を有する信号の場合、これは準最適である可能性が高い。
【００２６】
本発明によるモデルは、ＨＭＭ及びＮＭＦの双方の利点を有する。モデルは連続した非負の状態空間によって特徴付けられる。利得適応は推論中に自動的に処理される。推論の複雑度は信号源数において線形であり、動力学は線形遷移行列によりモデル化される。
【００２７】
特に、特徴ベクトルのシーケンスの形態の入力信号は、まずこの入力信号のモデルのパラメーターをメモリに記憶することによって、出力信号に変換される。
【００２８】
ベクトル及びパラメーターを用いて、隠れた変数のベクトルのシーケンスが推論される。特徴ベクトルｘｎごとに隠れた変数ｈｉ，ｎの少なくとも１つのベクトルｈｎが存在し、各隠れた変数は非負である。
【００２９】
出力信号は、特徴ベクトルと、隠れた変数のベクトルと、パラメーターとを用いて生成される。各特徴ベクトルｘｎは、同じｎについて、隠れた変数ｈｉ，ｎのうちの少なくとも１つに依存する。隠れた変数は
【数２２】
2015521748.tif 000024
に従って関係付けられ、ここでｊ及びｌは総和インデックスである。パラメーターは非負の重みｃｉ，ｊ，ｌを有し、εｌ，ｎは独立した非負の確率変数である。
【図面の簡単な説明】
【００３０】
【図１】入力信号を出力信号に変換するための流れ図である。
【図２】本発明の実施形態による、動的モデルのパラメーターを求める方法の流れ図である。
【図３】本発明の実施形態による、動的モデルを用いて音声信号を向上させる方法の流れ図である。
【発明を実施するための形態】
【００３１】
序論
本発明の実施形態は、ＨＭＭ及びＮＭＦに基づくモデルの利点を有する、動的（非定常）信号及びデータを変換し処理するためのモデルを提供する。
【００３２】
モデルは、連続した非負の状態空間によって特徴付けられる。利得適応は、推論中にオンラインで自動的にハンドリングされる。信号の動力学は、線形遷移行列Ａを用いてモデル化される。モデルは、乗法的な非負のイノベーション確率変数εｎを有する非負の線形動的システムである。信号は、オーディオ信号若しくは音声信号、又は多次元信号等の非定常線形信号とすることができる。信号は、データとしてデジタル領域において表現することができる。イノベーション確率変数については以下でより詳細に説明する。
【００３３】
実施形態は、モデルを用いる用途も提供する。特に、モデルを用いて、幾つかのソースから取得されたオーディオ信号を処理することができ、例えば、信号は音声及び雑音（又は他の音響干渉）の混合であり、モデルを用いて、例えば雑音を低減することによって信号を向上させることができる。「混合」とは、音声及び雑音が単一のセンサー（マイクロフォン）によって取得されることを意味する。
【００３４】
一方、モデルは、経済データ若しくは金融データ、ネットワークデータ及びネットワーク信号、若しくは信号、医用信号、又は自然現象から取得される他の信号等の、経時的に変動する特性を有する他の非定常信号及びデータに用いることもできることが理解される。パラメーターは非負の重みｃｉ，ｊ，ｌを有し、εｌ，ｎは独立した非負の確率変数であり、その分布もパラメーターを有する。インデックスｉ，ｊ，ｌ及びｎについては以下で説明する。
【００３５】
一般的な方法
図１に示すように、入力信号１０２のモデルのパラメーター１０１はメモリ１０３に記憶される。
【００３６】
入力信号は、信号の顕著な特性の特徴ベクトルｘｎ１０４として受け取られる。特徴は当然ながら用途及び信号に固有である。例えば、信号がオーディオ信号である場合、特徴は対数パワースペクトルとすることができる。用いることができる異なるタイプの特徴は、本発明による方法によって処理することができる異なる信号及びデータの多くのタイプについて本質的に無制限であることが理解される。
【００３７】
方法は、隠れた変数１１１のベクトルのシーケンスを推論する（１１０）。推論は、特徴ベクトル１０４と、パラメーターと、隠れた変数の関係１３０と、隠れた変数に対する観測値の関係１４０とに基づいている。特徴ベクトルｘｎごとに隠れた変数ｈｉ，ｎの少なくとも１つのベクトルｈｎが存在する。各隠れた変数は非負である。
【００３８】
入力信号に対応する出力信号１２２が生成され（１２０）、特徴ベクトルと、隠れた変数のベクトルと、パラメーターとが形成される。
【００３９】
一般的な方法の詳細
本発明の方法では、各特徴ベクトルｘｎは、同じｎについて、隠れた変数ｈｉ，ｎのうちの少なくとも１つに依存する。隠れた変数は、隠れた変数の関係
【数２３】
2015521748.tif 000025
１３０に従って関係付けられる。ここで、ｊ及びｌは総和インデックスである。記憶されたパラメーターは、非負の重みｃｉ，ｊ，ｌを含み、εｌ，ｎは独立した非負の確率変数である。この定式化によって、モデルが構造的な方法で経時的に統計依存性を表すことが可能になる。それによって、現在のフレームｎの隠れた変数は、前のフレームｎ−１の隠れた変数に依存し、ｃｉ，ｊ，ｌと、重みεｌ，ｎの分布のパラメーターとの組み合わせによって決まる分布を有する。例えば、重みεｌ，ｎは、形状パラメーターα及び逆スケールパラメーターβを有するガンマ確率変数とすることができる。
【００４０】
１つの実施形態では、ｃｉ，ｊ，ｌ＝δ（ｉ，ｌ）ａｉ，ｊであり、ここで、ａｉ，ｊは非負のスカラーであり、以下の式が成り立つ。
【数２４】
2015521748.tif 000026
ここで、δはクロネッカーのデルタである。この事例において、重みεｌ，ｎが形状パラメーターα及び逆スケールパラメーターβを有するガンマ確率変数である場合、
【数２５】
2015521748.tif 000027
を所与としたｈｉ，ｎの条件付き分布は、
【数２６】
2015521748.tif 000028
である。ここで、Ｋは隠れた状態ベクトルの要素数であり、
【数２７】
2015521748.tif 000029
は、形状ａ、逆スケールｂを有する確率変数ｘのガンマ分布であり、
【数２８】
2015521748.tif 000030
はガンマ関数である。この実施形態は、従来の線形動的システムの基本構造の単純性に適合するように設計されるが、モデルの非負の構造及び乗法的なイノベーション確率変数が従来技術と異なる。
【００４１】
別の実施形態では、ｃｉ，ｊ，ｌ＝δ（ｍ（ｉ，ｊ），ｌ）ａｉ，ｊであり、ここで、ａｉ，ｊは非負のスカラーであり、δはクロネッカーのデルタであり、
【数２９】
2015521748.tif 000031
であり、ｍ（ｉ，ｊ）は、ｉ及びｊの各組み合わせから、ｌに対応するインデックスへの１対１のマッピングであり（例えば、ｍ（ｉ，ｊ）＝（ｉ−１）Ｋ＋ｊ、ここで、Ｋは隠れた変数ｈｎにおける要素数である）、以下の式が成り立つ。
【数３０】
2015521748.tif 000032
この実施形態は、各遷移を独立して推論することができるため、信号のモデル化における柔軟性を可能にする。
【００４２】
複数のソースをモデル化するのに重要な別の実施形態は、隠れた変数ｈｉ，ｎをＳ個のグループに分割することを含む。ここで、各グループは混合における１つの独立したソースに対応する。同様に、非負の確率変数εｌ，ｎは同じＳ個のグループに従って分割される。これは、パラメーターｃｉ，ｊ，ｌの特殊な事例によって達成することができる。この特殊な事例では、ｈｉ，ｎ及びｈｊ，ｎが同じグループにないとき、又はｈｉ，ｎ及びεｌ，ｎが同じグループに関連付けられていないとき、ｃｉ，ｊ，ｌ＝０である。隠れた変数がそれに応じて順序付けされるとき、これはｃｉ，ｊ，ｌにブロック構造を与え、ここで各ブロックは信号源のうちの１つのためのモデルに対応する。
【００４３】
本発明の実施形態では、隠れた変数は、特徴ｆ及びフレームｎによってインデックス付けされる信号の非負の特徴ｖｆ，ｎにより特徴変数に関係付けられる（１４０）。観測モデルは、
【数３１】
2015521748.tif 000033
に基づき、ここで、
【数３２】
2015521748.tif 000034
は、非負のスカラーであり、
【数３３】
2015521748.tif 000035
は独立した非負の確率変数であり、ｊ及びｌは異なる成分のインデックスである。
【００４４】
より制約された実施形態では、
【数３４】
2015521748.tif 000036
であり、ここで、ｗｆ，ｉは非負のスカラーであり、δはクロネッカーのデルタであり、
【数３５】
2015521748.tif 000037
はガンマ分布に従う確率変数であり、その結果、観測モデルが少なくとも部分的に、
【数３６】
2015521748.tif 000038
に基づくようになっている。ここで、ｖｆ，ｎはフレームｎ及び周波数ｆにおける信号の非負の特徴であり、α（ｖ）及びβ（ｖ）は正のスカラーであり、ｗｆ，ｉは非負のスカラーである。
【００４５】
特徴ｘｆ，ｎが入力信号、フレームｎ及び周波数ｆの複素スペクトログラム値である用途では、観測モデルはｖｆ，ｎ＝｜ｘｆ，ｎ｜２を用いることができ、これはフレームｎ及び周波数ｆにおける累乗である。このため、観測モデルは以下に基づいて形成することができる。
【数３７】
2015521748.tif 000039
ここで、
【数３８】
2015521748.tif 000040
は虚数単位であり、θｆ，ｎ＝∠ｘｆ，ｎはフレームｎ及び周波数ｆの位相である。
【００４６】
別の実施形態では、パラメーターα（ｖ）＝１を選択し、それによってガンマ分布が特殊な事例として指数分布に縮約する。この事例において、位相θｆ，ｎが一様分布に従う場合、以下の観測モデルを得る。
【数３９】
2015521748.tif 000041
ここで、ＮＣは複素ガウス分布である。この観測モデルは、上記で説明した板倉−斉藤非負行列因子分解に対応し、本発明の実施形態において、非負の動的システムモデルと組み合わされる。
【００４７】
別の実施形態は、同じタイプの変換のカスケードに基づいた、ｖｆ，ｎのための観測モデルを用いる。
【数４０】
2015521748.tif 000042
及び
【数４１】
2015521748.tif 000043
ここで、
【数４２】
2015521748.tif 000044
及び
【数４３】
2015521748.tif 000045
は、非負のスカラーであり、
【数４４】
2015521748.tif 000046
及び
【数４５】
2015521748.tif 000047
は独立した非負の確率変数であり、ｉ、ｉ’、ｌ’、ｌ’’はインデックスである。
【００４８】
隠れた変数を推論する方法は、実施形態ごとのモデルのパラメーター化に依拠する。
【００４９】
モデルパラメーター
図２に示すように、入力信号１０２から、モデルパラメーター１０１を以下のように取得する。入力信号はトレーニング信号とみなすことができるが、本方法は、信号に適応し、パラメーターをオンラインで「学習する」ことができることが理解されるべきである。入力信号はデジタル信号又はデジタルデータの形態をとることもできる。
【００５０】
例えば、トレーニング信号は音声信号であるか、又は複数の音響源からの混合信号であり、おそらく非定常雑音又は他の音響干渉を含む。信号は信号サンプルのフレームとして処理される。各フレームにおけるサンプリングレート又はサンプル数は用途固有である。現在のフレームｎの処理に関して以下で説明される更新２３０は、先行するフレームｎ−１に依存することが留意される。フレームごとに、特徴ベクトルｘｎの表現を求める（２１０）。オーディオ入力信号について、対数パワースペクトル等の周波数特徴を用いることができる。
【００５１】
モデルのパラメーターが初期化される（２２０）。パラメーターは、基底関数Ｗと、遷移行列Ａと、アクティベーション行列Ｈと、連続ガンマ分布パラメーターの固定形状パラメーターα及び逆スケールパラメーターβと、特定の用途に応じたこれらのパラメーターの様々な組み合わせとを含むことができる。例えば、幾つかの用途では、Ｈ及びβを更新することは任意選択である。変分法的ベイズ（ＶＢ：ｖａｒｉａｔｉｏｎａｌ  Ｂａｙｅｓ）法では、Ｈは用いられない。代わりに、Ｈの事後分布の推定値が用いられ、更新される。最大事後確率（ＭＡＰ：ｍａｘｉｍｕｍ  ａ−ｐｏｓｔｅｒｉｏｒｉ）推定の場合、βの更新は任意選択である。
【００５２】
方法の各反復の間、アクティベーション行列、基底関数、遷移行列及びガンマパラメーターが更新される（２３１〜２３４）。ここでもまた、更新されるパラメーターの集合も用途固有であることに留意するべきである。
【００５３】
更新２３０後に、終了条件２６０、例えば反復の収束又は最大数が試験される。真である場合、パラメーターをメモリ内に記憶し、そうではなく偽である場合、ステップ２３０を繰り返す。
【００５４】
一般的な方法の上記のステップ及びパラメーター決定は、既知のメモリ及び入力／出力インターフェースに接続されたプロセッサにおいて実行することができる。専用マイクロプロセッサ等も用いることができる。本方法によって処理される信号、例えば音声又は金融データは、極度に複雑である可能性があることが理解される。本方法は、入力信号を、メモリ内に記憶することができる特徴に変換する。本方法は、メモリにモデルパラメーター及び推論された隠れた変数も記憶する。
【００５５】
モデルパラメーターの詳細
説明を簡単にするために、
【数４６】
2015521748.tif 000048
である実施形態に表記を限定する。ここで、ｗｆ，ｉは非負のスカラーであり、δはクロネッカーのデルタであり、
【数４７】
2015521748.tif 000049
はパラメーターα（ｖ）＝１を有するガンマ分布に従う確率変数であり、位相θｆ，ｎは一様分布に従う。この事例において、本発明によるモデルは、
【数４８】
2015521748.tif 000050
【数４９】
2015521748.tif 000051
であり、ここで、ｘｆｎはフレームｎ及び周波数ｆにおける複素数値ＳＴＦＴであり、ＮＣは複素ガウス分布であり、ｗｆｋは周波数ｆにおける電力スペクトルのためのｋ番目の基底関数の値であり、ｈｎ及びｈｎ−１はそれぞれ、アクティベーション行列Ｈのｎ番目の列及び（ｎ−１）番目の列であり、Ａは連続フレームｎ−１及びｎにおける異なるパターン間の相関をモデル化する非負のＫ×Ｋの遷移行列であり、εｎは非負のイノベーション確率変数、例えば次元Ｋのベクトルであり、
【数５０】
2015521748.tif 000052
はエントリごとの乗算を表す。平滑なＩＳ−ＮＭＦは、Ａ＝ＩＫを設定することによって、本発明によるモデルの特定の事例として得ることができる。ここで、ＩＫはＫ×Ｋの恒等行列である。
【００５６】
利点
本発明によるモデルの独特の有利な特性は、所与の時点において２つ以上の状態次元を非ゼロにすることができることである。これは、単一のセンサーによって複数のソースから同時に取得される信号を、単一のモデルを用いて解析することができることを意味する。これは複数のモデルを必要とする従来技術によるＨＭＭとは異なる。
【００５７】
イノベーションのガンマモデル
イノベーションεｋｎのために独立ガンマ分布を用いる。すなわち、
【数５１】
2015521748.tif 000053
である。
【００５８】
したがって、ｈｎは条件付きガンマ分布に従い、
【数５２】
2015521748.tif 000054
となり、特に、
【数５３】
2015521748.tif 000055
となる。
【００５９】
ｈ１の場合、独立したスケール不変の無情報ジェフリーズ事前分布、すなわち、
【数５４】
2015521748.tif 000056
を用いる。ベイズ確率において、ジェフリーズ事前分布は、フィッシャー情報量の行列式の二乗根に比例するパラメーター空間における無情報（客観的）事前分布である。
【００６０】
ガンマイノベーションモデルにおけるＭＡＰ推論
最大事後確率（ＭＡＰ）目的関数は以下となる。
【数５５】
2015521748.tif 000057
【００６１】
スケール
Ａとβとの間のスケール曖昧性
対角線上に係数λｉを有するＫ×Ｋの非負の対角行列はΛであり、このため、Ａとβとの間にスケール曖昧性を有する
【数５６】
2015521748.tif 000058
となる。Ａ及びβの双方が推定されるとき、スケール曖昧性は複数の方法で、例えばβを任意の値に固定することによって、又はＡの行を全ての反復２３０において正規化し、それに従ってβを再スケーリングすることによって、補正することができる。例えば、行の和が１となるように、又は全ての行における最大係数が１となるように遷移行列Ａの行を正規化することができる。幾つかの実施形態では、βｉ＝αｉであり、すなわち、イノベーション確率変数のモデル期待値は１である。
【００６２】
ＭＡＰの不良設定
Ｗ及びＨのスケールは、
【数５７】
2015521748.tif 000059
によって関係付けられる。ここで、λｉはΛの対角のｉ番目の要素である。
【００６３】
更なる制約がない場合、ＭＡＰ目的関数の最小化は、||Ｗ||→∞及び||Ｈ||→０となるような退化解につながる。Λの全ての対角要素が等しく、Λ＝λＩＫとなると仮定する場合、
【数５８】
2015521748.tif 000060
となる。
【００６４】
ＭＡＰ目的関数は、λの値を減少させることによって任意に小さくすることができる。このため、Ｗのノルムは最適化中に制御される。これは、ハード制約又はソフト制約によって達成することができる。ハード制約は、満たされなくてはならない正規の制約であり、ソフト制約は選好を表すコスト関数である。
【００６５】
ハード制約
Λ＝ｄｉａｇ［λ１，．．．，λＫ］及びλｋ＝ＰｗｋＰ１による変数の変更
【数５９】
2015521748.tif 000061
、    
【数６０】
2015521748.tif 000062
を用いて
【数６１】
2015521748.tif 000063
を解くと、ノルム制約は以下を解くことによって緩和することができる。
【数６２】
2015521748.tif 000064
【００６６】
ソフト制約（ペナルティ化）
Ｗのノルムを制御することができる別の方法は、目的関数、例えば
【数６３】
2015521748.tif 000065
に適切なペナルティを付加することである。
【００６７】
ソフト制約は、通常、ハード制約よりも実施が単純であるが、λの調整を必要とする。
【００６８】
ＭＡＰ推定のための学習及び推論手順
最大化−最小化（ＭＭ：ｍａｊｏｒｉｚａｔｉｏｎ−ｍｉｎｉｍｉｚａｔｉｏｎ）手順について説明する。ＭＭは、最大値を求めるために凸目的関数に適用することができる反復最適化手順である。すなわち、ＭＭは、目的関数を構築する方法である。ＭＭは、関数を局所最適に導くことによって目的関数を最大化する代理関数を求める。本発明の実施形態では、行列Ｈ、Ａ及びＷは、互いに条件付きで更新される。以下において、チルダ（〜）は現在のパラメーター反復を表す。
【００６９】
不等式
Σｋφｋ＝１であるような｛φｋ｝について、イェンゼンの不等式によって以下を得る。
【数６４】
2015521748.tif 000066
任意の点φにおける線形化によって、ｌｏｇ  ａに対し上界を形成することができる。
【数６５】
2015521748.tif 000067
【００７０】
特に、
【数６６】
2015521748.tif 000068
及び
【数６７】
2015521748.tif 000069
である。
【００７１】
データへの当てはめ
【数６８】
2015521748.tif 000070
【００７２】
ペナルティ項
ｇｉｎ＝Σｊａｉｊｈｊ（ｎ−１）とする。このとき以下となる。
【数６９】
2015521748.tif 000071
（
【数７０】
2015521748.tif 000072
は
【数７１】
2015521748.tif 000073
又は
【数７２】
2015521748.tif 000074
である）。
【００７３】
更新規則
ＭＭフレームワークは、先行する不等式を用いて目的関数の項を最大化し、現在のパラメーターにおいてタイトな目的関数の上界を提供し、元の目的関数の代わりに上界を最小化することを含む。Ｗのノルムに対するソフト制約を有するＭＡＰ目的関数の最小化に適用されるこの戦略は、図２に示すような以下の更新２３０をもたらす。
【００７４】
アクティブ行列Ｈの更新２３１
Ｈの列は、順次更新される（２３１）。左から右への更新は、
【数７３】
2015521748.tif 000075
及び
【数７４】
2015521748.tif 000076
に依拠して、反復ｌにおけるｈｎの更新
【数７５】
2015521748.tif 000077
を行う。ｈｋｎの更新は、次数２の多項式の二乗根をとること（ｒｏｏｔｉｎｇ）を含み、
【数７６】
2015521748.tif 000078
となる。ここで、ａ、ｂ、ｃの値は次の表において与えられる。
【表１】
2015521748.tif 000079
【００７５】
特に、期待値１（αｉ＝βｉ＝１）を有する指数分布的イノベーションの場合、以下の乗法的更新を得る。
ｎ＝１の場合、
【数７７】
2015521748.tif 000080
１＜ｎ＜Ｎの場合、
【数７８】
2015521748.tif 000081
ｎ＝Ｎの場合、
【数７９】
2015521748.tif 000082
【００７６】
基底関数Ｗの更新２３２
【数８０】
2015521748.tif 000083
【００７７】
遷移行列Ａの更新２３３
【数８１】
2015521748.tif 000084
【００７８】
最大尤度推定のための変分ＥＭ手順
アクティベーションパラメーターＨは、同時尤度から統合する潜在変数である。一般性のために、ガンマ分布パラメーターβ＝｛βｉ｝が自由であると仮定する。形状パラメーターαｉは固定パラメーターとして扱われる。以下を最小化する。
【数８２】
2015521748.tif 000085
【００７９】
これによって、パラメーターの集合がサンプル数Ｎに関して固定した次元となるので、より良設定の推定問題が得られる。さらに、ここで目的関数は、スケールの観点からより良設定である。任意の正の対角行列Λについて以下の式が得られ、
【数８３】
2015521748.tif 000086
それによって、解Ｗ＊の再正規化によりＡ＊の再正規化のみが生じる。これはＭＡＰ手法には当てはまらない。
【００８０】
Ｃ（Ｗ，Ａ，β）を最小化するために、ＥＭ手順は完全なデータセット（Ｖ，Ｈ）と、
【数８４】
2015521748.tif 000087
の反復最小化とに基づくことができる。ここで、θ＝｛Ｗ，Ａ，β｝である。事後確率ｐ（Ｈ｜Ｖ，θ）は用いない。代わりに、変分ＥＭ手順を用いる。任意の確率密度関数ｑ（Ｈ）について以下の不等式が成り立つ。
【数８５】
2015521748.tif 000088
ここで、＜・＞ｑはｑ（Ｈ）の下での予測値を表す。変分ＥＭは、Ｃ（θ）の代わりにＢｑ（θ）を最小化する。各反復において、限界は、特定のパラメーター化された形式を所与として、ｑにわたって、より正確にはｑの形状パラメーターにわたってＢｑ（θ）を最小化することによって、Ｗ及びＡを所与として最初に評価され、タイトにされ、その後、ｑを所与として（θ）に関して最小化される。変分ＥＭは、ｑ（Ｈ）＝ｐ（Ｈ｜θ）のときにＥＭと一致し、この場合、Ｃ（θ）は全ての反復において減少する。他の場合、変分ＥＭが近似推論を行う。有効性は、ｑ（Ｈ）が真の事後確率ｐ（Ｈ｜θ）をどれだけ良好に近似しているかに依拠する。
【００８１】
限界の導出
ｌｏｇ  ｐ（Ｖ｜ＷＨ）及びｌｏｇ  ｐ（Ｈ｜Ａ）の表現は、Ｈの係数が線形結合Σｋｗｆｋｈｋｎ及びΣｊａｉｊｈｊ（ｎ−１）の比又は対数を通じて結合されることを示している。これによって、ｌｏｇ  ｐ（Ｖ｜ＷＨ）及びｌｏｇ  ｐ（Ｈ｜Ａ）の期待値はｑ（Ｈ）の特定の形態と独立して求めることが非常に困難になる。
【００８２】
したがって、本発明では、ｌｏｇ  ｐ（Ｖ｜ＷＨ）及びｌｏｇ  ｐ（Ｈ｜Ａ）を最大化して、扱いやすい限界を得る。上記の不等式を用いて、及び、
【数８６】
2015521748.tif 000089
がＣ（Ｗ，Ａ，β）の上界であるような変分分布の因子分解された形態を仮定すると、関数
【数８７】
2015521748.tif 000090
となる。ここで、
φｆｋｎは、Σｋφｆｋｎ＝１であるような非負の係数であり、
ｖｉｊｎはΣｉｖｉｊｎ＝１であるような非負の係数であり、
ρｉｎ、ψｆｎは非負の係数であり、
ξは全ての調整パラメーターの集合｛φｆｋｎ，ｖｉｊｎ，ρｉｎ，ψｆｎ｝ｆｋｎｉｊを表し、
＜・＞はｑに関する期待値を表し、すなわち＜・＞ｑに対応する。表記を簡単にするために下付き文字ｑを除去している。
【００８３】
限界の表現は、ｈｋｎ、１／ｈｋｎ及びｌｏｇ  ｈｋｎの期待値を含む。これらの期待値は、厳密に一般化逆ガウス（ＧｉＧ）の十分統計量であり、ｑ（Ｈ）にとって実際上の利便性がある。本発明では以下を用いる。
【数８８】
2015521748.tif 000091
ここで、
【数８９】
2015521748.tif 000092
であり、ここで、Ｋαは第２の種類の変更されたベッセル関数であり、ｘ、β及びγは非負のスカラーである。ＧＩＧ分布の下で以下の式が成り立つ。
【数９０】
2015521748.tif 000093
【数９１】
2015521748.tif 000094
【００８４】
任意のαについて、Ｋα＋１（ｘ）＝２（α／ｘ）Ｋα（ｘ）＋Ｋα−１（ｘ）であり、これによって、
【数９２】
2015521748.tif 000095
の代替的な実施効率のよい表現がもたらされる。
【００８５】
限界の最適化
本発明では、限界の様々なパラメーターの条件付き更新を与える。更新順序を以下に説明する。
【００８６】
更新
調整パラメーターｖ
【数９３】
2015521748.tif 000096
【数９４】
2015521748.tif 000097
【数９５】
2015521748.tif 000098
及び
【数９６】
2015521748.tif 000099
変分分布ｑ
【表２】
2015521748.tif 000100
【００８７】
対象パラメーター
【数９７】
2015521748.tif 000101
【数９８】
2015521748.tif 000102
【数９９】
2015521748.tif 000103
【００８８】
更新順序
フレームｎのための調整パラメーターの集合をξｎによって表す。すなわち、
【数１００】
2015521748.tif 000104
である。
【００８９】
図２に示すように、以下の更新２３０の順序によって効率的な実施がもたらされる。
【００９０】
反復（ｌ）において、ｎ＝１，．．．，Ｎについて以下を行う。
【００９１】
［ｑ（ｈｎ−１）］（ｌ）、［ｑ（ｈｎ）］（ｌ−１）、［ｑ（ｈｎ＋１）］（ｌ−１）、
【数１０１】
2015521748.tif 000105
、Ｗ（ｌ−１）、Ａ（ｌ−１）、β（ｌ−１）の関数としてアクティベーションパラメーター［ｑ（ｈｎ）］（ｌ）を更新する（２３１）。
【００９２】
【数１０２】
2015521748.tif 000106
を更新する。
Ｗ（ｌ−１）、［ｑ（Ｈ）］（ｌ）、ξ（２ｌ−１）の関数として基底関数Ｗ（ｌ）を更新する（２３２）。
Ａ（ｌ−１）、β（ｌ−１）、［ｑ（Ｈ）］（ｌ）、ξ（２ｌ−１）の関数として遷移行列Ａ（ｌ）を更新する（２３３）。
調整パラメーターξ（２ｌ）を更新する。
遷移行列Ａ（ｌ）及びアクティベーションパラメーター［ｑ（Ｈ）］（ｌ）の関数としてガンマ分布パラメーターβ（ｌ）を更新する（２３４）。
【００９３】
この更新順序下で、ＶＢ−ＥＭ手順は以下となる。
ｑ（Ｈ）を更新する。
【表３】
2015521748.tif 000107
Ｗ、Ａ、βを更新する。
【数１０３】
2015521748.tif 000108
限界を求める。
【数１０４】
2015521748.tif 000109
【００９４】
動的モデルを用いた音声の雑音除去
１つの実施形態について図３に示されているように、本発明による方法及びモデルを、音声向上、例えば雑音除去のために用いる。上記で説明したように、幾つかの音声（オーディオ）トレーニングデータ３０５において基底Ｗ及び遷移行列Ａを推定することによって音声３０６のための本発明によるモデルパラメーターを構築する（１０１）。トレーニングされた基底及び遷移行列をＷ（ｓ）及びＡ（ｓ）として表す。ここで、（ｓ）は音声である。
【００９５】
同様に、基底Ｗ（ｎ）及び遷移行列Ａ（ｎ）を有する雑音モデル３０７を構築し、Ｗ（ｓ）及びＷ（ｎ）をＷ＝［Ｗ（ｓ），Ｗ（ｎ）］に連結するとともに、Ａ（ｓ）及びＡ（ｎ）をＡに連結することによって、２つのモデル３０６及び３０７を単一のモデル３００に結合する。ここで、Ａはブロック対角行列であり、Ａ（ｓ）及びＡ（ｎ）は対角上にある。
【００９６】
幾つかの雑音トレーニングデータにおいて雑音についてトレーニングすることもできるし、モデルの音声部分を確定して、試験データにおける雑音部分についてトレーニングすることもできる。これによって、雑音部分を、音声モデルによってモデル化することができない信号の部分をまとめる一般モデルにすることができる。この後のモデルの最も単純な変形形態は、雑音のために単一の基底を用い、遷移行列Ａとして恒等行列を用いる。
【００９７】
モデル３００が構築された後、モデルを用いて入力オーディオ信号ｘ３０１を向上させることができる。時間−周波数特徴表現を求める（３１０）。変動するモデル３００のパラメーター、すなわち、音声のためのアクティベーション行列Ｈ（ｓ）と、雑音（ｎ）のためのアクティベーション行列Ｈ（ｎ）と、雑音のための基底Ｗ（ｎ）及び遷移行列Ａ（ｎ）とを推定する（３２０）。
【００９８】
このように、音声Ｗ（ｓ）Ｈ（ｓ）及び雑音Ｗ（ｎ）Ｈ（ｎ）を結合する単一のモデルを得る。次にこれを用いて、以下の式を用いて向上した音声
【数１０５】
2015521748.tif 000110
３４０の複素ＳＴＦＴを再構成する（３３０）。
【数１０６】
2015521748.tif 000111
【００９９】
時間領域信号は、従来の重畳加算法を用いて再構成することができる。この重畳加算法は、有限インパルス応答フィルターを用いて非常に長い入力信号の離散畳み込みを評価する。
【０１００】
拡張
上記の実施形態に基づいて、他の複素モデルも生成することができる。
【０１０１】
ディリクレイノベーション
イノベーション確率変数εｎがガンマ分布に従うと考える代わりに、イノベーションは、アクティベーションパラメーターｈｎの正規化に類似したディリクレ分布に従うことができる。
【０１０２】
ＨＭＭ様挙動
ｈｎを、推論中に１スパースになるように制約することができる。
【０１０３】
構造化変分推論
従来の変分推論は、変分事後確率が互いに独立していると仮定する。これは、ｈｎとｈｎ−１との間の強い依存関係を所与とすると、非常に誤っている可能性が高い。本発明では、ｑ（ｈｎ｜ｈｎ−１）の観点から事後確率をモデル化することができる。そのようなｑ分布のための１つの可能性は、Ａｈｎ−１に依拠したパラメーターを有するＧＩＧ分布を用いる。
【０１０４】
イノベーションのガンマ分布
式（６）における複素ＳＴＦＴ係数における複素ガウスモデルは、累乗がパラメーターＷＨを有して指数分布に従うと仮定することに等しい。累乗がガンマ分布に従うと仮定することによってモデルを拡張し、これによって複素係数についてドーナツ型の分布をもたらすことができる。
【０１０５】
イノベーション確率変数の完全共分散
線形動的システムにおいて、イノベーション確率変数は完全な共分散を有することができる。正の確率変数の場合、相関を含める１つの方法は、非負の行列を用いて独立したランダムベクトルを変換することである。これによって以下のモデルがもたらされる。
【数１０７】
2015521748.tif 000112
ここで、ｆｎはサイズＪ×１の非負のランダムベクトルであり、Ｂは次元Ｋ×Ｊの非負の行列である。Ｂ＝ＩＫ×Ｋであるとき、これはｆｎ＝εｎに簡単化することができる。これは、パラメーターを因子分解された形式、ｃｉ，ｊ，ｌ＝ａｉ，ｊｂｉ，ｌに設定することによってモデル
【数１０８】
2015521748.tif 000113
のより一般的な形式において達成することができる。ここで、ａｉ，ｊはＡの要素であり、ｂｉ，ｌはＢの要素である。
【０１０６】
遷移イノベーション
別個のイノベーション確率変数を用いてｈｎ及びｈｎ−１の成分のそれぞれの間の遷移をモデル化することも有用とすることができる。これは、離散マルコフモデルにおいてディリクレ事前確率を用いることに類似している。１つの方法は、
【数１０９】
2015521748.tif 000114
を許可し、ここでＥｎは次元Ｋ×Ｋの非負のイノベーション行列である。これは、パラメーターｃｉ，ｊ，ｌ＝δ（ｍ（ｉ，ｊ），ｌ）ａｉ，ｊを設定することによってモデル
【数１１０】
2015521748.tif 000115
のより一般的な形式において達成することができる。ここで、ａｉ，ｊはＡの要素であり、ｍ（ｉ，ｊ）はｉ及びｊの各組み合わせから、ｌに対応するインデックスへの１対１のマッピングである。このとき、Ｅｎのｉ、ｊ番目の要素はεｍ（ｉ，ｊ），ｎである。
【０１０７】
ガンマ以外の他のイノベーションタイプの検討
対数正規ポアソン分布は、動的システムの更に異なるタイプをもたらす。
【０１０８】
他のダイバージェンスの検討
これまで、板倉−斉藤ダイバージェンスのみを検討してきた。ＫＬダイバージェンスを用いることもでき、ｈｎ｜ｈｎ−１及びｖ｜ｈに異なるダイバージェンスを用いることもできる。
【０１０９】
オンライン手順
リアルタイム用途の場合、現時点までの信号のみが用いられる。これは例えば、アクティベーション行列Ｈのみが推定される用途、又は全てのパラメーターが最適化される別の用途である。後者の用途では、予めトレーニングされた基底Ｗ及び遷移行列Ａを用いて「ウォーム」スタートを実行することができる。
【０１１０】
マルチチャネルの変形形態
本発明によるモデルは、複素ＳＴＦＴ係数を伴う生成モデルに依存するので、モデルはマルチチャネルの用途に拡張することができる。この設定における最適化は、混合システムとソースＮＭＦ手順との間のＥＭ更新を伴う。
【０１１１】
発明の効果
本発明の実施形態は、非定常信号、特に雑音と混合した音声信号を処理するための非負の線形動的システムモデルを提供する。音声の分離及び音声の雑音除去との関連で、本発明によるモデルはオンラインで信号動力学に適応し、従来の方法よりも良好な性能を達成する。
【０１１２】
信号動力学のための従来のモデルは、多くの場合に隠れマルコフモデル（ＨＭＭ）又は非負行列因子分解（ＮＭＦ）を用いる。ＨＭＭは、離散状態空間に起因する組み合わせ問題へとつながり、特に幾つかのソースからの混合信号の場合に計算的に複雑であり、利得適応を処理することが困難になる。ＮＭＦは、計算複雑度の問題及び利得適応問題の双方を解決する。一方、ＮＭＦは、信号の過去の観測値を利用せずにその信号の未来の観測値をモデル化する。予測可能な動力学を有する信号の場合、これは準最適である可能性が高い。
【０１１３】
本発明によるモデルは、ＨＭＭ及びＮＭＦの双方の利点を有する。モデルは連続した非負の状態空間によって特徴付けられる。利得適応は推論中に自動的に処理される。推論の複雑度は信号源数において線形であり、動力学は線形遷移行列によりモデル化される。
【図１】
2015521748.tif 000135
【図２】
2015521748.tif 000136
【図３】
2015521748.tif 000137
【国際調査報告】
2015521748.tif 000138