(57)【要約】  ニューラル・ネットワーク識別器は、単一のモノラルオーディオ信号にダウンミックスされた多数の任意の以前は未知であったオーディオソースを分離し、カテゴリ化する能力を提供する。このことは、モノラルオーディオ信号を（場合によっては重なっている）ベースラインフレームに分け、フレームをウィンドウ表示し、各々のフレームにおける多数の記述的特徴を抽出し、予め訓練された非線形ニューラル・ネットワークを識別器として採用することにより達成される。各々のニューラル・ネットワーク出力は、モノラルオーディオ信号の各々のベースラインフレームにおけるオーディオソースの所定の種類の存在を示す。ニューラル・ネットワーク識別器は、信号及びソースの幅広く変化するパラメータ、ソースの時間及び周波数ドメインの重なり、及び現実の信号の残響及び閉塞に対処するのに良好に適している。識別器の出力は、（例えばＩＣＡのような）ソース分離アルゴリズムに対する多数のオーディオチャネルを生成するようにフロントエンドとして用いてもよいし、又は、後処理アルゴリズムにおけるパラメータとして用いてもよい（例えば、音楽をカテゴリ化する、ソースをトラックする、ナビゲーション、リミキシング、セキュリティ及び監査、電話及び無線通信、及びテレビ会議の目的のために、オーディオ索引を生成するように）。【特許請求の範囲】
【請求項１】
オーディオソースをモノラルオーディオ信号から分離するための方法であって、
（ａ）複数の未知のオーディオソースのダウンミックスを含むモノラルオーディオ信号を準備し、
（ｂ）前記オーディオ信号をベースラインフレームのシーケンスに分離し、
（ｃ）各々のフレームをウィンドウ表示し、
（ｄ）前記オーディオソースを区別する傾向がある複数のオーディオ特徴を各々のベースラインから抽出し、
（ｅ）前記オーディオ特徴を有する代表的なオーディオソースの組において訓練されたニューラル・ネットワーク（ＮＮ）識別器に前記オーディオ特徴を適用する、
ステップを含み、前記ニューラル・ネットワーク識別器は、前記モノラルオーディオ信号の各々の前記ベースラインフレーム内に含まれるオーディオソースの少なくとも１つの尺度を出力する
ことを特徴とする方法。
【請求項２】
前記複数の未知のオーディオソースは、少なくとも、声、弦、及び打楽器を含む一組の音楽ソースから選択されることを特徴とする請求項１に記載の方法。
【請求項３】
多数の分解能における特徴を抽出するように異なるフレームの大きさに対してステップ（ｂ）からステップ（ｄ）を繰り返し、
異なる分解能において抽出されたオーディオ特徴を前記ベースラインフレームにスケーリングする、
ステップをさらに含むことを特徴とする方法。
【請求項４】
前記各々の分解能でのスケーリングされた特徴を前記ＮＮ識別器に適用するステップをさらに含むことを特徴とする請求項３に記載の方法。
【請求項５】
前記各々の分解能でのスケーリングされた特徴を、前記ＮＮ識別器に適用される単一の特徴に融合するステップをさらに含むことを特徴とする請求項３に記載の方法。
【請求項６】
前記フレームを複数の周波数サイドバンドにフィルタ処理し、前記オーディオ特徴を前記サイドバンドから抽出するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項７】
前記識別器出力を低域通過フィルタ処理するステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項８】
１つ又はそれ以上のオーディオ特徴は、音成分、音対雑音比（ＴＮＲ）及びケプストラムピークを含む組から選択されることを特徴とする請求項１に記載の方法。
【請求項９】
前記音成分は、
（ｆ）周波数変換を、各々のフレームに対する前記ウィンドウ表示された信号に適用し、
（ｇ）前記周波数変換におけるスペクトルラインのマグニチュードを算出し、
（ｈ）ノイズフロアを見積もり、
（ｉ）しきい値量だけ前記ノイズフロアを上回るスペクトル成分を音成分として識別し、
（ｊ）前記音成分の数を前記音成分の特徴として出力する、
ステップにより抽出されることを特徴とする請求項８に記載の方法。
【請求項１０】
前記周波数変換長さは、特定の時間・周波数分解能に対する前記フレームにおけるオーディオサンプルの数と等しいことを特徴とする請求項９に記載の方法。
【請求項１１】
異なるフレーム及び変換長さに対してステップ（ｆ）からステップ（ｉ）を繰り返し、
各々の時間・周波数分解能における音成分の累積数を出力する、
ステップを含むことを特徴とする請求項１０に記載の方法。
【請求項１２】
前記ＴＮＲ特徴は、
（ｋ）周波数変換を、各々のフレームに対する前記ウィンドウ表示された信号に適用し、
（ｌ）前記周波数変換におけるスペクトルラインのマグニチュードを算出し、
（ｍ）ノイズフロアを見積もり、
（ｎ）前記ノイズフロアに対する識別された音成分のエネルギーの比を求め、
（ｏ）前記比を前記ＴＮＲ特徴として出力する、
ステップにより抽出されることを特徴とする請求項８に記載の方法。
【請求項１３】
前記周波数変換長さは、特定の時間・周波数分解能に対する前記フレームにおけるオーディオサンプルの数と等しいことを特徴とする請求項１２に記載の方法。
【請求項１４】
異なるフレーム及び変換長さに対してステップ（ｋ）からステップ（ｎ）を繰り返し、
前記ベースラインフレームに等しい期間にわたり、前記異なる分解能からの比を平均化する、
ステップをさらに含むことを特徴とする方法。
【請求項１５】
前記ノイズフロアは、
（ｐ）スペクトルラインのマグニチュードにわたり低域通過フィルタを適用し、
（ｑ）前記フィルタ出力より十分に高い成分をマークし、
（ｒ）前記マークされた成分を前記低域通過フィルタ出力と置き換え、
（ｓ）ステップ（ａ）からステップ（ｃ）を何度も繰り返し、
（ｔ）結果として得られる成分を前記ノイズフロアの見積もりとして出力する、
ステップにより見積もられることを特徴とする請求項１２に記載の方法。
【請求項１６】
前記ニューラル・ネットワーク識別器は、各々が前記モノラルオーディオ信号における特定のオーディオソースの存在を示す複数の出力ニューロンを含むことを特徴とする請求項１に記載の方法。
【請求項１７】
各々の前記出力ニューロンの値は、前記ベースラインフレームが前記特定のオーディオソースを含む信頼性を示すことを特徴とする請求項１６に記載の方法。
【請求項１８】
前記モノラルオーディオ信号を、前記代表的な組におけるそれぞれのオーディオソースの複数のオーディオチャネルにリミックスするように前記尺度を用いるステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項１９】
前記モノラルオーディオ信号は、これを最も顕著であると識別されたオーディオチャネルに切り換えることによりリミックスされることを特徴とする請求項１８に記載の方法。
【請求項２０】
前記ニューラル・ネットワーク識別器は、前記フレームが対応するオーディオソースを含む信頼性を示す前記代表的な組における前記オーディオソースの各々に対する尺度を出力し、前記モノラルオーディオ信号は、前記尺度の各々により減衰され、前記それぞれのオーディオチャネルに向けられる、ことを特徴とする請求項１８に記載の方法。
【請求項２１】
前記複数のオーディオチャネルを等しい又はより少ない複数の前記オーディオソースに分離するために、少なくともオーディオソースと同じ数の入力オーディオチャネルを必要とするソース分離アルゴリズムを用いて、前記複数のオーディオチャネルを処理するステップをさらに含むことを特徴とする請求項１８に記載の方法。
【請求項２２】
前記ソース分離アルゴリズムはブラインドソース分離（ＢＳＳ）に基づくことを特徴とする請求項２１に記載の方法。
【請求項２３】
前記モノラルオーディオ信号及び前記尺度のシーケンスを、前記尺度を用いて前記モノラルオーディオ信号の後処理を増強する後処理系に送るステップをさらに含むことを特徴とする請求項１に記載の方法。
【請求項２４】
オーディオソースをモノラルオーディオ信号から分離するための方法であって、
（ａ）複数の未知のオーディオソースのダウンミックスを含むモノラルオーディオ信号を準備し、
（ｂ）前記オーディオ信号をベースラインフレームのシーケンスに分離し、
（ｃ）各々のフレームをウィンドウ表示し、
（ｄ）前記オーディオソースを区別する傾向がある複数のオーディオ特徴を各々のベースラインから抽出し、
（ｅ）多数の分解能における特徴を抽出するように異なるフレームの大きさでステップ（ｂ）からステップ（ｄ）を繰り返し、
（ｆ）異なる分解能において抽出されたオーディオ特徴を前記ベースラインフレームにスケーリングし、
（ｇ）前記オーディオ特徴を有する代表的なオーディオソースの組において訓練されたニューラル・ネットワーク（ＮＮ）識別器に前記オーディオ特徴を適用する、
ステップを含み、前記ニューラル・ネットワーク識別器は、各々が、各々のベースラインフレームの前記モノラルオーディオ信号における特定のオーディオソースの存在を信号通知する複数の出力ニューロンを有する
ことを特徴とする方法。
【請求項２５】
複数の未知のオーディオソースのダウンミックスを含むモノラルオーディオ信号を、ウィンドウ表示されたベースラインフレームに分離するフレーマと、
前記オーディオソースを区別する傾向がある複数のオーディオ特徴を各々のベースラインフレームから抽出する特徴抽出器と、
前記オーディオ特徴を有する代表的なオーディオソースの組において訓練されたニューラル・ネットワーク（ＮＮ）識別器と、
を含み、前記ニューラル・ネットワーク識別器は、抽出された前記オーディオ特徴を受け取り、前記モノラルオーディオ信号の各々の前記ベースラインフレーム内に含まれるオーディオソースの少なくとも１つの尺度を出力する、
ことを特徴とするオーディオソース識別器。
【請求項２６】
前記特徴抽出器は、多数の時間・周波数分解能におけるオーディオ特徴の１つ又はそれ以上を抽出することを特徴とする請求項２５に記載のオーディオソース識別器。
【請求項２７】
前記ＮＮ識別器は、各々が、各々のベースラインフレームの前記モノラルオーディオ信号における特定のオーディオソースの存在を信号通知する複数の出力ニューロンを有することを特徴とする請求項２５に記載のオーディオソース識別器。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、単一のモノラルオーディオ信号にダウンミックスされた多数の未知のオーディオソースを分離することに関する。
【背景技術】
【０００２】
ステレオ信号又はマルチチャネルのオーディオ信号のいずれかからソースを抽出するための技術が存在する。独立成分分析（ＩＣＡ）は、最も幅広く知られ、研究された方法である。しかし、ＩＣＡは、入力信号におけるチャネル数と同じ又はそれより少ない数のソースしか抽出できない。したがって、モノラル信号分離には用いることができない。
【０００３】
モノラル信号からのオーディオソースの抽出は、スピーチ信号特性を抽出する、マルチチャネルの信号表現を合成する、音楽をカテゴリ化する、ソースをトラックする、ＩＣＡのために付加的なチャネルを生成する、ナビゲーション（ブラウジング）、リミキシング（消費者及びプロフェッショナル）、セキュリティ及び監査、電話及び無線通信、及びテレビ会議の目的のためにオーディオ索引を生成するのに有益とすることができる。（自動化ディクタ検出、自動化スピーチ認識、スピーチ／音楽検出器のような）スピーチ信号特性の抽出は、良好に発展している。モノラル信号からの任意の楽器情報の抽出は、幅広く変化する信号及びソースのパラメータ、ソースの時間及び周波数ドメインの重なり、及び現実信号における残響及び閉塞を含む問題により課される困難のために、非常にわずかにしか研究されていない。既知の技術は、等価化及び直接パラメータ抽出を含む。
【０００４】
イコライザは、既知の周波数範囲を占めるソースを抽出するように信号に適用することができる。例えば、スピーチ信号のほとんどのエネルギーは２００Ｈｚ−４ｋＨｚ範囲に存在する。ベースギターの音は、通常、１ｋＨｚより下の周波数に制限される。すべての帯域外信号をフィルタ処理することにより、選択されたソースを抽出することができ、又は、そのエネルギーを他のソースに関して増幅させることができる。しかし、等価化は重なり合うソースを抽出するのには効果的ではない。
【０００５】
１つの直接パラメータ抽出方法は、Ｔｏｎｇ  Ｚｈａｎｇ及びＪａｙ  Ｋｕｏによる「Ａｕｄｉｏ  Ｃｏｎｔｅｎｔ  Ａｎａｌｙｓｉｓ  ｆｏｒ  Ｏｎｌｉｎｅ  Ａｕｄｉｏｖｉｓｕａｌ  Ｄａｔａ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ａｎｄ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ」（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ｓｐｅｅｃｈ  ａｎｄ  ａｕｄｉｏ  ｐｒｏｃｅｓｓｉｎｇ、第９巻、第４号、２００１年５月）に説明されている。エネルギー機能、平均ゼロ交差率、基本周波数、及びスペクトルピークトラックのような簡単なオーディオ特徴が抽出される。信号は、次いで、カテゴリ（無音、音楽成分あり、音楽成分なし）とサブカテゴリに分割される。フラグメントを特定のカテゴリに含むことは、一組の制限に対して特徴を直接比較することによって決められる。ソースに関する経験的な知識が要求される。
【０００６】
音楽ジャンルのカテゴリ化方法は、Ｇｅｏｒｇｅ  Ｔｚａｎｅｔａｋｉｓ及びＰｅｒｒｙ  Ｃｏｏｋによる「Ｍｕｓｉｃａｌ  Ｇｅｎｒｅ  Ｃｌａｓｓｉｆｉｃａｔｉｏｎ  ｏｆ  Ａｕｄｉｏ  Ｓｉｇｎａｌｓ」（ＩＥＥＥ  Ｔｒａｎｓａｃｔｉｏｎｓ  ｏｎ  ｓｐｅｅｃｈ  ａｎｄ  ａｕｄｉｏ  ｐｒｏｃｅｓｓｉｎｇ、第１０巻、第５号、２００２年７月）に説明されている。計装、リズム構造、及び高調波成分のような特徴は信号から抽出され、予め訓練された統計的パターン再認識識別器に入力される。Ｄｏｎ  Ｋｉｍｂｌｅｒ及びＬｙｎｎ  Ｗｉｌｃｏｘによる「Ａｃｏｕｓｔｉｃ  Ｓｅｇｍｅｎｔａｔｉｏｎ  ｆｏｒ  Ａｕｄｉｏ  Ｂｒｏｗｓｅｒｓ」は、オーディオのセグメント化及び分類のために隠れマルコフ・モデルを採用する。
【発明の開示】
【０００７】
本発明は、単一のモノラルオーディオ信号にダウンミックスされた、多数の任意の以前に未知であったオーディオソースを分離し、カテゴリ化する能力を提供する。
【０００８】
このことは、モノラルオーディオ信号を（場合によっては重なっている）ベースラインフレームに分け、フレームをウィンドウ表示し、各々のフレームにおける多数の記述的特徴を抽出し、予め訓練された非線形ニューラル・ネットワークを識別器として採用することにより達成される。各々のニューラル・ネットワーク出力は、モノラルオーディオ信号の各々のベースラインフレームにおけるオーディオソースの所定の種類の存在を示す。ニューラル・ネットワークは、典型的には、システムが区別するように訓練されたオーディオソースの種類と同じだけの数の出力を有する。ニューラル・ネットワーク識別器は、信号及びソースの幅広く変化するパラメータ、ソースの時間及び周波数ドメインの重なり、及び現実信号の残響及び閉塞に対処するのに良好に適している。識別器の出力は、（例えばＩＣＡのような）ソース分離アルゴリズムに対する多数のオーディオチャネルを生成するようにフロントエンドとして用いてもよいし、又は、後処理アルゴリズムにおけるパラメータとして用いてもよい（例えば、音楽をカテゴリ化する、ソースをトラックする、ナビゲーション、リミキシング、セキュリティ及び監査、電話及び無線通信、及びテレビ会議の目的のために、オーディオ索引を生成するように）。
【０００９】
第１の実施形態においては、モノラルオーディオ信号は、サイドバンドフィルタ処理される。サイドバンドの数及びサイドバンドの変動又は一様性は適用例によって決まる。各々のサイドバンドは、次いで、フレームに入れられ、特徴が抽出される。特徴の同じ又は異なる特徴の組み合わせは、異なるサイドバンドから抽出することができる。幾つかのサイドバンドは、どのような特徴も抽出されない。各々のサイドバンド特徴は、識別器に対して別個の入力を形成してもよいし、又は、サイドバンドにわたり同様の特徴が「融合」されてもよい。識別器は、各々の所定のオーディオソースに対して単一の出力ノードを含んで、各々の特定のオーディオソースを分類する堅牢性を向上させることができる。或いは、識別器は、各々の所定のオーディオソースの各々のサイドバンドに対して出力ノードを含んで、多数の周波数が重なり合うソースの分離を向上させることができる。
【００１０】
第２の実施形態においては、例えば音成分又はＴＮＲのような特徴の１つ又はそれ以上が多数の時間・周波数分解能において抽出され、次いで、ベースラインフレームの大きさにスケーリングされる。このことは、並行して行われることが好ましいが、連続して行ってもよい。各々の分解能における特徴は、識別器に入力されてもよいし、又は、単一の入力を形成するように融合されてもよい。この多分解能手法は、自然信号の非定常性に対処する。ほとんどの信号は、短時間間隔では準定常的としか考慮できない。幾つかの信号は、例えばスピーチに関しては、より早く変化し、幾つかはより遅く変化し、早く変化する信号パラメータ、短い時間フレームは、信号エネルギーのより良好な分離をもたらす。より定常的な弦楽器に関しては、長い時間フレームは信号エネルギー分離を低下させることなく、より高い周波数分解能を提供する。
【００１１】
第３の実施形態においては、モノラルオーディオ信号は、サイドバンドフィルタ処理され、１つ又はそれ以上のサイドバンドにおける特徴の１つ又はそれ以上は、多数の時間・周波数分解能において抽出され、次いで、ベースラインフレームの大きさにスケーリングされる。サイドバンドフィルタ及び多分解能の組み合わせは、識別器の能力をさらに高めることができる。
【００１２】
第４の実施形態においては、ニューラル・ネット出力ノードにおける値は、低域通過フィルタ処理されて雑音を減少させ、したがって、分類のフレーム間の変動を減少させる。低域通過フィルタ処理なしでは、システムは、過去又は将来の入力の知識なしで、信号の短片（ベースラインフレーム）上で動作する。低域通過フィルタ処理は、信号は、典型的には、１つより多いベースラインフレームだけ続くと仮定して、偽の結果の数を減少させる。
【００１３】
当業者であれば、本発明のこれら及び他の特徴及び利点は、添付図面と併せて、好ましい実施形態の以下の詳細な説明により明らかになるであろう。
【発明を実施するための最良の形態】
【００１４】
本発明は、単一のモノラルオーディオ信号にダウンミックスされた、多数の任意の以前に未知であったオーディオソースを分離し、カテゴリ化する能力を提供する。
【００１５】
図１に示すように、例えば、声、弦、及びパーカッションのような複数のオーディオソース１０が単一のモノラルオーディオチャネル１４にダウンミックスされる（ステップ１２）。モノラル信号は、従来のモノミックスであってもよいし、又は、ステレオの１つのチャネル又はマルチチャネル信号であってもよい。最も一般的な場合においては、特定のミックスにおけるオーディオソースの具体的な種類、信号自体、幾つの信号が含まれているか、又はミキシング係数に関する経験的な情報がない。特定のミックスに含まれることができるオーディオソースの種類は知られている。例えば、音楽ミックスにおけるソース又は主流のソースを分類する適用例があるとすることができる。識別器は、可能なソースは、男性ボーカル、女性ボーカル、弦、パーカッション等を含むことを知っている。識別器は、これらのソースのどれが又は幾つが特定のミックスに含まれているか、特定のソースについて、又はこれらがどのようにミックスされたかは知らない。
【００１６】
多数の任意の以前は未知であったオーディオソースを分離し、カテゴリ化する方法は、モノラルオーディオ信号を（場合によっては重なっている）ベースラインフレームのシーケンスのフレームに入れることにより開始し（ステップ１６）、フレームをウィンドウ表示し（ステップ１８）、各々のフレームにおける多数の記述的な特徴を抽出し（ステップ２０）、予め訓練された非線形ニューラル・ネットワークを識別器として採用する（ステップ２２）。各々のニューラル・ネットワーク出力は、モノラルオーディオ信号の各々のベースラインフレームにおけるオーディオソースの所定の種類の存在を示す。ニューラル・ネットワークは、典型的には、システムが区別するように訓練されたオーディオソースの種類と同じだけの数の出力を有する。
【００１７】
ニューラル・ネットワーク識別器の、特に「重なり合うソース」を分離し、分類する性能は、モノラル信号のサイドバンドフィルタ処理、多分解能特徴の抽出、及び分類値の低域フィルタ処理を含む多数の方法により高めることができる。
【００１８】
第１の高められた実施形態においては、モノラルオーディオ信号は、サイドバンドフィルタ処理することができる（ステップ２４）。このことは、典型的には、必須ではないが、フレーミング前に実行される。サイドバンドの数及びサイドバンドの変動又は一様性は、適用例によって決まる。各々のサイドバンドは、次いで、フレームに入れられ、特徴が抽出される。特徴の同じ又は異なる組み合わせは、異なるサイドバンドから抽出することができる。幾つかのサイドバンドは、どのような特徴も抽出されない。各々のサイドバンド特徴は、識別器に対して別個の入力を形成してもよいし、又は、サイドバンドにわたり同様の特徴が「融合」されてもよい（ステップ２６）。識別器は、各々の所定のオーディオソースに対して単一の出力ノードを含むことができ、この場合、多数のサイドバンドから特徴を抽出することは、各々の特定のオーディオソースを分類する堅牢性を向上させる。或いは、識別器は、各々の所定のオーディオソースの各々のサイドバンドに対して出力ノードを含むことができ、この場合、多数のサイドバンドから特徴を抽出することは、多数の周波数が重なり合うソースの分離を向上させる。
【００１９】
第２の高められた実施形態においては、特徴の１つ又はそれ以上が多数の時間・周波数分解能において抽出され、次いで、ベースラインフレームの大きさにスケーリングされる。図示のように、モノラル信号は、最初に、ベースラインフレームにセグメント化され、ウィンドウ表示され、特徴が抽出される。特徴の１つ又はそれ以上が多数の分解能において抽出される場合（ステップ２８）には、フレームの大きさが減分（増分）され（ステップ３０）、プロセスは繰り返される。フレームの大きさは、重なり及びウィンドウ表示のためにスケーリングされたベースラインフレームの大きさの倍数で好適に減分（増分）される。結果として、ベースラインフレームの等価物にわたり、各々の特徴の多数のインスタンスがあるようになる。これらの特徴は、次いで、独立して又は互いに、ベースラインフレームの大きさにスケーリングされなければならない（ステップ３２）。より小さいフレームの大きさで抽出された特徴は平均化され、より大きいフレームの大きさで抽出された特徴は、ベースラインフレームの大きさに補間される。幾つかの場合においては、アルゴリズムは、ベースラインフレームからの減分及び増分の両方により多分解能特徴を抽出することができる。さらに、各々の分解能で抽出された特徴を融合して、識別器に対する１つの入力を形成することが望ましいとすることができる（ステップ２６）。多分解能特徴が融合されない場合には、ベースラインスケーリング（ステップ３２）をループ内で実行し、特徴は各々のパスにおいて識別器に入力されることになる。多分解能抽出は、並行して行われることがより好ましい。
【００２０】
第３の高められた実施形態においては、ニューラル・ネットの出力ノードの値は、例えば、移動平均低域通過フィルタを用いて後処理されて（ステップ３４）、雑音を減少させ、したがって、分類のフレーム間の変動を減少させる。
【００２１】
サイドバンドフィルタ処理
図２に示すように、サイドバンドフィルタ４０は、モノラルオーディオ信号の周波数スペクトルをＮ個の一様な又は変化する幅のサイドバンド４２に分割する。図示目的のために、可能な周波数スペクトルＨ（ｆ）が、声４４、弦４６、及びパーカッション４８について示される。ソースの重なりが低いサイドバンドにおける特徴を抽出することによって、識別器はフレームにおける主流ソースを分類するのにより良好な作業をすることができる。さらに、異なるサイドバンドにおける特徴を抽出することにより、識別器は、サイドバンドの各々における主流ソースを分類できるようになる。信号分離が良好なこうしたサイドバンドにおいては、分類の信頼性は、例えば１に近いように非常に強力である。一方、信号が重なり合うサイドバンドにおいては、例えば、２つ又はそれ以上のソースを支配する１つのソースは同様な出力値を有することができるため、識別器の信頼性は低くなる。
【００２２】
サイドバンドフィルタの代わりに周波数変換を用いて、等価な機能をさらに提供することができる。
【００２３】
フレーミング入れ及びウィンドウ表示
図３ａから図３ｃに示すように、モノラル信号５０（又は信号の各々のサイドバンド）はベースラインフレーム５２のシーケンスに分けられる。信号は、好適に、重なり合うフレームに、好ましくは５０％又はそれ以上の重なりをもって分けられる。各々のフレームは、フレーム境界における不連続部の影響を減少させるようにウィンドウ表示され、周波数分離を向上させる。周知の分析ウィンドウ５４は、Ｒａｉｓｅｄ  Ｃｏｓｉｎｅ、Ｈａｍｍｉｎｇ、Ｈａｎｎｉｎｇ、及びＣｈｅｂｙｓｃｈｅｖ等を含む。各々のベースラインフレームに対するウィンドウ表示信号５６は、次いで、特徴の抽出のために送られる。
【００２４】
特徴の抽出
特徴の抽出は、オーディオのベースラインフレームを特徴付けるのに用いることができる小型の数表現を算出するための方法である。この考え方は、単一の又は多数の分解能において、及び、単一の又は多数のスペクトル帯域において、独立した又は他の特徴と組み合わせられた多数の特徴を識別し、異なるオーディオソース間を効果的に区別することである。モノラルオーディオ信号からのソース分離に有益な特徴の例は、フレームにおける音成分の合計数、音対雑音比（ＴＮＲ）、及びケプストラムピーク振幅を含む。これらの特徴に加えて、ＭＰＥＧ仕様に説明されるオーディオに対する１７の低レベル記述子のいずれか１つ又はこれらの組み合わせは、異なる適用例における好適な特徴とすることができる。
【００２５】
ここで、音成分、ＴＮＲ及びケプストラムピーク特徴を詳細に説明する。さらに、音成分及びＴＮＲ特徴は、多数の時間・周波数分解能で抽出され、ベースラインフレームにスケーリングされる。「低レベル記述子」を計算するためのステップは、ＭＰＥＧオーディオの付属書類において入手できる。（例えば、Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｓｔａｎｄａｒｄ  ＩＳＯ／ＩＥＣ  １５９３８「Ｍｕｌｔｉｍｅｄｉａ  Ｃｏｎｅｔｅｎｔ  Ｄｅｓｃｒｉｐｔｉｏｎ  Ｉｎｔｅｒｆａｃｅ」又はｈｔｔｐ：／／ｃｈｉａｒｉｇｌｉｏｎｅ．ｏｒｇ／ｍｐｅｇ／ｓｔａｎｄａｒｄｓ／ｍｐｅｇ−７／ｍｐｅｇ−７．ｈｔｍを参照されたい。）
【００２６】
音成分
音成分は、本質的には、平均的な信号と比較すると、相対的に強力な音である。抽出される特徴は、所与の時間・周波数分解能での音成分の数である。各々のフレームにおける単一の時間・周波数分解能レベルでの音成分の数を見積もる手順は、図４に示されており、以下のステップを含む。
１．モノラル入力信号をフレームに入れる（ステップ１６）。
２．フレームに入るデータをウィンドウ表示する（ステップ１８）。
３．ＦＦＴ、ＭＤＣＴ等の周波数変換をウィンドウ表示信号に適用する（ステップ６０）。変換長さは、フレームにおけるオーディオサンプルの数、すなわちフレームの大きさと等しいものであるべきである。変換長さを大きくすることは、周波数分解能を高めることなく時間分解能を低下させる。より小さい変換を有する場合には、フレーム長さは周波数分解能を低下させる。
４．スペクトルラインのマグニチュードを算出する（ステップ６２）。ＦＦＴにおいては、マグニチュードＡ＝Ｓｑｒｔ（Ｒｅ*Ｒｅ＋Ｉｍ*Ｉｍ）であり、ここでＲｅ及びＩｍは、変換により生成されるスペクトルラインの現実成分及び想像成分である。
５．すべての周波数に対するノイズフロアレベルを見積もる（ステップ６４）。（図５を参照されたい）
６．例えば、ノイズフロアより高い所定の固定しきい値より上の、ノイズフロアより十分に高い成分の数を数える（ステップ６６）。これらの成分は「音成分」と考慮され、計数はＮＮ識別器に出力される（ステップ６８）。
【００２７】
現実のオーディオ信号は、（弦楽器のような）音成分をもつ定常フラグメントと、（声に出されるスピーチフラグメントのような）音成分をもつ非定常フラグメントの両方を含むことができる。すべての状況で効率的に音成分を捕捉するために、信号を種々の時間・周波数分解能レベルで分析しなければならない。実際に有益な結果は、およそ５ミリ秒から２０００ミリ秒までの範囲に及ぶフレームにおいて抽出することができる。これらのフレームは、交互配置されていることが好ましく、所与の長さの多数のフレームは単一のベースラインフレームの下に入ることができる。
【００２８】
多数の時間・周波数分解能での音成分の数を見積もるために、上述の手順は以下のように修正される。
１．フレームの大きさを、例えば２の係数だけ減分する（重なりは無視する）（ステップ７０）。
２．新しいフレームの大きさに対して、ステップ１６、１８、６０、６２、６４、及び６６を繰り返す。長さがフレーム長さに等しい周波数変換を行って、最適な時間・周波数のトレードオフを取得するべきである。
３．音成分の計数をベースラインフレームの大きさにスケーリングし、ＮＮ識別器に出力する（ステップ７２）。図示のように、各々の時間・周波数分解能における音成分の累積的な数は、独立して識別器に送られる。より単純な実施においては、分解能のすべてにおける音成分の数が抽出され、互いに合計されて単一の値を形成する。
４．最小の望ましいフレームの大きさが分析されるまで繰り返す（ステップ７４）。
【００２９】
多分解能音成分の抽出を示すために、以下の例を考慮する。ベースラインのフレームの大きさは４０９６サンプルである。音成分は、１０２４、２０４８、及び４０９６変換長さで抽出される（単純さのために重なり合わない）。典型的な結果は以下の通りである。
４０９６点の変換：５成分
２０４８点の変換（１つのベースラインフレームにおいて合計２変換）：１５成分、７成分
１０２４点変換（１つのベースラインフレームにおいて合計４変換）：３、１０、１７、４
ＮＮ入力に送られる数は、各々のパスにおいて、５，２２（＝１５＋７），３４（＝３＋１０＋１７＋４）である。或いは、値は、６１＝５＋２２＋３４のように合計し、単一の値として入力することができる。
増分により多数の時間・周波数分解能を算出するためのアルゴリズムも類似している。
【００３０】
音対雑音比（ＴＮＲ）
音対雑音比は、ノイズフロアに対する音成分における合計エネルギーの比の尺度であり、種々の種類のソースを区別するのに非常に関連のある特徴とすることもできる。例えば、種々の類の弦楽器は異なるＴＮＲレベルを有する。音対雑音比の方法は、上述の音成分の数の見積もりと同様である。音成分の数を数える代わりに（ステップ６６）、手順は、ノイズフロアに対する音成分における累積的なエネルギーの比を算出し（ステップ７６）、この比をＮＮ識別器に出力する（ステップ７８）。
【００３１】
種々の時間・周波数分解能におけるＴＮＲを測定することもまた、現実信号によって、より堅牢な性能を提供する利点になる。フレームの大きさは減分され（ステップ７０）、手順は小さいフレームの大きさの数だけ繰り返される。より小さいフレームによる結果は、これらをベースラインフレームと等しい期間にわたり平均化することによりスケーリングされる。音成分におけるように、平均された比は、各々のパスにおいて識別器に出力されてもよいし、又は、単一の値に合計されてもよい。さらに、音成分及びＴＮＲ両方に対する異なる分解能は、好適に並行に計算される。
【００３２】
多分解能の抽出を説明するために、ＴＮＲは、以下の例を考慮する。ベースラインのフレームの大きさは４０９６サンプルである。ＴＮＲは、１０２４、２０４８、及び４０９６の変換長さで抽出される（単純さのために重なり合わない）。典型的な結果は以下の通りである。
４０９６点の変換では：４０ｄｂの比
２０４８点の変換（１つのベースラインフレームにおいて合計２変換）では：２８ｄｂ、２０ｄｂの比
１０２４点変換（１つのベースラインフレームにおいて合計４変換）では：２０ｄｂ、２０ｄｂ、１６ｄｂ、及び１２ｄｂ
ＮＮ入力に送られる比は、各々のパスにおいて、４０ｄｂ、２４ｄｂ、及び１７ｄｂである。或いは、値は、合計され（平均＝２７ｄｂ）、単一の値として入力することができる。
増分により多数の時間・周波数分解能を算出するためのアルゴリズムも類似している。
【００３３】
ノイズフロアの見積もり
音成分及びＴＮＲを見積もるのに用いられるノイズフロアは、信号の周囲又は不要部分の尺度である。例えば、生演奏における楽器を分類又は分離することを試みる場合には、ノイズフロアは、音楽家が演奏していないときの部屋の平均音響レベルを示す。
【００３４】
フレームにおけるノイズフロアを見積もるのに、多数のアルゴリズムを用いることができる。１つの実施においては、低域通過ＦＩＲフィルタをスペクトルラインの振幅上に適用することができる。こうしたフィルタ処理の結果は、雑音及び音成分の両方のエネルギーを含むため、実際のノイズフロアより僅かに高くなる。しかし、このことは、しきい値を低くすることにより補償することができる。図５に示すように、より正確なアルゴリズムは、実際のノイズフロアに近くなるように、単純なＦＩＲフィルタ手法を改良する。
【００３５】
ノイズフロアの単純な見積もりは、ＦＩＲフィルタの適用により見出される。
2009511954.tif 000002
ここで、Ｎiはｉ番目のスペクトルラインに対して見積もられたノイズフロアであり、
Ａiは周波数変換後のスペクトルラインのマグニチュードであり、
ＣkはＦＩＲフィルタ係数であり、
Ｌはフィルタ長さである。
【００３６】
図５に示すように、より正確な見積もりは、例えば、各々の周波数においてＦＩＲ出力より３ｄｂだけ高いような、ノイズフロアより十分に高い成分をマークすることにより、上で与えられた最初の低域通過ＦＩＲ見積もり（ステップ８０）を改良する。マークされると、カウンタは、例えばＪ＝０に設定され（ステップ８４）、マークされた成分（マグニチュード８６）が最後のＦＩＲの結果と置き換えられる（ステップ８８）。このステップは、音成分エネルギーをノイズフロアの計算から効果的に除去する。低域通過ＦＩＲが再び適用され（ステップ９０）、ノイズフロアより十分に高い成分がマークされ（ステップ９２）、カウンタが増分され（ステップ９４）、マークされた成分は再び最後のＦＩＲ結果と置き換えられる（ステップ８８）。このプロセスは、例えば３のように、望ましい反復数だけ繰り返される（ステップ９６）。より高い反復数は、僅かに良好な正確さをもたらす。
ノイズフロアの見積もり自体は、オーディオソースを記述し、分離する特徴として用いることができることを記す価値はある。
【００３７】
ケプストラムピーク
ケプストラム分析は、通常、スピーチ処理関連の適用例において使用される。ケプストラムの種々の特性は、処理のためのパラメータとして用いることができる。ケプストラムは、さらに、他の種類の高調波信号に対しても記述的である。ケプストラムは、信号のように、デシベルスペクトルの逆フーリエ変換を取った結果である。ケプストラムピークの抽出手順は、以下の通りである。
１．オーディオ信号をフレームのシーケンスに分離する（ステップ１６）。
２．各々のフレームにおける信号をウィンドウ表示する（ステップ１８）。
４．ケプストラムを算出する：
ａ．例えばＦＦＴのような、ウィンドウ表示された信号の周波数変換を算出し（ステップ１００）、
ｂ．スペクトルラインのマグニチュードのログ振幅を算出し（ステップ１０２）、
ｃ．ログ振幅に対する逆変換を算出する（ステップ１０４）。
５．ケプストラムピークは、ケプストラムにおける最大値の値及び位置である（ステップ１０６）。
【００３８】
ニューラル・ネットワーク識別器
ニューラル・ネットワークの多数の既知の種類は、識別器として動作するのに適している。現在のニューラル・ネットワーク・アーキテクチャ及び訓練アルゴリズムの技術の現状は、フィードフォワード・ネットワーク（各々の層が前の層からのみ入力を受け取る層状ネットワーク）を非常に良好な候補にすることができる。既存の訓練アルゴリズムは、安定した結果及び良好な一般化を提供する。
【００３９】
図７に示すように、フィードフォワード・ネットワーク１１０は、入力層１１２と、１つ又はそれ以上の隠れ層１１４と、出力層１１６とを含む。入力層におけるニューロンは、抽出された特徴１１８及びそれぞれの重みの完全な組を受け取る。オフライン管理される訓練アルゴリズムは重みをスケーリングし、これにより、特徴がニューロンの各々に送られる。隠れ層は、非線形作動機能をもつニューロンを含む。非線形移送機能をもつニューロンの多数の層は、ネットワークが入力信号と出力信号との間の非線形及び線形関係を学習することを可能にする。出力層におけるニューロンの数は、識別器が認識することができるソースの種類の数と等しい。ネットワークの出力の各々は、特定の種類のソース１２０の存在を信号通知し、値［０，１］は入力信号が所与のオーディオソースを含む信頼性を示す。サイドバンドフィルタリングが採用される場合には、出力ニューロンの数は、サイドバンドの数により乗算されるソースの数と等しいとすることができる。この場合、ニューロンの出力は、特定のサイドバンドにおける特定のソースの存在を示す。出力ニューロンは、「そのまま」送られて、特定のレベルより高いニューロンの値だけを保つようにしきい値化されてもよいし、又は、最も主流なソースの値だけを保つようにしきい値化されてもよい。
【００４０】
ネットワークは、一組の十分に代表的な信号に対して予め訓練されるべきである。例えば、男性の声、女性の声、打楽器、及び弦楽器を含む４つの異なる録音を認識することができるシステムにおいては、すべてのこれらのソースの種類は、十分な多様性をもって訓練の組に存在すべきである。ニューラル・ネットワークの一般化能力のために、すべての可能な類のソースを徹底的に提示する必要はない。各々の録音は、アルゴリズムの特徴抽出部分を通過させられるべきである。抽出された特徴は、次いで、訓練及び確認という２つのデータセットに任意にミックスされる。周知の管理された訓練アルゴリズムの１つは、次いで、ネットワークを訓練するのに用いられる（例えば、Ｌｅｖｅｎｂｅｒｇ−Ｍａｒｑｕａｒｄｔアルゴリズムのような）。
【００４１】
識別器の堅牢性は、抽出された特徴の組に強力に依存する。特徴が互いに異なるソースを区別する場合には、識別器は良好に性能を発揮する。多分解能及びサイドバンドフィルタ処理を実施して、標準的なオーディオ特徴を増強させることは、はるかにリッチな特徴の組を提示して、モノラル信号におけるオーディオソースを区別する。
【００４２】
例示的な実施形態においては、ｔａｎｓｉｇ（双曲線正接）アクティベータをもつ５−３−３フィードフォワードネットワーク・アーキテクチャ（入力層上に４ニューロン、隠れ層に３ニューロン、及び出力層に３ニューロン）は、声、パーカッション、及び弦という３種類のソースの分類に対して良好に性能を発揮したすべての層において機能する。用いられるフィードフォワード・アーキテクチャにおいては、所与の層の各々のニューロンは、前に層のすべてのニューロンに接続される（入力層を除いて）。入力層における各々のニューロンは、抽出特徴の完全な組を受け取った。ネットワークに提示される特徴は、多分解能音成分、多分解能ＴＮＲ、及びケプストラムピークを含み、これらは［−１：１］範囲に嵌まるように予め正規化される。ネットワークの第１の出力は、信号における声のソースの存在を信号通知した。第２の出力は、弦楽器の存在を信号通知した。最後に、第３の出力は、打楽器の存在を信号通知するように訓練された。
【００４３】
各々の層において、「ｔａｎｓｉｇ」アクティベータ機能が用いられた。ｊ番目の層におけるｋ番目のニューロンの出力を算出するための計算的に効果的な式は、以下により与えられ、
2009511954.tif 000003
ここで、Ａj,kはｊ番目の層におけるｋ番目のニューロンの出力であり、
2009511954.tif 000004
は（訓練中に設定された）そのニューロンのｉ番目の重みである。
入力層に関しては、式は、以下のようになり、
2009511954.tif 000005
ここで、Ｆiはｉ番目の特徴であり、
2009511954.tif 000006
は（訓練中に設定された）そのニューロンのｉ番目の重みである。
【００４４】
単純な識別器を試験するために、長いオーディオファイルが３つの異なる類のオーディ緒信号から連結された。青色の線は実際の声の存在（ドイツ語のスピーチ）１３０、打楽器（ハイハット）１３２、及び弦楽器（生ギター）１３４を示す。ファイルは、およそ８００フレームの長さであり、最初の３７０フレームは音声で、次の１００フレームは打楽器で、最後の３５０フレームは弦である。青線の突然のドロップアウト部分は、入力信号における無音期間に対応する。緑色の線は、声１４０、打楽器１４２、及び１４４の識別器により与えられる予測を表わす。出力値は、雑音を減少させるようにフィルタ処理される。ネットワーク出力が０又は１からどれだけの距離であるかは、入力信号がその特定のオーディオソースを含むことに対して識別器がどれだけ確実であるかの尺度である。
【００４５】
オーディオファイルは、どのオーディオソースも実際には同時に存在しないモノラル信号を表わすが、識別器の能力を示すので十分であり、その方が簡単である。図８ｃに示すように、識別器は、大きな信頼性をもって、間違いなしで弦楽器を識別した。図８ａ及び図８ｂに示すように、声及び打楽器信号に対する性能は満足いくものではあったが、幾らかの重なりがある。多分解能音成分の使用は、打楽器フラグメントと音フラグメント（実際は、スピーチの無声フラグメント）との間をより効果的に区別する。
【００４６】
識別器の出力は、フロントエンドとして用いて、ソース分離アルゴリズム（例えばＩＣＡ）に対する多数のオーディオチャネルを生成してもよいし、又は、後処理アルゴリズムにおけるパラメータとして用いてもよい（例えば、音楽をカテゴリ化する、ソースをトラックする、ナビゲーション、リミキシング、セキュリティ及び監査、電話及び無線通信、及びテレビ会議の目的のためにオーディオ索引を生成する）。
【００４７】
図９に示すように、識別器は、分離しようとしているソースと同じだけの入力チャネルを必要とする、ＩＣＡのようなブラインドソース分離（ＢＳＳ）アルゴリズム１５０に対するフロントエンドとして用いられる。ＢＳＳアルゴリズムは、不可能であるが、声、パーカッション、及び弦のソースをモノラル信号から分離することを望んでいると仮定する。ＮＮ識別器は、声、パーカッション、及び弦の出力ニューロン１５２により構成することができる。ニューロン値は、オーディオチャネル１５６におけるモノラルオーディオ信号の各々のフレームを、声１５８、パーカッション１６０、及び弦１６２の、３つの別個のオーディオチャネルにミックスする１５４重みとして用いられる。重みは、ニューロンの実際の値であってもよいし、フレーム当たりの１つの支配的な信号を識別するためのしきい値化された値であってもよい。この手順は、サイドバンドフィルタ処理を用いてさらに改良することができ、したがって、ＢＳＳに対してより多くの入力チャネルを生成することができる。ＢＳＳは、ＮＮ識別器により与えられる最初のソース分離をさらに改良するために、強力なアルゴリズムを用いる。
【００４８】
図１０に示すように、ＮＮ出力層ニューロン１７０は、オーディチャネル１７４におけるモノラルオーディオ信号上で動作する後処理系１７２で用いることができる。
トラッキング−アルゴリズムは、フレームごとに動作する他のアルゴリズム（例えば、ＢＳＳ）で取得された個々のチャネルに適用することができる。アルゴリズムの出力の助けにより、隣接するフレームのリンクを可能にすることができ、又は、より安定させる或いはより単純にすることができる。
オーディオ識別及びオーディオ検索エンジン−抽出された信号形式のパターン及び場合によってはこれらの持続時間はデータベースにおける索引として（又はハッシュ表のキーとして）用いることができる。
コーデック−信号の種類についての情報は、コーデックが、心理音響モデル、ビット割り当て、又は他のコード化パラメータを微調整することを可能にする。
ソース分離に対するフロントエンド−ＩＣＡのようなアルゴリズムは、少なくとも、ソースの数だけの入力チャネルを必要とする。本アルゴリズムを用いて、単一のチャネルから多数のオーディオチャネルを生成することができ、又は、使用可能な個々の入力チャネルの数を増加させることができる。
【００４９】
リミキシング−個々の別個のチャネルは、中間の（イコライザのような）後処理アルゴリズムにより、モノラル表現（又はチャネル数が減少した表現）に戻るようにリミックスすることができる。
セキュリティ及び監査−アルゴリズム出力は、録音されたオーディオの明瞭度を高めるように、後処理アルゴリズムにおいてパラメータとして用いることができる。
電話及び無線通信、並びにテレビ会議−アルゴリズムは、個々のスピーカー／ソースを分離するのに用いることができ、後処理アルゴリズムは、個々の仮想位置をステレオ又は多チャネル環境に割り当てることができる。減少した数のチャネル（又は、場合によっては単一のチャネル）は、伝送されなければならない。
【００５０】
本発明の幾つかの例示的な実施形態が示され、説明されたが、幾多の変形及び代替的な実施形態が当業者には想起されるであろう。こうした変形態様及び代替的な実施形態は考慮され、特許請求の範囲に定義される本発明の精神及び範囲から離れることなく行うことができる。
【図面の簡単な説明】
【００５１】
【図１】本発明によるニューラル・ネットワーク識別器を用いて単一のモノラルオーディオ信号にダウンミックスされた多数の未知のオーディオソースの分離のためのブロック図である。
【図２】入力信号のサイドバンドフィルタ処理を示す図である。
【図３】入力信号のフレーミング及びウィンドウ表示を示す図である。
【図４】多分解能音成分及びＴＮＲ特徴を抽出するためのフローチャートである。
【図５】ノイズフロアを見積もるためのフローチャートである。
【図６】ケプストラムピーク特徴を抽出するためのフローチャートである。
【図７】典型的なニューラル・ネットワーク識別器のブロック図である。
【図８ａ】モノラル信号を構成するオーディオソース及びニューラル・ネットワーク識別器により出力される尺度のプロットである。
【図８ｂ】モノラル信号を構成するオーディオソース及びニューラル・ネットワーク識別器により出力される尺度のプロットである。
【図８ｃ】モノラル信号を構成するオーディオソース及びニューラル・ネットワーク識別器により出力される尺度のプロットである。
【図９】出力尺度を用いてモノラル信号を複数のオーディオチャネルにリミックスするためのシステムのブロック図である。
【図１０】出力尺度を用いてモノラル信号に対して実行された標準的な後処理作業を増強するためのシステムのブロック図である。
【図１】
2009511954.tif 000007
【図２】
2009511954.tif 000008
【図３】
2009511954.tif 000009
【図４】
2009511954.tif 000010
【図５】
2009511954.tif 000011
【図６】
2009511954.tif 000012
【図７】
2009511954.tif 000013
【図８ａ】
2009511954.tif 000014
【図８ｂ】
2009511954.tif 000015
【図８ｃ】
2009511954.tif 000016
【図９】
2009511954.tif 000017
【図１０】
2009511954.tif 000018
【国際調査報告】
2009511954.tif 000019
2009511954.tif 000020
2009511954.tif 000021