(57)【特許請求の範囲】
【請求項１】
オーディオ信号から該オーディオ信号を分類するためのデータを抽出する方法であって、
（ａ）前記オーディオ信号から得られたオーディオ・データ・ストリームをその成分周波数の知覚表現に変換処理するステップと、
（ｂ）前記オーディオ・データ・ストリームの機械学習で用いられる少なくとも１つの学習表現に前記知覚表現を変換処理するステップであって、前記知覚表現を複数の時間スライスに分割し、前記時間スライスを複数の周波数バンドに分割することによって、楽曲とその演奏者と作品を適切に表現する前記学習表現を生成するステップと、
（ｃ）少なくとも１つの前記学習表現を多段階分類器に入力し、それによって、前記多段階分類器が、前記学習表現から前記分類するためのデータを抽出し、前記オーディオ信号の分類結果を出力するステップと、
を有し、
前記オーディオ・データ・ストリームをその成分周波数の知覚表現に変換処理するステップ（ａ）は、前記オーディオ信号のディジタル表現の標本時間ウインドウに対して、高速フーリエ変換関数を計算することを含み、
前記多段階分類器の第１の段階は、少なくとも１つのサポート・ベクトル・マシンを有し、
前記多段階分類器の最終の段階はニューラル・ネットワークを有するメタ学習器である、方法。
【請求項２】
前記時間スライスのそれぞれは、約０．８秒から約１．２秒の長さである、請求項１に記載の方法。
【請求項３】
前記複数の周波数バンドは、２０個の周波数バンドを有する、請求項１に記載の方法。
【請求項４】
前記周波数バンドの各々のサイズは、ピッチに対する周波数のオクターブ比に応じて増加する、請求項１に記載の方法。
【請求項５】
前記多段階分類器の前記第１の段階は、分類のカテゴリーごとに少なくとも１つのサポート・ベクトル・マシンを有する、請求項１に記載の方法。
【請求項６】
前記ニューラル・ネットワークは、分類のカテゴリーごとに少なくとも１つの入力ノードを有し、さらに、前記ニューラル・ネットワークは、分類のカテゴリーごとに少なくとも１つの出力ノードを有する、請求項１に記載の方法。
【請求項７】
前記ニューラル・ネットワークは、隠れレイヤーを有し、該隠れレイヤーは前記入力ノードの数と少なくとも同数のノードを有する、請求項６に記載の方法。
【請求項８】
前記ニューラル・ネットワークは、ガウス活性関数で動作する、請求項１に記載の方法。
【請求項９】
前記分類のカテゴリーは、少なくとも１つのアーティストおよびジャンルを含む、請求項６に記載の方法。
【請求項１０】
前記オーディオ信号をパルス符号変調されたディジタル・ビットストリームに変換するステップをさらに有する、請求項１に記載の方法。
【請求項１１】
前記ニューラル・ネットワークの複数の出力ノードのうちの最高値から、前記複数の出力ノードの２番目に高い値を減算し、前記減算によって得た値に前記最高値を乗算した値を基準値として、前記多段階分類器による前記分類の信頼度を測定するステップをさらに有する、請求項１に記載の方法。
【請求項１２】
オーディオ信号から該オーディオ信号を分類するためのデータを抽出する処理をコンピュータに実行させる命令プログラムを格納する、コンピュータで読み取りが可能な記録媒体であって、前記処理は、
（ａ）前記オーディオ信号から得られたオーディオ・データ・ストリームをその成分周波数の知覚表現に変換処理するステップと、
（ｂ）前記オーディオ・データストリームの機械学習で用いられる少なくとも１つの学習表現に前記知覚表現を変換処理するステップであって、前記知覚表現を複数の時間スライスに分割し、前記時間スライスを複数の周波数バンドに分割することによって前記学習表現を生成するステップと、
（ｃ）前記少なくとも１つの前記学習表現を多段階分類器に入力し、それによって、該多段階分類器が、前記学習表現から前記分類するためのデータを抽出し、前記オーディオ信号の分類結果を出力するステップと、
を有し、
前記オーディオ・データ・ストリームをその成分周波数の知覚表現に変換処理するステップ（ａ）は、前記オーディオ信号のディジタル表現の標本時間ウインドウに対して、高速フーリエ変換関数を計算することを含み、
前記多段階分類器の第１の段階は、少なくとも１つのサポート・ベクトル・マシンを有し、
前記多段階分類器の最終の段階はニューラル・ネットワークを有するメタ学習器である、コンピュータで読み取りが可能な記録媒体。
【請求項１３】
オーディオ信号を分類する装置であって、
（ａ）前記オーディオ信号から得られたオーディオ・データ・ストリームをその成分周波数の知覚表現に変換する手段と、
（ｂ）前記知覚表現を機械学習で用いられる学習表現に分割する手段であって、前記知覚表現を複数の時間スライスに分割し、前記時間スライスを複数の周波数バンドに分割することによって前記学習表現を生成する手段と、
（ｃ）前記オーディオ・データ・ストリームの分類のカテゴリーが識別できるように訓練され、前記オーディオ信号の分類結果を出力する多段階分類手段と、
を有し、
前記オーディオ・データ・ストリームをその成分周波数の知覚表現に変換する手段（ａ）は、前記オーディオ・データ・ストリームのディジタル表現の少なくとも１つの時間標本化されたウインドウで、高速フーリエ変換を実行し、
前記多段階分類手段の第１の段階は、少なくとも１つのサポート・ベクトル・マシンを有し、
前記多段階分類手段の最終の段階はニューラル・ネットワークを有するメタ学習器である、装置。
【請求項１４】
前記時間スライスのそれぞれは、約０．８秒から約１．２秒の長さである、請求項１３に記載の装置。
【請求項１５】
前記複数の周波数バンドは、２０個の周波数バンドを含む、請求項１３に記載の装置。
【請求項１６】
前記周波数バンドのそれぞれのサイズは、ピッチに対する周波数のオクターブ比に応じて増大する、請求項１３に記載の装置。
【請求項１７】
前記多段階分類手段の前記第１の段階は、分類のカテゴリーごとに少なくとも１つのサポート・ベクトル・マシンを有する、請求項１３に記載の装置。
【請求項１８】
前記ニューラル・ネットワークは、分類のカテゴリーごとに少なくとも１つの入力ノードを有し、さらに、前記ニューラル・ネットワークは、分類のカテゴリーごとに少なくとも１つの出力ノードを有する、請求項１３に記載の装置。
【請求項１９】
前記ニューラル・ネットワークは隠れレイヤーを有し、該隠れレイヤーは前記入力ノードの数と少なくとも同数のノードを有する、請求項１８に記載の装置。
【請求項２０】
前記ニューラル・ネットワークは、ガウス活性関数で動作する、請求項１３に記載の装置。
【請求項２１】
前記分類のカテゴリーは、少なくとも１つのアーティストおよびジャンルを含む、請求項１３に記載の装置。
【請求項２２】
前記オーディオ信号をパルス符号変調されたディジタル・ビットストリームに変換する手段をさらに有する、請求項１３に記載の装置。
【請求項２３】
前記ニューラル・ネットワークの複数の出力ノードのうちの最高値から、前記複数の出力ノードの２番目に高い値を減算し、前記減算によって得た値に前記最高値を乗算した値を基準値として、前記多段階分類手段による前記分類の信頼度を測定する手段をさらに有する、請求項１３に記載の装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は一般にコンピュータ・サイエンス、機械学習、人工知能、ディジタル信号処理の分野に関し、特に、「機械リスニング」としても知られている、コンピュータがオーディオ・ビットストリームを学習できる、機械学習とディジタル信号処理の組み合わせに関する。機械リスニング技術により、コンピュータがまだ経験していないかもしれないが、同じアーティストおよび／またはジャンルの他の楽曲に触れることによって収集した特徴をもつ楽曲から、アーティストおよび／またはジャンルの情報を抽出することが可能になる。
【０００２】
【従来の技術】
周波数ドメイン（たとえば、録音あるいはディジタル・オーディオ）、および楽譜（たとえば、音符、編曲）ドメインの両面から、最近では音楽検索に関心が集中している。多くの音楽検索研究の努力は、楽器の形式と、ある場合にはジャンルの分類を扱っている。
【０００３】
Foote は、音声認識および検索の出発点からオーディオ情報検索の概要ついて述べており、音楽ドメインを「大きく、極端に可変的なオーディオ・クラス」と呼んでいる。「オーディオ情報検索の概要」（ＡＣＭ-Springer Multimedia Systems 1998）を参照のこと。
【０００４】
同様に、Herreraらは、ディジタル・オーディオに使用される種々の分類技術の概観している。「音楽コンテントの記述のための楽器区分に向けて：楽器分類技術の批評」（Proceedings ofＩＳＭＩＲ 2000、Plymouth, Ma.）を参照のこと。Herrera らは、Ｋ最近接（Ｋ−ＮＮ）、素朴なベイズ分類器、判別式分析、ニューラル・ネットワークおよびサポート・ベクトル・マシン（ＳＶＭ）のような方法について論じている。
【０００５】
Tzanetakis らは、言葉からジャンルを予測し音楽を分類し、オーディオのさまざまな表現に対して作動するオーディオ検索システムＭＡＲＳＹＡＳについて、論じている。「オーディオ情報検索（ＡＩＲ）ツール」（Proceedings of ＩＳＭＩＲ 2000、Plymouth, Ma.）を参照のこと。使用される分類技術には、ガウシアン混合モデルおよびＫ最近接アルゴリズムを含んでいる。
【０００６】
Martin らも楽器識別にＫ−ＮＮを使用しており、全体的に７０％の識別成功率を得ている。「楽器識別：パターン認識によるアプローチ」（第１３６回 Meeting of the Acoustical Society of America, 1998にて発表）を参照のこと。
【０００７】
Foote は、音楽の各１秒スライスのピークＲＭＳ値から成るエネルギー表現から出発して、類似性によりオーケストラの音楽を検索するために動的計画法を使用することを論じている。「ＡＲＴＨＵＲ：長期構造によるオーケストラ音楽の検索」（Proceedings of ISMIR 2000、Plymouth、Ma.）を参照のこと。次に彼は純粋にスペクトル特徴のスペースに移っている。類似の音楽（たとえば、同じ曲の異なる演奏）を検索するために使用される動的計画法は、使用された小規模のコーパスに対して十分であることを証明した。探索と分類のための語彙素としての音楽データについても、Pickens が楽譜レベルで論じてられている。「モノホニック音楽検索についての言語モデリングと確率的テキスト情報検索アプローチの比較」（Proceedings of ISMIR 2000、Plymouth、Ma.）を参照のこと。
【０００８】
Logan は、音楽モデリングのタスクに対するＭＦＣＣの使用について述べている。「音楽モデリングのためのメル周波数ケプストラム係数」（Proceedings of ISMIR 2000、Plymouth、Ma.）を参照のこと。ＭＦＣＣは、より心理音響学的な音響周波数の増加を基準として評価し、さらに非相関に対する主成分分析を近似するための内蔵の離散的コサイン変換（ＤＣＴ）段階を有する点で、よりスマートな高速フーリエ変換（ＦＦＴ）として提供される。音楽／非音楽分離についての彼女の実験は、高レベルの音楽検索におけるＭＦＣＣの将来性を示している。
【０００９】
音楽のスペクトル特徴にもとづいて動作する二、三の商業志向の音楽推奨および著作権保護システムが存在する。このような例は、音楽の特徴を選択するためには情報が限定されている Moodlogic(www.Moodlogic.com)や、Relatable Technologies (www.relatable.com) により使用される楽曲認識コンポーネントはその特徴スペースからアーティスト情報を推論することができない。
【００１０】
【発明が解決しようとする課題】
楽曲認識システムは、作品が犯罪的に、あるいは無許可の手段で販売されているかどうかを調べる必要がある著作権所有者にとっては利益がある。このようなシステムの現在の欠点は、所有する各楽曲の表現を包括しなければならないことであり、これは大規模なレコード会社および楽曲コレクション以外には不可能である。この検索スペースの中で行われる問い合わせは、多くの処理時間を要するだろう。さらに、新しい楽曲は手作業で追加する必要がある。
【００１１】
特定の楽曲を識別する代わりに、未知の楽曲のアーティストを識別できるシステムは、著作権所有者が各アーティストの二、三の代表的なサンプルを提供しなければならないだけであるから、これらの課題を解決する。本システムは、このアーティストを独自で分類可能にしている特徴のセットを「推論する」。将来の分類は完全に未知の音楽を偶然発見し、非常に迅速に以前に学習した特徴スペースと照合する。
【００１２】
【課題を解決するための手段】
本発明のシステムは、オーディオ・データを分類する音楽特有の表現生成器とともに、例えばニューラル・ネットワークやサポート・ベクトル・マシンのような機械学習技術の組み合わせを使用する。
【００１３】
詳細には、本発明はマシン処理が可能なパルス符号変調されたビットストリームに変換されたオーディオ信号から出発する。このビットストリームは、次にオーディオ信号を構成する成分周波数の知覚表現に変換される。
【００１４】
機械学習技術による処理を容易にするために、知覚表現は時間スライスに分割される。知覚表現の周波数データは、次に少数の周波数バンドに圧縮される。結果は、オーディオ信号の各時間スライスに対する学習表現となる。オーディオのスライス表現は、検索に対して、楽曲とその演奏者と作品を適切に表現する。
【００１５】
この学習表現は、次に、それぞれ特定の特徴を識別するように訓練された多数のサポート・ベクトル・マシンによる多段階分類器で処理される。各サポート・ベクトル・マシンの結果は、メタ学習ベクトルに収集され、同様に一連の特徴が識別できるように訓練されているニューラル・ネットワークに入力される。ニューラル・ネットワークは、メタ学習ベクトルを入力として使用し、分類を行う。
【００１６】
著作権所有者は、例えばアーティストの作品の大規模な音楽データベースを迅速に探索するためにこのシステムを使用することができるだろう。逆に、特定のアーティストの音楽を見つけることを望む末端消費者も、本システムを使用することができるだろう。本システムは大規模な音楽データ群をディジタル・ドメインに変換することにも使用できる。本システムは、手作業でアーティスト情報を入力せずに自動的に分類をすることができる。本発明のシステムによって生成された表現は、コンテント・ベースの音楽検索に対しても推薦手段として使用できる。
【００１７】
本発明による、これらおよび他の特徴、特色、利点は、以下の説明、添付した特許請求の範囲、付随する図面に関連してより良く理解されるであろう。付随する図面においては、同じ参照番号は、すべての図面にわたって同じ部を示している。
【００１８】
【発明の実施の形態】
図１を参照にすると、システム１００は何らかのソース１０２からオーディオ信号を受信することによって開始する。ソース１０２は、オーディオ・コンテントを含む信号１０３を生成する。オーディオ・コンテントは、ＣＤあるいは他の媒体からの録音、受信した放送、音楽データを格納したファイル、あるいは、ライブ・パフォーマンスからの入力でもよい。信号１０３は、パルス符号変調（ＰＣＭ）符号化回路１０４によって再標本化されるか、直接コピーされる。ＰＣＭ符号化回路１０４は、オーディオ信号１０３のディジタル表現、すなわちオーディオ・ビットストリーム１０５を出力する。
【００１９】
次に、オーディオ・ビットストリーム１０５は、知覚表現（ＰＲ）生成器１０６によりＰＲ１０７に変換される。このＰＲは、学習表現（ＬＲ）生成器１０８によってＬＲ１０９に変換する。ＬＲ生成器１０８からの出力ＬＲ１０９は、多段階分類器１１０への入力になる。多段階分類器１１０は、適切な訓練の後に経験した多様なアーティストの区別をすることが可能になる。出力１１２は、ソース１０２を多数のカテゴリーの１つ、たとえばアーティストで分類したものになる。
【００２０】
図２を参照すると、ビットストリーム１０５からＬＲ１０９の完全な形成過程が概念的に示されている。ビットストリーム１０５は、一定の時間間隔で標本化され、測定されたオーディオ信号１０３の表現である。しかしながら、システムが人間のように聴けるようにするなら、聴覚器官を振動させることが可能な符号化、すなわち、周波数領域を解読できなければならない。
【００２１】
ビットストリーム１０５をＰＲ１０７に変換する望ましい方法は、高速フーリエ変換（ＦＦＴ）である。ＰＲ生成器１０６は、以下に説明する基準によって、ＦＦＴを実行し、その結果としてＰＲ１０７を生成する。ＦＦＴの場合、ｎ個の標本時間ウインドウが与えられると、出力は周波数ベクトルの正弦および余弦成分の係数である。ｎの選択は、性能の必要に応じて変えることができる。大きいウインドウは一度に多くを処理できるが、「実時間」解析に対して待ち時間が生じる。１，０２４個の標本時間ウインドウが適当であることがわかった。
【００２２】
ＰＣＭサンプリングの性質は、サンプリング・レートが標本化される信号の最も高い周波数の２倍でなければならないというもので、これはナイキスト基準として知られている。ＣＤオーディオの場合、サンプリング・レートは４４ｋＨｚである。さらに、ＦＦＴの性質は、サンプリング・レートと同じ大きさのｎ個の周波数ベクトルの成分の大きさを計算するというものである。しかしながら、ナイキスト基準から、ＰＣＭデータには、サンプリング・レートの１／２を超える、正確に表現される周波数は存在しえないことが知られている。さらに、周波数領域にわたって、大きさは鏡画像であることが明らかにされている。加えて、２２ｋＨｚを超える周波数は、変換されるオーディオ信号に関連するには高すぎる。したがって、このミラーリングの効果を避けるために、２２ｋＨｚを超える周波数成分は破棄される。
【００２３】
これは、０Ｈｚと２２ｋＨｚの間の５１２個の周波数ベクトルの正弦および余弦成分の大きさの重みを残す。ピタゴラスの定理を用いて、これらの正弦および余弦成分の大きさから、各周波数ベクトルの大きさが計算される。結果は、各１，０２４の標本時間ウインドウに対して、その時にオーディオを構成している５１２個の成分周波数ベクトルのそれぞれの大きさの値である。
【００２４】
したがって、ＰＲ生成器１０６は上記のＦＦＴ計算を行い、結果として生ずるデータは、時間（ｔ）、周波数（ｆ）、大きさ（Ｍ）の次元を有する３次元マトリックス２０１で上手く表現できる。この周波数の大きさのマトリックス２０１は、オーディオ・ビットストリーム１０５の知覚表現１０７である。
【００２５】
ＬＲ生成器１０８の中で、このマトリックス２０１は、時間軸に沿って、例えば１．２秒の長さの、ｎ個の順次索引付けられた離散的な時間スライス２０３に分割される。代表的な実施形態においては、時間スライス２０３は、１２個の標本時間ウインドウからなる。周波数の大きさは、特定の時間スライス２０３を構成する標本時間ウインドウの全体にわたって平均される。したがって、各周波数において、各時間スライス２０３は１つの平均の大きさのみを有する。
【００２６】
効率的な機械学習のためには、訓練と分類の限定例を考えると、５１２のディメンジョンはなおも多すぎる。これを減らすために、各時間スライス２０３は、ｊ個の順次索引付けられた周波数バンド２０５に細分割される。テストにおいては、ｊ＝２０の場合に最良の結果が得られた。
【００２７】
さらに、各周波数バンドのサイズは、通常、最も重要な情報が存在するところを反映するように選択されるべきである。音楽では最大の情報は、１１ｋＨｚ未満のスペクトルの低域にわたって存在する。加えて、オクターブ・サイズは、黄金比（Ａ4＝４４０ｈｚ、Ａ5＝８８０ｈｚ、Ａ6＝１７６０ｈｚ、等）にしたがって対数的に増大する。各周波数バンドのサイズは、低域の周波数に密集している周波数情報を最も良く捕らえるように、この黄金比にしたがって大きくするべきである。
【００２８】
特定のバンド内の各周波数成分ベクトルの大きさは、スカラー量Ｍｉに平均化される。ＬＲ生成器１０８からのＬＲ１０９出力は、ＬＲベクトル２０７の形式である。各ＬＲベクトル２０７を有するｊ個の次元Ｍｉがあり、ｉは各次元の対応する周波数バンド２０５の指数である。各ＬＲベクトル２０７は、１つの楽曲の１個の時間スライスを表す。
【００２９】
次に図３を参照すると、本発明の多段階分類器１１０が概念的に示されている。第１の段階３０１は、それぞれ特定のアーティストのＬＲを識別するように訓練されたｙ個のＳＶＭ３０２を有する。次に、未知のＬＲベクトル２０７は、各ＳＶＭ３０２に与えられる。各ＳＶＭ３０２は、その特定のＬＲベクトル２０７の特徴が、いかにうまくあるいはまずく、各ＳＶＭ３０２が識別できるように訓練された特徴に適合するかに応じて、それぞれ１と−１の間の値Ｏ３０６を出力する。
【００３０】
ＳＶＭ３０２を訓練するには、特定の特徴、たとえばアーティストの多数のＬＲベクトル２０７をＳＶＭ３０２に与えることを必要とし、１に近い値に出力値Ｏ３０６を保持するよう指示する。訓練は、異なる特徴、すなわち、異なるアーティストに属する特徴の多数のＬＲベクトル２０７を与えることをさらに必要とし、ＳＶＭ３０２に対して−１に近い値に出力値Ｏ３０６を保持するよう指示する。いくつかの代表的なＬＲベクトルにわたって、ＳＶＭは、特定のアーティストに固有の、特定の周波数の大きさとその間の関係を推測する。
【００３１】
この第１の段階においては、１つの特定の特徴、たとえばアーティスト、ジャンル等についてのイエス／ノーの表示しか望まないならば、１個のＳＶＭ３０２で十分であろう。しかし、複数のアーティストを識別するために、正しいアーティストを直感することは、複数のＳＶＭ３０２出力を人間が観察しても不可能であろう。これを達成するために、「メタ学習」マシンが必要である。多段階分類器１１０の最後の段階３０４は、メタ学習器である。本発明においては、最後の段階３０４はニューラル・ネットワーク３０３である。
【００３２】
各ＬＲベクトル２０７にもとづいた各ＳＶＭ３０２の出力値Ｏ３０６は、メタ学習ベクトル３０５の中に配置される。このメタ学習ベクトル３０５は、次に、最後の分類を行うために、ニューラル・ネットワーク３０３に入力される。
【００３３】
ニューラル・ネットワーク３０３は、各ＳＶＭ３０２の各出力に対して１つずつ、計ｙ個の入力ノード３０７、さらに、ｙ個の出力ノード３０９を有する。ニューラル・ネットワーク３０３は、図示していない隠れノードからなる隠れレイヤー３１１をさらに有する。代表的な実施形態では、ニューラル・ネットワーク３０３は、各入力ノードとして、１組の２倍精度浮動小数点値を有する。このようなシステムにおいて典型的であるように、ニューラル・ネットワーク３０３は、入力に応じて０と１の間の出力値を各出力ノードに割り当てる。
【００３４】
ニューラル・ネットワーク３０３を訓練するために、公知のアーティストに対応するメタ学習ベクトル３０５が入力され、正しいアーティストに対応する出力ノードは０．９に設定される一方、他のすべての出力ノードは０．１に設定された。このタイプのシステムを訓練する場合、出力範囲の両極を避けることはよく知られている。
【００３５】
ニューラル・ネットワーク３０３が訓練を完了すると、ネットワークの２値表現をディスクへ書き込む。ニューラル・ネットワーク３０３の活性関数、隠れレイヤー３１１の隠れノードの数、学習アルゴリズムは、すべて実行時間に変えることが可能である。例えば、最も雑音のうるさいオーディオ・データに対して最も良く実行され、少なくとも入力ノードと同数の隠れノードを有するガウス活性関数は、高い試験精度を与えた。
【００３６】
分類処理の１つの特徴はその信頼度評価である。時間スライス２０３の学習表現ベクトル２０７を使用すると、１セットの中の多数の例は相互に類似しすぎていて、ニューラル・ネットワーク３０３は混乱し、各出力ユニットに低いスコアを割り当てる恐れがあり、本質的に分類が不可能になる。しかしながら、楽曲ごとに多数のスライスが存在するので、ニューラル・ネットワークの根拠の乏しい決定の多くは、他の決定ほど強い根拠がないと判明すれば、容易に「廃棄」することができる。
【００３７】
これを説明するために、本システムは信頼度の測定基準を含み、ニューラル・ネットワーク３０３の分類出力ノード３０９の中の最高値から、出力ノード３０９の中の２番目に高い値を減算し、再度最高値を乗算した値と定義する。０．１を超える信頼度を有する決定のみが考慮される。
【００３８】
分類処理の間に、このしきい値を超える決定の最も多くを有する出力ノード３０９に対応するアーティストがその楽曲に割り当てられる。
【００３９】
各楽曲ｓは、ｎ個の部分に分けられる。最終的には、ｋ個の部分ごとの中から１個のみが分類を行うために使用される。楽曲ｓからの各部分は、オーディオ・スペクトルに沿って分布しているｊ個の周波数バンドとして定義される。次に、ＬＲベクトル２０７は、訓練システムに対する「例」となり、各ｓはｎ／ｋ個のＬＲを含む。
【００４０】
特定のスライスｎの長さが、秒単位で、０．０９秒から２．０秒の間でテストされた。約０．８−１．２秒の「２ビート長」の長さの付近で最良の結果が見出された。これは毎秒１２０ビートの最も普通のテンポにおいて、ほぼ２ビートになる。音楽を定める変化を識別するのに２ビートを要し、これはディジタル・ドメインでも同様である。
【００４１】
周波数バンド化は、スライス表現中の度数ｊを決定する。各スライスは、周波数ベクトルに沿った１群のバンドである。例えば、ｊ＝１０において、我々は周波数ベクトルを１０の部分に分割し、各範囲の大きさを使用する。残念ながら、１０個のバンドの配列はあまりよくは機能しない。２０−４０の範囲、好ましくは２０で、より良い結果が得られた。
【００４２】
最後に、スキップ・パラメータｋがある。オーディオ内のすべてのスライスを1つずつ使用すれば、単にデータが多すぎるだけである。例えば、３分５秒の楽曲はそれぞれ１．２秒の１５０以上のスライスを作り、ＬＲベクトル２０７の限定されたディメンジョンを仮定すると、学習あるいは認識に対して必要以上である。利用可能なスライスの一部分のみを考慮すれば、正確度に影響を与えずに、学習および認識処理の両方を高速化できる。ｋ＝２の試験において、ｋ番目毎のスライスのみが、処理される全体の表現に寄与する。
【００４３】
サポート・ベクトル・マシンは技術用語として使用されていることに注意すべきであり、単語「マシン」自身は口語的表現である。考慮の対象は学習処理であり、そのいくつかは１つ以上のマシンで実行することが可能である。同様に、ニューラル・ネットワークについても、考慮の対象は処理であり、具体的な装置ではない。しかしながら、これは本発明が開示した処理に限定されていることを意味すると誤解するべきではない。本発明の実施形態は、本発明のデータ抽出および分類を行うためのコンピュータ装置、および／または、本発明によるデータ抽出および分類を実行するようにコンピュータを指示する命令プログラムを格納する、コンピュータで読み取りが可能な媒体を含む。
【００４４】
全体のシステム１００は、交換可能な「接着」レイヤーを有する一連の相互接続されたモジュールで構成されているとみることができる。この設計により、本システムが、さまざまな音楽検索に関連するタスクを、順序を変えた構成で実行することが可能になる。各モジュール間の接着レイヤーは、たとえば、ＴＣＰ／ＩＰレイヤーを介して、あるいはディスク上で、あるいは、メモリ、たとえばＸＭＬデータ記憶装置機構を介してネットワーク全体にわたるリンクであってもよい。
【００４５】
考えられるいくつかのモジュールには、ＣＤソースをＰＲに変換するものを含む。別のモジュールは、ＭＰ３ファイルを取り上げ、同様にＰＲに変換する。さらに第３のモジュールは、例えば、スタインバーグＶＳＴフォーマットのバッファされたライブ入力データをＰＲに変換する。
【００４６】
分類処理の中で、後に順次続くモジュールは、我々の新規な処理にしたがって、ＰＲを取り上げ、ＰＲをＬＲに変換することができる。ＬＲを取り上げ、学習オペレーション、あるいは、学習オペレーションの選択された組み合わせを実行することができるモジュールがさらに処理の後にある。
【００４７】
本発明の代表的な実施形態を、楽曲のアーティストを分類するシステムに関連して説明してきた。しかしながら、本発明はこの使用法に限定されるものではなく、ジャンル、あるいは他の特徴について識別することにも同様に適用できる。
【００４８】
本発明の範囲から逸脱することなく、ある程度の他の変更および修正は、当業者にとっては容易であろう。代表的な実施形態は、添付した特許請求の範囲により定められる本発明の範囲を制限するものではない。
【図面の簡単な説明】
【図１】本発明の音楽分類器のフローパスを示す。
【図２】本発明の学習表現生成器のフローパスを示す。
【図３】本発明の多段階分類器のフローパスを示す。
【符号の説明】
１００  全システム
１０２  オーディオ・ソース
１０３  オーディオ信号
１０４  パルス符号変調（ＰＣＭ）符号化回路
１０５  オーディオ・ビットストリーム
１０６  知覚表現（ＰＲ）生成器
１０７  知覚表現（ＰＲ）
１０８  学習表現（ＬＲ）生成器
１０９  学習表現（ＰＲ）
１１０  多段階分類器
１１２  分類出力
２０１  ３次元マトリックス
２０３  時間スライス
２０５  周波数バンド
２０７  学習表現（ＬＲ）ベクトル
３０１  多段階分類器１１０の第１の段階
３０２  サポート・ベクトル・マシン（ＳＶＭ）
３０３  ニューラル・ネットワーク
３０４  多段階分類器１１０の最後の段階
３０５  メタ学習ベクトル
３０６  サポート・ベクトル・マシン（ＳＶＭ）の出力
３０７  入力ノード
３０９  出力ノード
３１１  隠れレイヤー
【図１】
0003743508.tif 000002
【図２】
0003743508.tif 000003
【図３】
0003743508.tif 000004