(57)【特許請求の範囲】
【請求項１】
サウンドの集まりによって構成される楽曲を、コンピュータ・システムによって分類する方法であって、
時間エネルギーエンベロープを使用して前記楽曲の一部に含まれる複数の音のそれぞれのオンセットを検出するステップと、
各音のオンセットを使用して、前記楽曲を前記複数の音に区分するステップと、
該複数の音のそれぞれの特徴ベクトルを生成するステップと、
各音に関連する特徴ベクトルを、ニューラルネットワークを使用して処理することによって、データベースに格納するために楽曲を分類するステップと、を含む方法。
【請求項２】
該複数の音のそれぞれの特徴ベクトルを生成するステップは、音の調和部分音を検出し、該調和部分音に基づいて特徴ベクトルを生成することを含む請求項１に記載の方法。
【請求項３】
音の調和部分音を検出することは、前記調和部分音を推定するために少なくとも１つの音の中の少なくとも１つの点を確定することと、該少なくとも１つの点を中心とし複数のサンプルを含む、前記少なくとも１つの音に対するオーディオフレームを形成すること、該オーディオフレームの自己回帰モデルによって生成されるスペクトルを計算すること、該オーディオフレームの該生成されたスペクトルにおける検出されたピークに基づいて、前記少なくとも１つの音の基本周波数値としての候補のリストを生成すること、を含む請求項２に記載の方法。
【請求項４】
前記特徴ベクトルは、各音の時間的特徴を含む請求項１に記載の方法。
【請求項５】
少なくとも１つの音の時間的特徴は、少なくとも１つの音における振動度を含む請求項４に記載の方法。
【請求項６】
前記特徴ベクトルは、各音のスペクトル特徴を含む請求項１に記載の方法。
【請求項７】
前記特徴ベクトルは、少なくとも一つの、各音の正規化された特徴を含む請求項１に記載の方法。
【請求項８】
前記ニューラルネットワークがトレーニング可能である請求項１に記載の方法。
【請求項９】
前記分類するステップは、逆伝播アルゴリズムの複数ラウンドを使用して多層パーセプトロンファジーニューラルネットワークをトレーニングすることを含む請求項１に記載の方法。
【請求項１０】
前記分類するステップは、各楽器に対してガウス混合モデルをトレーニングすることを含む請求項１に記載の方法。
【請求項１１】
データベースに格納するためにメタデータによって前記楽曲をインデクシングするステップを含む請求項１に記載の方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、包括的には複数の音（note）を含む楽曲の分類に関し、特に、データベースの管理中のインデクシングおよび検索のための楽曲の分類に関する。
【０００２】
【従来の技術】
既知の研究は、電子音楽を製作するための合成された音の生成等、個別の音の電子合成を対象としてきた。また、研究は、楽器（すなわち、電子およびアコースティックの両方）によって生成される個々の音の解析も対象としてきた。これらの分野における研究は、モノフォニックサウンド（すなわち、一度に１音を生成する単一楽器からのサウンド）としての、または合成（例えば、ＭＩＤＩ）音楽としての、単一音の分類および／または生成を対象としてきた。
【０００３】
単一音の生成および／または分類のための既知の技術は、単一音に関して使用することができる特徴抽出方法と分類ツールとの開発を伴ってきた。例えば、Alicja Wieczorkowskaによる「Rough Sets As A Tool For Audio Signal Classification」Technical University of Gdansk、Poland、pp.367〜375は、楽器サウンドの自動分類を対象とする。Judith C.Brownによる「Computer Identification of Musical Instruments Using Pattern Recognition With Cepstral Coefficients As Features」、J.Acoust.Soc.Am 105(3) March 1999、pp.1933〜1941は、パターン解析において特徴としてケプストラル係数を使用することを述べている。
【０００４】
分類のための特徴として個々の音のウェーブレット係数と聴覚モデリングパラメータとを使用することも既知である。例えば、Jeong,Jae-Hoon等による「Musical Timbre Recognition With Neural Networks」、Department of Electrical Engineering、Korea Advanced Institute of Science and Technology、pp.869〜872と、Cosi,Piero等による「Auditory Modeling and Self-Organizing Neural Networks for Timbre Classification」、Journal of New Music Research、Vol.23(1994)、pp.71〜98とをそれぞれ参照のこと。これら後の２つの文書はまた、Fragoulis,D.K.等による「Timbre Recognition of Single Notes Using An ARTMAP Neural Network」、National Technical University of Athens、ICECS 1999(IEEE International Conference on Electronics、Circuits and Systems)のpp.1009〜1012およびCostantini, G.等による「Recognition of Musical Instruments By A NonExclusive Neuro-Fuzzy Classifier」、ECMCS’99、EURASIP Conference、June24〜26、1999、Krakow、4 pagesと共に、分類ツールにおいて人工ニューラルネットワークの使用を対象とする。Kristoffer Jensenによる「Spectral Envelope Modeling」、Department of Computer Science、University of Copenhagen、Denmarkと題された別の文書は、典型的な楽音のスペクトルエンベロープを解析することを述べている。
【０００５】
【発明が解決しようとする課題】
既知の研究は、複数音を含む連続的な楽曲および／または複数の楽器および／または１度に演奏される複数音によって生成されるポリフォニック音楽の解析は対象としてこなかった。さらに、既知の解析ツールは、複雑であり、データベース管理中の楽曲のインデクシングおよび検索等のリアルタイムアプリケーションには不適当である。
【０００６】
【課題を解決するための手段】
本発明は、楽曲に含まれる複数の音のそれぞれに対して確定された特性に基づいて楽曲を分類することを対象とする。例示的な実施形態は、音楽の連続的な一部分において、音の開始点および終了点が、前の音、次の音、または１つまたは複数の楽器によって同時に演奏される音とオーバラップする可能性がある、という事実に適応する。これは、異なる楽器が大幅に異なる特性を有する音を生成する、というさらなる事実によって複雑になる。例えば、トランペットまたはフルートによって生成される音等、持続(sustaining)段階をもつ音は、その持続段階の中間において高エネルギーを有し、ピアノまたはギターによって生成される音等、持続段階をもたない音は、その音が最初に生成されるアタック(attacking)段階で高エネルギーを有する。例示的な実施形態では、これら複雑性を扱うことにより、データベースにおいてリアルタイムでの楽曲のインデクシングおよび検索を可能とし、それによってデータベース管理を簡略化しデータベースに含まれるマルチメディア資産を探索する機能を拡張する。
【０００７】
概して、例示的な実施形態は、サウンドの集まりによって構成される楽曲を分類する方法であって、時間エネルギーエンベロープを使用して楽曲の一部に含まれる複数の音のそれぞれのオンセット(onset)を検出するステップと、複数の音のそれぞれの特性を確定するステップと、複数の音のそれぞれに対して確定された特性の統合に基づき、データベースに格納するために楽曲を分類するステップとを含む方法を対象とする。
【０００８】
ここで、本発明を、添付図面において例示する好ましい実施形態を参照してより詳細に説明する。図面において、同じ要素は同じ参照符号を有する。
【０００９】
【発明の実施の形態】
図１のシステムは、サウンドの集まりによって構成される楽曲を分類する方法であって、時間エネルギーエンベロープを使用して楽曲の一部における複数の音のそれぞれのオンセットを検出するステップを含む方法を実現する。例えば、モジュール１０２は、音のオンセットを検出することにより、楽曲を音に区分することを含む。
【００１０】
図１のシステムは、さらに、オンセットが検出された複数の音のそれぞれの特性を確定するモジュール１０４を含む。確定された特性は、各音における調和部分音(harmonic partials)を検出することを含むことができる。例えば、ポリフォニックサウンドの場合、最強サウンドの部分音を識別することができる。各音の特性を確定するステップは、モジュール１０６によって表すように各音の時間的特徴、スペクトル特徴および部分音の特徴を計算することを含むことができ、音の特徴はモジュール１０８において最適に正規化される。
【００１１】
図１のシステムはまた、複数の音のそれぞれに対する確定された特性の統合に基づいて、データベースに格納するために楽曲を分類する、１つまたは複数のモジュールも含む。例えば、図１のモジュール１１０によって表すように、各音は、ニューラルネットワークとガウス混合モデル（Gaussian mixture model（ＧＭＭ））とのセットを使用することによって分類することができる。モジュール１１２において、音分類結果を統合することにより、楽曲分類結果を提供することができる。楽曲に割当てられた分類に基づいてデータベースに格納するために楽曲をインデクシングするために使用することができるあらゆる情報として表された、メタデータを確立するために分類を使用することができる。同様に、データベースから楽曲を検索するためにメタデータを使用することができる。本発明の技術によれば、分類、インデクシングおよび検索をリアルタイムで実行することができるため、例示的な実施形態がオンラインデータベース管理に適したものとなる。当業者は、本明細書で説明する機能を、いかなる数（例えば、１または複数）のモジュールにおいていかなる所望の仕方によっても結合することができ、あるいは、ソフトウェアおよび／またはハードウェアコンポーネントの単一の統合システムとして非モジュール形式で実現することができることを認めるであろう。
【００１２】
図２は、楽曲を区分する目的で、楽曲に含まれる複数の音のそれぞれのオンセットを検出することに関連する例示的なステップを詳述する。例示的な図２の方法は、時間エネルギーエンベロープを使用して、時間エネルギーエンベロープのエネルギー値の急峻な下降および／または上昇によって表されるような、楽曲の一部に含まれる複数の音のそれぞれのオンセットを検出することを含む。図２を参照すると、ステップ２０２において、音楽データがデジタル音楽ファイルからバッファに読込まれる。ステップ２０４において、第１のカットオフ周波数ｆ１を使用して取得されるような、楽曲の時間エネルギーエンベロープＥ１が計算される。例えば、楽曲は、１０Ｈｚかまたはそれより小さいかまたは大きいオーダでエネルギーエンベロープを有することができる。
【００１３】
時間エネルギーエンベロープの計算は、ステップ２０６において楽曲のすべての音楽データを調整する(rectify)ステップを含む。ステップ２０８において、調整された音楽に対し、カットオフ周波数「ＦＲＥＱ」を有するローパスフィルタが適用される。当然ながら、所望の時間エネルギーエンベロープを識別することができれば、いかなるフィルタを使用することも可能である。
【００１４】
ステップ２１０において、時間エネルギーエンベロープＥ１の一次差分Ｄ１が計算される。例示的な実施形態では、ブロック２１４、２１６および２１８において、２閾値を使用して潜在的な音のオンセット「ＰＯ」を識別することができる（２１２）。
【００１５】
例えば、１つの例示的な２閾値方式によれば、２つの閾値ＴｈおよびＴｌの値は、実験式を使用して、例えば時間エネルギーエンベロープＥ１の平均と一次差分Ｄ１の標準偏差とに基づいて確定される。一例では、十分に強いとみなされる音のみが検出され、それより弱い音は無視される。それは、流れに沿って実行される調和部分音検出および調和部分音パラメータ計算は、弱い音に関して信頼性が低い可能性があるためである。実施例では、ＴｈおよびＴｌがＥ１の平均とＤ１の標準偏差とに基づいて適応可能に確定される場合、Ｔｈは固定比率でＴｌより高くすることができる。例えば、
Ｔｈ＝ｃ１×平均（Ｅｌ）＋ｃ２×標準偏差（Ｄ１）
Ｔｌ＝Ｔｈ×ｃ３
ここで、ｃ１、ｃ２およびｃ３は定数である（例えば、ｃ１＝１．２３／２０００、ｃ２＝１、ｃ３＝０．８、あるいは他の任意の所望の定数値）。
【００１６】
以下の２つの基準のうちの少なくとも１つを満足する時間エネルギーエンベロープの一次差分のピークが探索される。すなわち、正のピークが第１の閾値Ｔｈより高いか、あるいは正のピークは第２の閾値Ｔｌより高く負のピークはその直前の−Ｔｈより低い、という基準である。各検出されたピークは、潜在的オンセット「ＰＯ」としてマークされる。潜在的オンセットは、例示的な実施形態では、時間エネルギーエンベロープＥ１における、値の急峻な上昇および／または下降に対応する。
【００１７】
２閾値方式かまたは他の任意の数の閾値（例えば、単一閾値か、または３つ以上の閾値）を使用して潜在的な音のオンセットを検出した後、楽曲の第２の時間エネルギーエンベロープにおいて、音のオンセットの正確な位置が探索される。したがって、ブロック２２０において、第２のカットオフ周波数ｆ２を使用して取得されるように、楽曲の第２の時間エネルギーエンベロープがＥ２として計算される（例えば、楽曲のエンベロープを生成するために使用されるカットオフは、２０ヘルツかあるいはそれより小さいかまたは大きい）。ステップ２２２において、Ｅ２における潜在的な音のオンセット「ＰＯ」が識別される。正確な音のオンセット位置が識別され、フォールスアラーム(false alarm)（楽器の振動によるエネルギーの上昇または下降等）が除去される。
【００１８】
第２の時間エネルギーエンベロープにおける潜在的な音のオンセットのチェックのプロセスは、ステップ２２４を含み、そこでは、各潜在的な音のオンセットに対し、時間エネルギーエンベロープＥ２における音の開始点が探索される。潜在的オンセットは、その点に対して再配置され、最終的な音のオンセットとして新たに命名される。ステップ２２６において、所与の上昇／下降期間に複数の潜在的なオンセットが検出された場合、１つの音の中で余剰の潜在的な音のオンセットが除去される。ステップ２２８において、楽器の振動によってもたらされるフォールスアラームの潜在的なオンセットが除去される。
【００１９】
ステップ２３０において、最終的な音のオンセットが保存される。ステップ２３２において、時間エネルギーエンベロープＥ２を解析することにより、音の終了点が探索され、音の長さが記録される。楽曲の一部に含まれる複数の音のそれぞれのオンセットを検出するステップを使用して、楽曲を音に区分することができる。
【００２０】
図３Ａは、複数の音のそれぞれの特性の検出、特に、各音に関連する調和部分音の検出モジュール１０４を示す。調和部分音は、調波サウンドの基本周波数の整数倍であり、例えば、周波数領域におけるピークとして表される。図３Ａを参照すると、ステップ３０２において、デジタル音楽ファイルからバッファに音楽データを読出すことができる。最終的オンセットＦＯによって表される音のオンセット位置が、音の長さ（すなわち、図１のモジュール１０２の出力）と共に入力される。ステップ３０４において、正しい点Ｋが、最終オンセット位置によって識別される各音に関連する調和部分音を推定するために識別される。
【００２１】
調和部分音を推定するために適した点Ｋを確定するために、ステップ３０６において、各音に対しエネルギー関数が計算される。すなわち、値Ｘｎを有する音の各サンプルｎに対し、ブロック３０８に示すように、その音のエネルギー関数Ｅｎが以下のように計算される。
【００２２】
Ｘｎが０以上である場合  Ｅｎ＝Ｘｎ
Ｘｎが０未満である場合  Ｅｎ＝−Ｘｎ
判断ブロック３１０において、音の長さが確定される。例えば、音の長さＮが、３００ミリ秒かあるいはそれより短いかまたは長い等の所定の期間より、短いか否かが判断される。短い場合、ブロック３１２に示すように、点ＫはＮ／２に等しい。そうでない場合、ブロック３１４に示すように、点Ａは音のオンセットに等しく、点Ｂは１５０ミリ秒等の所定の期間に等しく、点ＣはＮ／２に等しい。ステップ３１６において、エネルギー関数Ｅｎの最大値を有する点ＡとＣとの間の点Ｄが探索される。判断ブロック３１８において、点Ｄが点Ｂと比較される。点Ｄが点Ｂより小さい場合、ステップ３２０においてＫ＝Ｂとなる。そうでない場合、ステップ３２２においてＫ＝Ｄとなる。
【００２３】
ステップ３２４において、例示的な実施形態では、ある点に集中しＮ個のサンプル（例えば、Ｎ＝１０２４か、２０４８か、それより少ないかまたはそれより多い）を含み、「Ｋ」が中心であるオーディオフレームが形成される。
【００２４】
ステップ３２６において、次数「Ｐ」のオーディオフレームの自己回帰（ＡＲ）モデルにより生成されるスペクトルが計算される（例えば、Ｐは８０または１００かあるいは他のあらゆる所望の数に等しい）。ＡＲモデル生成スペクトルの計算は、ステップ３２８においてオーディオフレームの次数Ｐの自己回帰（ＡＲ）モデルパラメータを推定することによって実行される。
【００２５】
ＡＲモデルパラメータは、例えば、N.Mohantyによる「Random signals estimation and identification――Analysis and Applications」、Van Nostrand Reinhold Company、1986に述べられているようなＬｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎアルゴリズムによって推定することができる。例えば、まず、オーディオフレームの自己相関が、自己相関値Ｒ（ｋ）のセットとして計算され、その後、Ｌｅｖｉｎｓｏｎ−Ｄｕｒｂｉｎアルゴリズムを使用して自己相関値からＡＲモデルパラメータが推定される。ステップ３３０において、自己回帰パラメータとＮ点高速フーリエ変換（ＦＦＴ）（Ｎはオーディオフレームの長さ）とを使用してスペクトルが計算され、パワースペクトル値の平方根の対数がとられる。ステップ３３２において、スペクトルが、単位エネルギー／ボリュームおよびラウドネスを提供するように正規化される。スペクトルは、周波数表現の平滑化されたバージョンである。例示的な実施形態では、ＡＲモデルは全極モデル表現であり、そのためスペクトルにおいてピークが突出している。直接計算されたスペクトルを使用することができる（例えば、オーディオフレームに直接１つのＦＦＴのみを適用することによってもたらされる）が、例示的な実施形態は、ＡＲモデル生成スペクトルにおける倍音ピーク(harmonic peaks)を検出する。
【００２６】
ステップ３３４において、オーディオフレームのＡＲモデル生成スペクトルを計算すると、スペクトルのすべてのピークが検出されマークされる。ステップ３３６において、検出されたすべてのピークに基づいて、各音の基本周波数値の候補のリストが「ＦｕＦＬｉｓｔ（）」として生成される。例えば、ステップ３３８によって表すように、５０Ｈｚと３０００Ｈｚとの間のあらゆる検出されたピーク「Ｐ」に対し、ＦｕＦＬｉｓｔにおいて、Ｐ、Ｐ／２、Ｐ／３、Ｐ／４等が配置される。ステップ３４０において、このリストは、重複した値を除去するように再配置される。指定された範囲（例えば、範囲５０Ｈｚ〜２０００Ｈｚ）外の値は除去される。
【００２７】
ステップ３４２において、リストＦｕＦＬｉｓｔにおける各候補ＣＦｕＦに対し、Ｓ（ＣＦｕＦ）とラベル付けされたスコアが計算される。例えば、ステップ３４４を参照すると、リストの候補ＣＦｕＦのそれぞれの整数倍であるピークを検出するための探索が行われる。以下のように、
Ｐ１〜ＣＦｕＦ；
Ｐ２〜Ｐ１＋ＣＦｕＦ；…
Ｐｋ＋１〜Ｐｋ＋ＣＦｕＦ；…
Ｐｋが見つからない場合、Ｐｋ＋１〜Ｐｋ−１＋ＣＦｕＦ×２等となる。
【００２８】
この手続きはまた、ＣＦｕＦ値に不調和(inharmonicity)または不正確さがある音にも適応することができる。
【００２９】
ステップ３４６において、実験式を使用して、取得されたピークの数およびパラメータに基づいてスコアＳ（ＣＦｕＦ）が計算される。概して、計算されたスコアは、検出された倍音ピークの数と、限定はしないが、振幅、幅および鋭さを含む各ピークのパラメータとに基づくことができる。例えば、各ピークの第１のサブスコアを、振幅（例えば２つの値、すなわちピークの左側の１つおよびピークの右側の１つ）、幅および鋭さの重み付き合計として計算することができる。重みは、経験的に確定することができる。幅および／または鋭さに関し、最大値は所望の通りに指定することができる。実際の値は、最大値を超える場合、サブスコアを計算するためにその最大値に設定することができる。また、最大値を経験的に選択することができる。そして、サブスコアの合計として総スコアが計算される。
【００３０】
音の潜在的な基本周波数値のリストに含まれる各候補のスコアＳ（ＣＦｕＦ）を計算すると、ステップ３４８において、基本周波数値ＦｕＦと関連する調和部分音ＨＰとが選択される。より詳細には、ステップ３５０を参照すると、各候補の基本周波数値のスコアが比較され、ステップ３５０において所定基準（例えば、最大スコア、最低スコア、または所望の基準に適合する任意のスコア）を有するスコアが選択される。
【００３１】
判断ブロック３５２において、選択されたスコアＳ（ＭＦｕＦ）が、スコア閾値と比較される。最大スコア基準が使用されるとすると、スコアが閾値より小さい場合、基本周波数値ＦｕＦはゼロに等しく、ステップ３５４において倍音(harmonics)ＨＰはヌルとして指定される。
【００３２】
ステップ３５６において、基本周波数値ＦｕＦは、所定基準（例えば、最高スコア）を満足する候補ＦｕＦ（ＣＦｕＦ）値に設定される。より詳細には、図３Ｂを参照すると、スコアＳ（ＭＦｕＦ）が閾値より大きいという判断の結果、フローはブロック３５２１に進み、ＭＦｕＦがスペクトルにおける突出したピークである（例えば、所与の閾値を超える）か否かに関し判断がなされる。そうである場合、フローはブロック３５６に進む。そうでない場合、フローは判断ブロック３５２２に進み、以下を満足する既存のＭＦｕＦ×ｋ（ｋは２〜４等の整数または任意の他の値）があるか否かに関する判断がなされる。すなわち、ＭＦｕＦ×ｋがスペクトルにおける突出したピークであること、Ｓ（ＭＦｕＦ×ｋ）がスコア閾値より大きいこと、Ｓ（ＭＦｕＦ×ｋ）＞Ｓ（ＭＦｕＦ）×ｒ（「ｒ」は、０．８またはいずれかの他の値等の定数）であることである。ブロック２５３２の条件が満たされない場合、フローは再びブロック３５６に進む。そうでない場合、フローはブロック３５２３に進み、ＭＦｕＦはＭＦｕＦ×ｋに等しく設定される。
【００３３】
フローがブロック３５６に進むと、ＦｕＦはＭＦｕＦに等しく設定される。調和部分音もまた確立される。例えば、ブロック３５６において、Ｐｋが見つかる場合、ＨＰｋ＝Ｐｋであり、Ｐｋが見つからない場合、ＨＰｋ＝０である（ｋ＝１、２、…）。
【００３４】
ステップ３５８において、推定された調和部分音シーケンスＨＰは、楽曲において取得された各音の追加の特性を確定するのに使用するために出力される。
【００３５】
この調和部分音を検出する方法は、鮮明な音楽のみでなくバックグラウンドが騒々しい音楽にも、すなわちモノフォニック音楽（１つの楽器および一時に一音のみ）のみでなく、ポリフォニック音楽（例えば、２つ以上の楽器が同時に演奏される）にも作用する。しばしば、演奏において、２つ以上の楽器が同時に演奏される（例えば、ピアノ／バイオリン、トランペット／オルガン）。ポリフォニック音楽の場合、最強部分音を有する音（図３のフローチャートにおいて比較されるような最高スコアを有する）が検出される。
【００３６】
図１のモジュール１０２による楽曲の区分と図１のモジュール１０４による調和部分音の検出とを説明したが、ここでモジュール１０６による各音の時間的特徴、スペクトル特徴および部分音の特徴の計算に注目する。概して、音色分類に有用な音の音響的特徴を計算することができる。楽器が異なれば生成される音色も異なり、そのため楽器分類は音色分類に相関する（所与の楽器は、演奏の方法によって複数種類の音色を生成する場合もあるが）。
【００３７】
図４を参照すると、ブロック４０２によって表すように、所与の音とそれに関連する部分音とのデータが、各音の調和部分音を検出するために使用されたモジュールから入力される。ステップ４０４において、上昇速度Ｒｓ、持続長Ｓｌ、下降速度Ｄｓ、振動度Ｖｄ等の音の時間的特徴が計算される。
【００３８】
より詳細には、ステップ４０６を参照すると、ステップ４０６において音の中に含まれるデータが調整され(rectify)、ステップ４０８においてフィルタに適用される。例えば、カットオフ周波数を有するローパスフィルタを使用して、音の時間エンベロープＴｅを識別することができる。例示的な実施形態では、カットオフ周波数は、１０Ｈｚかまたは他のあらゆる所望のカットオフ周波数とすることができる。
【００３９】
ステップ４１０において、時間エンベロープＴｅは、３つの期間、すなわち上昇期間Ｒ、持続期間Ｓおよび下降期間Ｄに分割される。当業者は、不完全な音であるため、下降期間Ｄと持続期間の一部とが欠けている場合がある、ということを認めるであろう。ステップ４１２において、上昇期間Ｒの平均勾配がＡＳＲ（average slope rise、平均勾配上昇）として計算される。さらに、持続期間の長さがＬＳ（持続された長さ）として計算され、下降期間Ｄの平均勾配がＡＳＤ（average slope drop、平均勾配下降）として計算される。ステップ４１４において、上昇速度Ｒｓが、上昇期間ＡＳＲの平均勾配を用いて計算される。持続長Ｓｌは、持続期間ＬＳの長さを用いて計算される。下降速度Ｄｓは、下降期間ＡＳＤの平均勾配を用いて計算され、下降期間が無い場合下降速度はゼロである。振動度Ｖｄは、持続期間Ｓのリップル（ある場合）の数および高さを使用して計算される。
【００４０】
ステップ４１６において、音のスペクトル特徴がＥＲとして計算される。これらの特徴は、サブバンド部分比として表される。より詳細には、ステップ４１８において、先に計算されたような音のスペクトルは、所定数「ｋ」のサブバンド（例えば、ｋは３、４または任意の所望の数とすることができる）に周波数分割される。
【００４１】
ステップ４２０において、先に検出されたスペクトルの部分音が取得され、ステップ４２２において、各サブバンドの部分音の振幅の合計が計算される。例えば、計算された部分音の振幅の合計を、Ｅ１、Ｅ２、…Ｅｋとして表すことができる。合計は、ステップ４２４においてＥｓｕｍ＝Ｅ１＋Ｅ２…＋Ｅｋとして表される。ステップ４２６において、サブバンドの部分音の割合ＥＲが、ＥＲ１＝Ｅ１／Ｅｓｕｍ…、ＥＲｋ＝Ｅｋ／Ｅｓｕｍとして計算される。割合は、サブバンド間のサウンドのスペクトルエネルギー分布を表す。当業者は、楽器によってはエネルギーが低い方のサブバンドに集中するサウンドを生成するものがあれば、エネルギーが低い方、中間および高い方のサブバンド等の間で略均一に分布するサウンドを生成するものもあるということを認めるであろう。
【００４２】
ステップ４２８において、以下の式にしたがって、明るさＢｒ、三刺激Ｔｒ１およびＴｒ２、奇数部分音の割合Ｏｒ（奇数または偶数部分音のエネルギーの欠如を検出するため）および不規則性Ｉｒ（すなわち、隣接する部分音間の振幅偏差）等の音の部分音パラメータが計算される。
【００４３】
【数１】
0004268386.tif 000002
Ｎは部分音の数である。
ａｋはｋ番目の部分音の振幅である。
【００４４】
【数２】
0004268386.tif 000003
これに関し、Kristoffer JensenによるAugust 1998の「Spectral Envelope Modeling」と題された上述した文書を参照し、その開示内容はすべて引用をもって本明細書内に援用されたものとする。
【００４５】
ステップ４３０において、ドミナントトーン(dominant tone)番号ＤＴが計算される。例示的な実施形態では、ドミナントトーンは最強の部分音に対応する。楽器によっては、低周波数帯域に強い部分音を有するサウンドを生成するものもあれば、中間かまたはより高い周波数帯域等に強い部分音を有するサウンドを生成するものもある。４３２において表すように、ＨＰｄｔ１、ＨＰｄｔ２およびＨＰｄｔ３として表される（ｄｔｉは部分音ＨＰｄｔｉ（ｉ＝１〜３）の番号）、スペクトルにおける最初の３つの最高部分音を選択することにより、ドミナントトーン番号が計算される。ステップ４３４において、ドミナントトーン番号は、ＤＴ＝｛ｄｔ１、ｄｔ２、ｄｔ３｝と表される。
【００４６】
ステップ４３６において、不調和パラメータＩＨが計算される。不調和は、部分音の周波数偏差に対応する。ピアノ等、楽器によっては、基本周波数ＦｕＦの整数倍からそれた部分音を有するサウンドを生成するものがあり、このパラメータは、偏差の度合の基準を提供する。ステップ４３８を参照すると、先に検出されＨＰ１、ＨＰ２、…ＨＰｋとして表された部分音が取得される。ステップ４４０において、基準位置ＲＬが
ＲＬ１＝ＨＰ１×１、ＲＬ２＝ＨＰ１×２、…、ＲＬｋ＝ＨＰ１×ｋ
として計算される。不調和パラメータＩＨは、ステップ４４２において以下の式によって計算される。
【００４７】
ｉ＝２〜Ｎに対して、
【数３】
0004268386.tif 000004
そして
【数４】
0004268386.tif 000005
【００４８】
ステップ４４４において、計算された音の特徴が、音特徴ベクトルＮＦに編成される。例えば、特徴ベクトルを、以下のように順序付けることができる。すなわち、Ｒｓ、Ｓｌ、Ｖｄ、Ｄｓ、ＥＲ、Ｂｒ、Ｔｒ１、Ｔｒ２、Ｏｒ、Ｉｒ、ＤＴ、ＩＨであり、ここでは特徴ベクトルＮＦは、ｋ＝３である場合１６次元である。ステップ４４６において、特徴ベクトルＮＦは、所与の音の計算された音特徴の表現として出力される。
【００４９】
本発明の例示的な実施形態によれば、楽曲に含まれる複数の音のそれぞれの特性の確定は、図１のブロック１０８によって表されるような特徴の少なくともいくつかを正規化することを含むことができる。時間的特徴の正規化により、これら特徴は音の長さとは無関係となり、したがって不完全な音に適応可能となる。部分音の特徴の正規化により、これら特徴は音のピッチとは無関係となる。音のエネルギーが図１のモジュール１０４において正規化されたことを想起されたい（図３参照）。正規化により、音のラウドネス／ボリューム、長さおよび／またはピッチとは無関係に、同じ楽器の音が同様の特徴値を有し、同じカテゴリに分類されることが確実となる。さらに、例えばポリフォニック音楽において一般に発生する不完全な音が扱われる。例示的な実施形態では、異なる特徴の値の範囲が、分類が行われる図１のモジュール１１０に入力されるように同じオーダー（例えば０と１０との間）で保持される。例示的な実施形態では、いかなる特徴にも、他の特徴より高い所定の重みが与えられないが、望ましい場合、当然ながらかかる所定の重みを実現することができる。音の特徴の正規化については、図５を参照してより詳細に説明する。
【００５０】
図５を参照すると、ステップ５０２は、持続長Ｓｌおよび振動度Ｖｄ等の時間的特徴を正規化することを対象とする。より詳細には、ステップ５０４を参照すると、持続長Ｓｌは０〜１の間の値に正規化される。例示的な実施形態では、２つの経験的閾値（ＬｍｉｎおよびＬｍａｘ）を選択することができる。ステップ５０６において、ステップ５０４の結果に対し以下の論理が適用される。
【００５１】
Ｓｌ＜＝Ｌｍｉｎならば、Ｓｌｎ＝０
Ｌｍｉｎ＜Ｓｌ＜Ｌｍａｘならば、
Ｓｌｎ＝（Ｓｌ−Ｌｍｉｎ）／（Ｌｍａｘ−Ｌｍｉｎ）
Ｓｌ＞＝Ｌｍａｘならば、Ｓｌｎ＝１
ステップ５０８において、正規化された持続長ＳｌはＳｌｎとして選択される。
【００５２】
振動度Ｖｄの正規化を、ステップ５１０に関してより詳細に説明する。ここで、Ｖｄは、２つの経験的閾値ＶｍｉｎおよびＶｍａｘを使用して０〜１の間の値に正規化される。以下のように、ステップ５１２にしたがって振動度Ｖｄに対してロジックが適用される。
【００５３】
Ｖｄ＜＝Ｖｍｉｎならば、Ｖｄｎ＝０
Ｖｍｉｎ＜Ｖｄ＜Ｖｍａｘならば、
Ｖｄｎ＝（Ｖｄ−Ｖｍｉｎ）／（Ｖｍａｘ−Ｖｍｉｎ）
Ｖｄ＞＝Ｖｍａｘならば、Ｖｄｎ＝１
ステップ５１４において、振動度Ｖｄは、正規化値Ｖｄｎに設定される。
【００５４】
ステップ５１６において、明るさＢｒおよび三刺激値Ｔｒ１およびＴｒ２等の調和部分音の特徴が正規化される。より詳細には、ステップ５１８において、ヘルツで推定される基本周波数値ＦｕＦが取得され、ステップ５２０において、以下の計算が実行される。
【００５５】
Ｂｒｎ＝Ｂｒ×ＦｕＦ／１０００
Ｔｒ１ｎ＝Ｔｒ１×１０００／ＦｕＦ
Ｔｒ２ｎ＝Ｔｒ２×１０００／ＦｕＦ
ステップ５２２において、明るさ値Ｂｒは、正規化値Ｂｒｎに設定され、三刺激値Ｔｒ１およびＴｒ２は、正規化値Ｔｒ１ｎおよびＴｒ２ｎに設定される。
【００５６】
ステップ５２４において、特徴ベクトルＮＦが、正規化された特徴値によって更新され、出力として提供される。すべての特徴ベクトル値の集まりが、検討中の楽曲に含まれる複数の音のそれぞれに対して確定された特性のセットを構成する。
【００５７】
いくつかの正規化された音の特徴を有する特徴ベクトルが、図１のモジュール１０８の出力として供給され、楽曲を分類するために図１のモジュール１１０によって受取られる。各音を分類するモジュール１１０を、図６Ａおよび図６Ｂを参照してより詳細に説明する。
【００５８】
図６Ａを参照すると、各検出された音を分類するために、ニューラルネットワークとガウス混合モデル（ＧＭＭ）のセットが使用され、音分類プロセスはトレーニング可能である。例えば、図６Ａのフローチャートにより例示的なトレーニング手続きを示す。ここでは、分類される「ｋ」個の異なるタイプの楽器を考慮し、ステップ６０２において楽器はＩ１、Ｉ２、…Ｉｋとラベル付けされる。ステップ６０４において、連続的楽曲から各楽器のサンプル音が収集される。ステップ６０６において、各楽器に対しおよそ同じ数のサンプル音を含むトレーニングセットＴｓが編成される。しかしながら、当業者は、いかなる数のサンプル音をいかなる所与の楽器に関連付けることも可能であるということを認めるであろう。
【００５９】
ステップ６０８において、特徴が計算され、図３ないし図５に関して上述したような仕方で特徴ベクトルＮＦが生成される。ステップ６１０において、例えば、開示内容がすべて引用をもって本明細書内に援用されたものとするＫ．Ｇｕｒｎｅｙによる文書「An Introduction To Neural Networks」に述べられているように、自己組織化マップ（self-organizing map（ＳＯＭ））等の教師なし(unsupervised)ニューラルネットワークを使用して最適な特徴ベクトル構造ＮＦＯが取得される。かかるニューラルネットワークでは、類似度のトポロジカルマッピングが生成されることにより、同様の入力値が、２次元ニューラルネットフィールドにおいて互いに近接する対応するノードを有することになる。例示的な実施形態では、全トレーニングプロセスの目標は、各楽器がニューラルネットフィールド中のある領域と対応し、同様の楽器（例えば、弦楽器）が隣接する領域に対応することである。例示的な実施形態により、特徴ベクトル構造は、この目標を最も満足するＳＯＭを使用して確定される。しかしながら、当業者は、本発明の例示的な実施形態により特徴ベクトル構造を確立するためにいかなる基準も使用することができるということを認めるであろう。
【００６０】
ＳＯＭニューラルネットワークが使用される場合、ステップ６１２において、ＳＯＭニューラルネットワークトポロジが構成される。例えば、それは、ニューラルノードの矩形マトリクスとして構成することができる。ステップ６１４において、異なる楽器のサンプル音が、トレーニングセットＴｓにおいてランダムに混合される。ステップ６１６において、サンプル音が、トレーニングセットＴｓから１つずつ取出され、音の特徴ベクトルＮＦが、ＳＯＭトレーニングアルゴリズムを使用してネットワークをトレーニングするために使用される。
【００６１】
ステップ６１８によって表すように、ネットワークが収束するまでこの手続きが繰返される。収束すると、ステップ６２０において、特徴ベクトルＮＦの構造（特徴の選択および特徴ベクトルにおけるそれらの順序）が変更され、ステップ６１６の入力に戻る分岐によって表されるようにネットワークが再トレーニングされる。
【００６２】
ＳＯＭニューラルネットワークをトレーニングするアルゴリズムは、例えば、開示内容がすべて引用をもって本明細書内に援用されたものとするK.Gurneyによる文書「Introduction To Neural Networks」、UCL Press、1997において提供されており、あるいは、いかなる所望のトレーニングアルゴリズムも使用することができる。ステップ６２２において、最適なパフォーマンスでＳＯＭネットワークを提供するかまたは任意の所望の基準を満足する特徴ベクトルＮＦ構造（例えば、次元ｍ）が選択される。
【００６３】
ステップ６１０において最適な特徴ベクトル構造ＮＦＯが取得されると、図６Ａの動作のフローはステップ６２４に進み、多層パーセプトロン（multi-layer-perceptron(ＭＬＰ））ファジーニューラルネットワーク等の教師ありニューラルネットワークが、例えば逆伝播（ＢＰ）アルゴリズムを使用してトレーニングされる。かかるアルゴリズムは、例えば、上述したGurneyの文書において述べられている。
【００６４】
ＭＬＰファジーニューラルネットワークのトレーニングを、ブロック６２６に関して説明する。そこでは、例えば入力層にｍ個のノードを有し、出力層にｋ個のノードを有し、間に１乃至３の隠れ層を有する、ＭＬＰニューラルネットワークが構成される。ステップ６２８において、第１ラウンドに対し、ＢＰアルゴリズムを使用してトレーニングセットＴｓのサンプルを用いてＭＬＰがトレーニングされる。ステップ６３０において、ＭＬＰからの出力は、所定分布にマップされ、目標出力としてトレーニングサンプルに割当てられる。ステップ６３２において、トレーニングセットＴｓのサンプル（目標出力が修正されている）とＢＰアルゴリズムとを使用して複数ラウンド（例えば、第２ラウンド）に対してＭＬＰがトレーニングされる。
【００６５】
上述したように、例示的なＭＬＰは、音特徴ベクトルの次元と等しい数の入力層のノードを含み、出力層におけるノードの数は、楽器種別の数に対応する。隠れ層の数と各隠れ層のノードの数とは、ＳＯＭマトリクスのサイズの選択と同様の仕方で、問題の複雑性の関数として選択される。
【００６６】
当業者は、ＳＯＭマトリクスおよびＭＬＰの正確な特性を、ユーザが望むように変更することができるということを認めるであろう。さらに、ＭＬＰに関して２ステップトレーニング手続きを説明したが、当業者は、使用されるあらゆる所望のトレーニング手続きにあらゆる数のトレーニングステップを含むことができるということを認めるであろう。２ステップトレーニング手続きが使用される場合、トレーニングの第１ラウンドを使用して、最初に２値出力を有するトレーニングサンプルの所望の目標出力を生成することができる。トレーニングプロセスが収束した後、トレーニングサンプルの実際の出力を、所定の分布（ある範囲の線形分布等、ユーザが画定した所望の分布）にマップすることができる。マップされた出力は、トレーニングの第２ラウンドのためのトレーニングサンプルの目標出力として使用される。
【００６７】
ステップ６３４において、トレーニングされたＭＬＰファジーニューラルネットワークは、「ＦＭＬＰＮ」として音分類のために保存される。ステップ６３６において、各楽器に対し、１つのＧＭＭモデル（またはあらゆる所望の数のモデル）がトレーニングされる。
【００６８】
ステップ６３６における各楽器に対するＧＭＭモデルのトレーニングを、例えば開示内容がすべて引用をもって本明細書内に援用されたものとするD.ReynoldsおよびR.Roseによる「Robust Text-Independent Speaker Identification Using Gaussian Mixture Models」、IEEE Transactions On Speech and Audio Processing、vol.3、No.1、pp.72〜83、1985において述べられているものと同様の仕方で実行することができる。例えば、ステップ６３８において表すように、サブセットＴｉが楽器Ｉｉ（ｉ＝１〜ｋ）に対するサンプルを含む場合、トレーニングセットＴｓのサンプルをｋ個のサブセットに分割する。ステップ６４０において、ｉ＝１〜ｋの場合、サブセットＴｉのサンプルを使用してＧＭＭモデルＧＭＭｉがトレーニングされる。各楽器「Ｉｉ」のＧＭＭモデルは、ステップ６４２においてＧＭＭｉ（ｉ＝１〜ｋ）として保存される。そして、トレーニング手続きは完了する。当業者は、ＧＭＭが、Ｍ成分のガウス密度の重み付き合計を表す統計モデルであり、Ｍが問題の複雑性の関数として選択されるということを認めるであろう。
【００６９】
トレーニングアルゴリズムは、例えばD.Reynolds等による上述した文書「Robust Text-Independent Speaker Identification Using Gaussian Mixture Models」において述べられているようなＥＭプロセスとすることができるが、いかなるＧＭＭトレーニングアルゴリズムも使用することができる。さらに、各楽器に対してＧＭＭをトレーニングすることができるが、望ましい場合は、単一の楽器に対して複数のＧＭＭを使用することができ、あるいは複数の楽器間で単一のＧＭＭを共有することができる。
【００７０】
当業者は、ＭＬＰが比較的強い分類能力を提供するが、例示的な実施形態により、検討中の新たな楽器のそれぞれがすべての楽器に対するＭＬＰの再トレーニングを伴うために比較的柔軟でないということを認めるであろう。対照的に、異なる楽器のＧＭＭは、大抵の場合関連がなく、そのため、所与の楽器に特定のＧＭＭのみをトレーニングすればよい。また、ユーザが指定した所与の楽器かまたは音のセットに類似する楽曲または音を探索する場合に、検索用にＧＭＭを使用することができる。当業者は、例示的な実施形態においてＭＬＰとＧＭＭとが共に使用されるが、これらのいずれも他方と無関係におよび／またはＳＯＭと無関係に使用することができる、ということを認めるであろう。
【００７１】
図６Ｂに示す分類手続きは、ステップ６４４により、特徴ベクトルＮＦにおいてＮＦＯにおけるように編成するために、区分された音の特徴を計算することから開始する。ステップ６４６において、特徴ベクトルＮＦは、音分類のためのトレーニングされたＭＬＰファジーニューラルネットワーク（すなわち、ＦＭＬＰＮ）に入力され、出力層のｋ個のノードからの出力は、「Ｏ１、Ｏ２、…Ｏｋ」として得られる。
【００７２】
ステップ６４８において、ステップ６４６から出力されるノード間の所定値（例えば、最大値）を有する出力Ｏｍが選択される。ステップ６５０において、音分類のためのトレーニングされたＭＬＰファジーニューラルネットワーク（すなわち、ＦＭＬＰＮ）により０＜＝Ｏｍ＜＝１である尤度Ｏｍにより、音は楽器サブセット「Ｉｍ」に分類される。ステップ６５２において、ｉ＝１〜ｋの場合、特徴ベクトルＮＦがＧＭＭモデル「ＧＭＭｉ」に入力されることにより、出力ＧＭＭＯｉが生成される。ステップ６５４において、所定値（例えば、ｉ＝１〜ｋの場合のＧＭＭＯｉ間の最大値）を有する出力ＧＭＭＯｎが選択される。ステップ６５６において、ＧＭＭモジュールによる尤度ＧＭＭＯｎにより、音が楽器Ｉｎに分類される。
【００７３】
図１のモジュール１１２において、音分類結果が統合されて楽曲分類の結果を提供する。これを、図７においてより詳細に示す。ここでは、ステップ７０２によって表すように、楽曲は最初にステップ１０２にしたがって音に区分される。ステップ７０４において、特徴ベクトルが上述したように計算され配置される。ステップ７０６において、各音は、上述したようにＭＬＰファジーニューラルネットワークＦＭＬＰＮかまたはガウスモデルＧＭＭｉ（ｉ＝１〜ｋ）を使用して分類される。ステップ７０８において、同じ楽器に分類された音はＩＮｉ（ｉ＝１〜ｋ）とラベル付けされたその楽器のサブセットに収集される（ステップ７０８）。
【００７４】
ｉ＝１〜ｋの場合、ステップ７１０において各楽器に対しＩＳｉとラベル付けされたスコアが計算される。より詳細には、判断ブロック７１２において、ＭＬＰファジーニューラルネットワークが音分類のために使用されるか否かの判断が行われる。使用される場合、ステップ７１４において、楽器サブセットＩＮｉのすべての音「ｘ」に対するＭＬＰファジーニューラルネットワークＦＭＬＰＮの出力層におけるｋ個のノードからの出力Ｏｘの合計として、スコアＩＳｉが計算される。ここで、Ｏｘは、ＭＬＰファジーニューラルネットワークＦＭＬＰＮを使用して楽器Ｉｉ（ｉ＝１〜ｋ）に分類された音ｘの尤度である。ニューラル分類に対してＭＬＰファジーニューラルネットワークが使用されなかった場合、ブロック７１２の出力はステップ７１６に進み、スコアＩＳｉが、楽器サブセットＩＮｉに含まれるすべての音ｘに対するＧＭＭＯｘとして表されるガウス混合モデル出力ＧＭＭＯの合計に対応する。ここで、Ｏｘは、ガウス混合モデルを使用して楽器Ｉｉ（ｉ＝１〜ｋ）に分類されるｘの尤度である。ステップ７１８において、楽器スコアＩＳｉは、ＩＳｉ（ｉ＝１〜ｋ）の合計が１に等しくなるように正規化される。
【００７５】
ステップ７２０において、トップスコアＩＳｍ１、ＩＳｍ２、…、ＩＳｍｎは、ＩＳｍｉ（ｉ＝１〜ｎ）がｔｓ以上でありｎがｔｎ以下である（例えば、ｔｓ＝１０％かまたはそれより小さいかまたは大きい、ｔｎ＝３かまたはそれより小さいかまたは大きい）という条件に対して識別される。ステップ７２２において、トップスコアＩＳｍｉ（ｉ＝１〜ｎ）の値は、すべてのＩＳｍｉ（ｉ＝１〜ｎ）の合計が総計１になるように正規化される。本明細書で説明したあらゆる計算または評価によって使用されたすべての基準と同様に、当業者は、所望の通りに基準を変更することができる。
【００７６】
ステップ７２４において、楽曲は、それぞれスコアＩＳｍ１、ＩＳｍ２、…、ＩＳｍｎを含む楽器Ｉｍ１、Ｉｍ２、…、Ｉｍｎを有するものとして分類される。分類に基づき、楽曲等の音楽関連情報か、または少なくとも部分的に複数のサウンドを有する楽曲を含む他のタイプの情報を、データベースの楽曲または音楽関連情報の容易なインデクスのために、メタデータインジケータまたはタグを用いてインデクシングすることができる。
【００７７】
メタデータインジケータを使用して、リアルタイムにデータベースから楽曲または関連する音楽関連情報を検索することができる。例示的な実施形態では、全体として所与の楽曲内に含まれる複数の音の特徴を統合して楽曲の分類を可能にする。したがって、ユーザが、既知のサウンドおよび／または楽器のシーケンスを有する所与の楽曲を選択する探索要求をインタフェースに対して提供することが容易になる。例えば、楽曲を、指定された楽器に分類された音の尤度値の合計を表すスコアにしたがって分類することができる。最高スコアを有する楽器を選択することができ、これらの楽器にしたがって楽曲を分類することができる。一実施例では、楽曲は、９０％の尤度で、１００％ギターであるか、または６０％ピアノおよび４０％バイオリンであるものとして示すことができる。
【００７８】
このように、例示的な実施形態では、所与の楽曲のすべての音の特徴を統合することができ、それによって楽曲を全体として分類することができる。これにより、ユーザが、データベース内の楽曲を個々の音を考慮することによるより容易に識別することができるようになる。
【００７９】
本発明をその好ましい実施形態に関して詳細に説明したが、当業者には、本発明から逸脱することなく、種々の変形および変更を行うことが可能であり、均等物を採用することができるということが明らかとなろう。
【００８０】
本発明の態様を以下に例示する。
【００８１】
１．サウンドの集まりによって構成される楽曲を分類する方法であって、
時間エネルギーエンベロープを使用して前記楽曲の一部に含まれる複数の音のそれぞれのオンセットを検出するステップ（１０２）と、該複数の音のそれぞれの特性を確定するステップ（１０４、１０６、１０８）と、該複数の音のそれぞれの確定された特性の統合に基づき、データベースに格納するために楽曲を分類するステップ（１１０）とを含む方法。
【００８２】
２．各音の前記オンセットを使用して前記楽曲を音に区分するステップ（１０２）を含む上記１記載の方法。
【００８３】
３．前記特性を確定するステップは、前記音のエネルギー関数を計算すること（３０６）により音の調和部分音を検出することを含む上記１記載の方法。
【００８４】
４．前記確定するステップは、前記調和部分音を推定するために少なくとも１つの音の中の少なくとも１つの点を確定すること（３０４）と、該少なくとも１つの点を中心に集中し複数のサンプルを含む、前記少なくとも１つの音に対するオーディオフレームを形成すること（３２４）、該オーディオフレームの自己回帰モデルによって生成されるスペクトルを計算すること（３２６）、該オーディオフレームの該生成されたスペクトルにおける検出されたピークに基づいて、前記少なくとも１つの音の基本周波数値としての候補のリストを生成すること（３３６）、該リストの各候補のスコアを計算すること（３４２）、前記少なくとも１つの音の基本周波数値と関連する部分音とを、その基本周波数値のスコアの比較に基づいて選択すること（３４８）を含む上記１記載の方法。
【００８５】
５．前記各音の特性を確定するステップは、各音の時間的特徴を計算するステップ（４０４）を含む上記１記載の方法。
【００８６】
６．前記各音の特性を確定するステップは、各音のスペクトル特徴を計算するステップ（４１６）を含む上記１記載の方法。
【００８７】
７．各音の不調和パラメータを該音の検出された調和部分音に基づいて計算するステップ（４３６）と、各音の計算された音特徴を特徴ベクトルに編成するステップ（４４４）とを含む上記１記載の方法。
【００８８】
８．前記分類するステップは、各音に関連する特徴ベクトルをニューラルネットワークを使用して処理する、トレーニング可能な特徴ベクトル構造（６０８）を生成するステップを含む上記１記載の方法。
【００８９】
９．前記分類するステップは、逆伝播アルゴリズムの複数ラウンドを使用して多層パーセプトロンファジーニューラルネットワークをトレーニングするステップ（６２４）と、各楽器に対してガウス混合モデルをトレーニングするステップ（６３６）とを含む上記１記載の方法。
【００９０】
１０．データベースに格納するためにメタデータによって前記楽曲をインデクシングするステップ（７２４）を含む上記１記載の方法。
【図面の簡単な説明】
【図１】本発明の例示的な実施形態による、楽曲を分類するシステムの例示的機能ブロック図を示す。
【図２】図１の例示的な実施形態の第１のモジュールに関連する機能ブロック図を示す。
【図３Ａ】図１の例示的な実施形態の第２のモジュールに関連する機能ブロック図を示す。
【図３Ｂ】図１の例示的な実施形態の第２のモジュールに関連する機能ブロック図を示す。
【図４】図１の例示的な実施形態の第３のモジュールに関連する機能ブロック図を示す。
【図５】図１の例示的な実施形態の第４のモジュールに関連する機能ブロック図を示す。
【図６Ａ】図１の例示的な実施形態の第５のモジュールに関連する機能ブロック図を示す。
【図６Ｂ】図１の例示的な実施形態の第５のモジュールに関連する機能ブロック図を示す。
【図７】図１の例示的な実施形態の第６のモジュールに関連する機能ブロック図を示す。
【図１】
0004268386.tif 000006
【図２】
0004268386.tif 000007
【図３Ａ】
0004268386.tif 000008
【図３Ｂ】
0004268386.tif 000009
【図４】
0004268386.tif 000010
【図５】
0004268386.tif 000011
【図６Ａ】
0004268386.tif 000012
【図６Ｂ】
0004268386.tif 000013
【図７】
0004268386.tif 000014