(57)【要約】  音信号の特徴を記述するために、量子化ラスタに基づいて、時間とともに、少なくとも２つの音源それぞれの量子化エントリタイムのシーケンスを生成する。ここで、エントリタイムのシーケンスを用いて、少なくとも２つの音源の基礎となる共通の周期長が算出される。ここで、エントリタイムのシーケンスが、サブシーケンス長が共通の周期長と等しいサブシーケンスにそれぞれ分割される。最終的に、例えば、リズム、速度またはジャンルに対して、第１の合成したサブシーケンスと、第２の合成したサブシーケンスとにより、音信号の特徴を記述するために、すなわち、例えばパターンヒストグラム用いて、第１の音源のサブシーケンスを第１の合成したサブシーケンスに合成して、第２の音源のサブシーケンスを第２の合成したサブシーケンスに合成する。【選択図】図１
2007536586.tif 000002
【特許請求の範囲】
【請求項１】
音信号の特徴を記述する装置であって、
少なくとも１つの音源に対する音のエントリタイムのシーケンスを生成する手段（１０）と、
前記少なくとも１つのエントリタイムのシーケンスを用いて、前記少なくとも１つの音源の基礎となる共通の周期長を算出する手段（１２）と、
前記共通の周期長と等しい長さ、または前記共通の周期長から導出した長さのサブシーケンスに、前記少なくとも１つのエントリタイムのシーケンスをそれぞれ分割する手段（１４）と、
前記少なくとも１つの音源の前記サブシーケンスを、前記音信号の特徴である１つの合成したサブシーケンスに合成する手段（１６）とを備える、装置。
【請求項２】
少なくとも２つの音源に少なくとも２つのエントリタイムのシーケンスを生成するために、生成手段（１０）が実行され、
前記少なくとも２つの音源の前記共通の周期長を算出するために、算出手段（１２）が実行され、
前記共通の周期長により、前記少なくとも２つのエントリタイムのシーケンスを分割するために、分割手段（１４）が実行され、
前記第１の合成したサブシーケンスと前記第２の合成したサブシーケンスとが前記音信号の前記特徴を表し、前記第２の音源の前記サブシーケンスを第２の合成したサブシーケンスと合成するために、合成手段（１６）が実行される、請求項１に記載の装置。
【請求項３】
１つの量子化エントリタイムのシーケンスを前記少なくとも２つの音源それぞれに生成するために、生成手段（１０）が実行され、前記エントリタイムが量子化ラスタに対して量子化され、２つのラスタポイントの間のラスタポイントの距離が、前記音信号における２つの音の間の最短距離と等しい、または前記音楽信号における音の前記継続時間の最大の共通除数と等しい、請求項１に記載の装置。
【請求項４】
ハーモニー楽器の前記エントリポイントではなく、打楽器の前記エントリタイムを生成するために生成手段（１０）が実行される、請求項１ないし請求項３のいずれかに記載の装置。
【請求項５】
複数の仮定の共通の周期長確率基準それぞれを算出するために、そして、その確率基準が前記仮定の共通の周期長が前記少なくとも２つの音源の前記共通の周期長であることを示す共通の周期長として、前記複数の仮定の共通の周期長から、前記仮定の共通の周期長を選択するために、算出手段（１２）が実行される、請求項１ないし請求項４のいずれかに記載の装置。
【請求項６】
前記第１の音源に対する第１の確率基準と、前記第２の音源に対する第２の確率基準とに基づいて、前記確率基準を算出するために、算出手段（１２）が実行される、請求項５に記載の装置。
【請求項７】
前記エントリポイントのシーケンスをシフトしたエントリポイントのシーケンスと比較することにより前記確率基準を計算するために、算出手段（１２）が実行される、請求項５または請求項６に記載の装置。
【請求項８】
各サブシーケンスのリストを生成するために、分割手段（１４）が実行され、前記リストが、各ラスタポイントと各音源とに関する１つの対応付けられた情報を含み、前記情報は、エントリポイントがラスタポイントに存在するかどうかに関するものである、請求項１ないし請求項７のいずれかに記載の装置。
【請求項９】
各音源に対するリストを生成するために、生成手段（１０）が実行され、ラスタの各ラスタポイントに対する前記リストは、前記ラスタポイントに音のエントリタイムがあるかどうかに関する１つの対応付けられた情報を含む、請求項１ないし請求項８のいずれかに記載の装置。
【請求項１０】
合成したサブシーケンスとしてヒストグラムを生成するために、合成手段（１６）が実行される、請求項１ないし請求項９のいずれかに記載の装置。
【請求項１１】
前記合成したサブシーケンスの音ラスタの各ラスタポイントがヒストグラム成分を表すように、前記ヒストグラムを生成するために、合成手段（１６）が実行される、請求項１０に記載の装置。
【請求項１２】
入力を検出した場合、または前記入力から求めた基準を加えることにより、合成手段（１６）を実行して、前記カウント値を増加することにより、音源の各サブシーケンス内の前記ヒストグラム内の対応付けられた成分のカウント値を増加し、前記入力が、前記エントリタイムのエントリを有する音の強度の基準である、請求項１０または請求項１１に記載の装置。
【請求項１３】
閾値を超える特徴として前記第１の合成したサブシーケンスおよび前記第２の合成したサブシーケンスにおける前記サブシーケンスの値だけを出力するための、合成手段（１６）が実行される、請求項１ないし請求項１２のいずれかに記載の装置。
【請求項１４】
前記共通長さに対して前記サブシーケンスを正規化するために、あるいは前記共通長さに対して前記第１の合成したサブシーケンスまたは前記第２の合成したサブシーケンスを正規化するために、合成手段（１６）が実行され、請求項１ないし請求項１３のいずれかに記載の装置。
【請求項１５】
オーディオ信号から一意のリズム構造を有するセグメントを生成するために、生成手段（１０）が実行され、
一意のリズム構造を有するセグメントに対する前記特徴を生成するために、合成手段（１６）が実行される、請求項１ないし請求項１４のいずれかに記載の装置。
【請求項１６】
前記音信号に対する前記特徴から特性を抽出する手段と、
前記特性を用いて、前記音信号に属する音楽ジャンルを確定する手段とをさらに備える、請求項１ないし請求項１５のいずれかに記載の装置。
【請求項１７】
規則に基づく決定ネットワーク、パターン認識手段または分類器を用いるために、確定手段が実行される、請求項１６に記載の装置。
【請求項１８】
前記特徴からテンポを抽出する手段をさらに備える、請求項１ないし請求項１７のいずれかに記載の装置。
【請求項１９】
前記共通の周期長に基づいて、前記テンポを確定するために、抽出手段が実行される、請求項１８に記載の装置。
【請求項２０】
音信号の特徴を記述する方法であって、
少なくとも１つの音源に対する音のエントリタイムのシーケンスを生成するステップ（１０）と、
前記少なくとも１つのエントリタイムのシーケンスを用いて、前記少なくとも１つの音源の基礎となる共通の周期長を算出するステップ（１２）と、
前記共通の周期長と等しい長さ、または前記共通の周期長から導出した長さのサブシーケンスに、前記少なくとも１つのエントリタイムのシーケンスをそれぞれ分割するステップ（１４）と、
前記少なくとも１つの音源の前記サブシーケンスを、前記音信号の特徴である１つの合成したサブシーケンスに合成するステップ（１６）とを含む、方法。
【請求項２１】
前記コンピュータプログラムをコンピュータ上で動作する場合は、前記請求項２０に記載の方法を実行するプログラムコードを有するコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音信号の分析に関し、特に、音信号の特徴を記述するために、音信号を分類して特定する目的で行う音信号の分析に関する。
【背景技術】
【０００２】
マルチメディアコンテンツをデジタル配信する媒体が絶え間なく開発されており、大量の数々のデータが提供されるようになっている。人間のユーザにとって、この全体量は、すでにはるかに上回る量となっている。従って、メタデータでデータをテキストで記述することが、ますます重要になっている。基本的に、テキストファイルを作成することばかりでなく、例えば、検索可能な音楽ファイル、映像ファイルおよび他の情報信号ファイルについても作成することが目標となっていて、一般的なテキストデータベースと同じ使い勝手であることが目標となっている。このためのアプローチの１つが、ＭＰＥＧ７規格として周知である。
【０００３】
特に、音声信号を分析する際、すなわち、音楽および／または言語を含む信号を分析する際に、はっきりとした特徴の抽出は、非常に重要である。
【０００４】
例えば、１曲の音楽のフィンガープリントに基づいてメタデータを検索するために、メタデータを有する音声データを“充実させる”ことはさらに望ましい。“フィンガープリント”は、一方では表現豊かである必要があり、他方では、できるだけ短く、簡潔である必要がある。“フィンガープリント”は、従って、音楽信号から生成した圧縮情報信号を表すもので、メタデータを含まないが、メタデータを参照するためのものである。例えば、データベースを検索したり、例えば、オーディオ素材（“オーディオＩＤ”）を特定するシステムを検索したりすることにより、参照を行う。
【０００５】
通常、音楽データは、個別の音源の部分信号を重畳したものから成る。１曲のポピュラー音楽では、個別の音源、すなわち歌手、ギター、ベースギター、ドラムおよびキーボードが比較的少ないが、オーケストラの楽曲では、音源の数が非常に多い場合がある。オーケストラの楽曲およびポピュラー音楽の楽曲は例えば、個別の楽器から発した音が重畳したものから成る。従って、オーケストラの楽曲または任意の楽曲はそれぞれ、個別の音源から部分信号を重畳したものを表している。部分信号は、オーケストラまたはポピュラー音楽アンサンブルそれぞれの個別の楽器から生成した音であり、個別の楽器は、個別の音源である。
【０００６】
あるいは、元の音源群についても個別の音源として解釈することもできるので、少なくとも２つの個別の音源を１つの信号に対応付けることもできる。
【０００７】
以下に、一般的な情報信号の分析として、単なる例として、オーケストラ信号を参照して説明する。オーケストラ信号の分析は、多くのやり方で行うことができる。従って、個別の楽器を認識して、全体的な信号から楽器の個別の信号を抽出することが望ましい。該当する場合には、これらを音符に変換する。音符が“メタデータ”として機能する。さらに、分析の可能性としては、主要なリズムを抽出することである。リズム抽出は、ハーモニー維持楽器とも呼ぶ、音を発生する楽器によらず、打楽器に基づいて行うことが好ましい。一般に、打楽器は、ケトルドラム、ドラム、ラトルまたは他の打楽器を含むが、ハーモニー維持楽器は、例えばバイオリン、管楽器等の、任意の他の楽器である。
【０００８】
さらに、アコースティックまたは合成音発生装置はすべて、サウンドの特徴により、リズムセクションとなる打楽器（例えば、リズムギター）のうちに数えられる。
【０００９】
従って、ハーモニー維持楽器の信号が“擾乱”したリズムを認識することなしに、例えば、１つの全曲の音楽からパーカッション部だけを抽出して、これらのパーカッション部に基づいてリズム認識を行うことは、１曲の音楽のリズム抽出に望ましいことである。
【００１０】
この技術では、数曲の音楽から異なるパターンを自動的に抽出したり、パターンの存在をそれぞれ検出したりする、別の可能性がある。コイル（Ｃｏｙｌｅ、Ｅ．Ｊ．）、シュマルビッチ（Ｓｈｍｕｌｅｖｉｃｈ、Ｉ．）の、“音楽パターンの機械認識システム（Ａ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍａｃｈｉｎｅ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｏｆ  Ｍｕｓｉｃ  Ｐａｔｔｅｒｎｓ）”、１９９８年ＩＥＥＥ国際会議、音響、音声、信号処理部会（ｈｔｔｐ：／／ｗｗｗ２．ｍｄａｎｄｅｒｓｏｎ．ｏｒｇ／ａｐｐ／ｉｌｙａ／−Ｐｕｂｌｉｃａｔｉｏｎｓ／ｉｃａｓｓｐ９８ｍｐｒ．ｐｄｆ）では、メロディの主旋律を検索している。このために、主旋律が与えられる。そして、この主旋律が発生する箇所の検索が行われる。
【００１１】
シュレーター（Ｓｃｈｒｏｅｔｅｒ、Ｔ．）、ドライサミ（Ｄｏｒａｉｓａｍｙ、Ｓ．）、ルーガー（Ｒｕｅｇｅｒ、Ｓ．）の、“原音のポリフォニック音声から継続的に発生する主旋律を検索する（Ｆｒｏｍ  Ｒａｗ  Ｐｏｌｙｐｈｏｎｉｃ  Ａｕｄｉｏ  ｔｏ  Ｌｏｃａｔｉｎｇ  Ｒｅｃｕｒｒｉｎｇ  Ｔｈｅｍｅｓ）”、２０００年ＩＳＭＩＲ（ｈｔｔｐ：／ｉｓｍｉｒ２０００．ｉｓｍｉｒ．ｎｅｔ／ｐｏｓｔｅｒｓ／ｓｈｏｒｅｔｅｒ  ｒｕｇｅｒ．ｐｄｆ）では、音楽信号を採譜した表現のなかのメロディの主旋律が検索される。やはり、主旋律が与えられ、それから、この主旋律が発生する箇所の検索が行われる。
【００１２】
西洋音楽の従来の構造によれば、リズム構造と対照的に、メロディ部分は、概して周期的に発生しない。この理由により、メロディ部分を検索する方法の多くは、発生したものを個別に検出することに制限されている。これと対照的に、リズム分析の分野での興味の対象は主に、周期的構造の検出に向けられている。
【００１３】
メーディック（Ｍｅｕｄｉｃ、Ｂ．）の、“音楽パターン抽出：音楽構造の反復から（Ｍｕｓｉｃａｌ  Ｐａｔｔｅｒｎ  Ｅｘｔｒａｃｔｉｏｎ：ｆｒｏｍ  Ｒｅｐｅｔｉｔｉｏｎ  ｔｏ  Ｍｕｓｉｃａｌ  Ｓｔｒｕｃｔｕｒｅ）”、２００３年ＣＭＭＲ紀要（ｈｔｔｐ：／／ｗｗｗ．ｉｒｃａｍ．ｆｒ／ｅｑｕｉｐｅｓ／ｒｅｐｍｕｓ／ＲＭＰａｐｅｒｓ／ＣＭＭＲ−ｍｅｕｄｉｃ−２００３．ｐｄｆ）では、自己類似性マトリックスを用いてメロディパターンを特定している。
【００１４】
ミーク（Ｍｅｅｋ）、コリン（Ｃｏｌｉｎ）、バーミンガム（Ｂｉｒｍｉｎｇｈａｍ、Ｗ．Ｐ．）の、“主旋律抽出器（Ｔｈｅｍａｔｉｃ  Ｅｘｔｒａｃｔｏｒ）”、２００１年ＩＳＭＩＲ（ｈｔｔｐ：／／ｉｓｍｉｒ２００１．ｉｓｍｉｒ．ｎｅｔ／ｐｄｆ／ｍｅｅｋ．ｐｄｆ）では、メロディの主旋律が検索される。特に、シーケンスが検索され、１つのシーケンスの長さを２つから所定の数の音符とすることができる。
【００１５】
スミス（Ｓｍｉｔｈ、Ｌ．）、メジナ（Ｍｅｄｉｎａ、Ｒ．）の、“パターン一致の抽出による主旋律の発見（Ｄｉｓｃｏｖｅｒｉｎｇ  Ｔｈｅｍｅ  ｂｙ  Ｅｘａｃｔ  Ｐａｔｔｅｒｎ  Ｍａｔｃｈｉｎｇ）”２００１年（ｈｔｔｐ：／／ｃｉｔｅｓｅｅｒ．ｉｓｔ．ｐｓｕ．ｅｄｕ／−４９８２２６．ｈｔｍｌ）では、自己類似性マトリックスを有するメロディの主旋律が検索される。
【００１６】
ラルティロット（Ｌａｒｔｉｌｌｏｔ、Ｏ．）の、“知覚ベースの音楽パターンの発見（Ｐｅｒｃｅｐｔｉｏｎ−Ｂａｓｅｄ  Ｍｕｓｉｃａｌ  Ｐａｔｔｅｒｎ  Ｄｉｓｃｏｖｅｒｙ）”、２００３年ＩＦＭＣ紀要（ｈｔｔｐ：／／ｗｗｗ．ｉｒｃａｍ．ｆｒ／−ｅｑｕｉｐｅｓ／ｒｅｐｍｕｓ／ｌａｒｔｉｌｌｏｔ／ｃｍｍｒ．ｐｄｆ）では、やはりメロディの主旋律が検索される。
【００１７】
ブラウン（Ｂｒｏｗｎ、Ｊ．Ｃ．）の、“自己相関による楽譜基準値の算出（Ｄｅｔｅｒｍｉｎａｔｉｏｎ  ｏｆ  ｔｈｅ  Ｍｅｔｅｒ  ｏｆ  Ｍｕｓｉｃａｌ  Ｓｃｏｒｅｓ  ｂｙ  Ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ）”、米国音響学会ジャーナル（Ｊ．ｏｆ  Ａｃｏｕｓｔ、Ｓｏｃ．Ｏｆ  Ａｍｅｒｉｃａ）第９４巻第４号１９９３年では、音楽信号のシンボル表現から、すなわち、ＭＩＤＩ表現に基づいて周期関数を用いることにより、１曲の音楽の基礎となる基準値リズムのタイプを算出している。
【００１８】
同様のことが、メーディック（Ｍｅｕｄｉｃ、Ｂ．）の、“ＭＩＤＩファイルからの自動基準値抽出（Ａｕｔｏｍａｔｉｃ  Ｍｅｔｅｒ  Ｅｘｔｒａｃｔｉｏｎ  ｆｒｏｍ  ＭＩＤＩ  ｆｉｌｅｓ）”、２００２年ＪＩＭ紀要（ｈｔｔｐ：／／ｗｗｗ．ｉｒｃａｍ．ｆｒ／ｅｑｕｉｐｅｓ／ｒｅｐｍｕｓ／ＲＭＰａｐｅｒｓ／ＪＩＭ−ｂｅｎｏｉｔ．２００２．ｐｄｆ）で行われている。周期性を推定すると直ちに、音声信号のテンポおよび基準値リズムの推定を行っている。
【００１９】
メロディの主旋律を特定する方法には制限があり、音楽の主旋律が繰り返すので、音信号に存在する周期性を特定するのに適している。しかしながら、すでに説明したように、これらの方法は、１曲の音楽のなかの基本的な周期性を記述しておらず、上位の周期性情報は全く含んでいない。いずれにせよ、メロディの主旋律の検索では、主旋律に異なるバリエーションがあることを考慮する必要があるので、メロディの主旋律を特定する方法は非常にコストがかかる。従って、通常、すなわち例えば入れ換え、ミラーリング等により、主旋律が変化することが、音楽の世界では周知である。
【００２０】
【非特許文献１】コイル（Ｃｏｙｌｅ、Ｅ．Ｊ．）、シュマルビッチ（Ｓｈｍｕｌｅｖｉｃｈ、Ｉ．）の、“音楽パターンの機械認識システム（Ａ  Ｓｙｓｔｅｍ  ｆｏｒ  Ｍａｃｈｉｎｅ  Ｒｅｃｏｇｎｉｔｉｏｎ  ｏｆ  Ｍｕｓｉｃ  Ｐａｔｔｅｒｎｓ）”、１９９８年ＩＥＥＥ国際会議、音響、音声、信号処理部会（ｈｔｔｐ：／／ｗｗｗ２．ｍｄａｎｄｅｒｓｏｎ．ｏｒｇ／ａｐｐ／ｉｌｙａ／−Ｐｕｂｌｉｃａｔｉｏｎｓ／ｉｃａｓｓｐ９８ｍｐｒ．ｐｄｆ）
【非特許文献２】シュレーター（Ｓｃｈｒｏｅｔｅｒ、Ｔ．）、ドライサミ（Ｄｏｒａｉｓａｍｙ、Ｓ．）、ルーガー（Ｒｕｅｇｅｒ、Ｓ．）の、“原音のポリフォニック音声から継続的に発生する主旋律を検索する（Ｆｒｏｍ  Ｒａｗ  Ｐｏｌｙｐｈｏｎｉｃ  Ａｕｄｉｏ  ｔｏ  Ｌｏｃａｔｉｎｇ  Ｒｅｃｕｒｒｉｎｇ  Ｔｈｅｍｅｓ）”、２０００年ＩＳＭＩＲ（ｈｔｔｐ：／ｉｓｍｉｒ２０００．ｉｓｍｉｒ．ｎｅｔ／ｐｏｓｔｅｒｓ／ｓｈｏｒｅｔｅｒ  ｒｕｇｅｒ．ｐｄｆ）
【非特許文献３】メーディック（Ｍｅｕｄｉｃ、Ｂ．）の、“音楽パターン抽出：音楽構造の反復から（Ｍｕｓｉｃａｌ  Ｐａｔｔｅｒｎ  Ｅｘｔｒａｃｔｉｏｎ：ｆｒｏｍ  Ｒｅｐｅｔｉｔｉｏｎ  ｔｏ  Ｍｕｓｉｃａｌ  Ｓｔｒｕｃｔｕｒｅ）”、２００３年ＣＭＭＲ紀要（ｈｔｔｐ：／／ｗｗｗ．ｉｒｃａｍ．ｆｒ／ｅｑｕｉｐｅｓ／ｒｅｐｍｕｓ／ＲＭＰａｐｅｒｓ／ＣＭＭＲ−ｍｅｕｄｉｃ−２００３．ｐｄｆ）
【非特許文献４】ミーク（Ｍｅｅｋ）、コリン（Ｃｏｌｉｎ）、バーミンガム（Ｂｉｒｍｉｎｇｈａｍ、Ｗ．Ｐ．）の、“主旋律抽出器（Ｔｈｅｍａｔｉｃ  Ｅｘｔｒａｃｔｏｒ）”、２００１年ＩＳＭＩＲ（ｈｔｔｐ：／／ｉｓｍｉｒ２００１．ｉｓｍｉｒ．ｎｅｔ／ｐｄｆ／ｍｅｅｋ．ｐｄｆ）
【非特許文献４】スミス（Ｓｍｉｔｈ、Ｌ．）、メジナ（Ｍｅｄｉｎａ、Ｒ．）の、“パターン一致の抽出による主旋律の発見（Ｄｉｓｃｏｖｅｒｉｎｇ  Ｔｈｅｍｅ  ｂｙ  Ｅｘａｃｔ  Ｐａｔｔｅｒｎ  Ｍａｔｃｈｉｎｇ）”２００１年（ｈｔｔｐ：／／ｃｉｔｅｓｅｅｒ．ｉｓｔ．ｐｓｕ．ｅｄｕ／−４９８２２６．ｈｔｍｌ）
【非特許文献５】ラルティロット（Ｌａｒｔｉｌｌｏｔ、Ｏ．）の、“知覚ベースの音楽パターンの発見（Ｐｅｒｃｅｐｔｉｏｎ−Ｂａｓｅｄ  Ｍｕｓｉｃａｌ  Ｐａｔｔｅｒｎ  Ｄｉｓｃｏｖｅｒｙ）”、２００３年ＩＦＭＣ紀要（ｈｔｔｐ：／／ｗｗｗ．ｉｒｃａｍ．ｆｒ／−ｅｑｕｉｐｅｓ／ｒｅｐｍｕｓ／ｌａｒｔｉｌｌｏｔ／ｃｍｍｒ．ｐｄｆ）
【非特許文献６】ブラウン（Ｂｒｏｗｎ、Ｊ．Ｃ．）の、“自己相関による楽譜基準値の算出（Ｄｅｔｅｒｍｉｎａｔｉｏｎ  ｏｆ  ｔｈｅ  Ｍｅｔｅｒ  ｏｆ  Ｍｕｓｉｃａｌ  Ｓｃｏｒｅｓ  ｂｙ  Ａｕｔｏｃｏｒｒｅｌａｔｉｏｎ）”、米国音響学会ジャーナル（Ｊ．ｏｆ  Ａｃｏｕｓｔ、Ｓｏｃ．Ｏｆ  Ａｍｅｒｉｃａ）第９４巻第４号１９９３年
【非特許文献７】メーディック（Ｍｅｕｄｉｃ、Ｂ．）の、“ＭＩＤＩファイルからの自動基準値抽出（Ａｕｔｏｍａｔｉｃ  Ｍｅｔｅｒ  Ｅｘｔｒａｃｔｉｏｎ  ｆｒｏｍ  ＭＩＤＩ  ｆｉｌｅｓ）”、２００２年ＪＩＭ紀要（ｈｔｔｐ：／／ｗｗｗ．ｉｒｃａｍ．ｆｒ／ｅｑｕｉｐｅｓ／ｒｅｐｍｕｓ／ＲＭＰａｐｅｒｓ／ＪＩＭ−ｂｅｎｏｉｔ．２００２．ｐｄｆ）
【発明の開示】
【発明が解決しようとする課題】
【００２１】
本発明の目的は、音信号の特徴を記述する、効率的で信頼のおける概念を提供する。
【課題を解決するための手段】
【００２２】
この目的は、請求項１に記載の音信号の特徴を記述する装置、請求項２０に記載の音信号の特徴を記述する方法、または請求項２１に記載のコンピュータプログラムにより達成される。
【００２３】
本発明が基づく知見は、効率的に算出できる多数の情報に関して、周期長判定によるエントリタイムのシーケンスと、サブシーケンスへの分割と、集計したサブシーケンスへの集約とに基づいて、特徴として、音信号の表現特徴を確定するというものである。
【００２４】
さらに、好ましくは、時間に沿った、１つの楽器の１つのエントリタイムのシーケンス、すなわち個別の音源の１つのエントリタイムのシーケンスについて考慮するばかりでなく、１曲の音楽で並行して発生する、２つの異なる音源の少なくとも２つのエントリタイムのシーケンスについても考慮する。通常、全ての音源、または、例えば１曲の音楽のなかのパーカッション音源のような少なくともサブセットの音源は、同じ基礎となる周期長を有していると考えられる。２つの音源のエントリタイムのシーケンスを用いて、少なくとも２つの音源の基礎となる共通の周期長を求める。本発明によれば、次に、各エントリタイムシーケンスがそれぞれサブシーケンスに分割される。サブシーケンス長は、共通の周期長と等しい。
【００２５】
第１の音源のサブシーケンスを第１の合成したサブシーケンスに合成することと、第２の音源のサブシーケンスを第２の合成したサブシーケンスに合成することとに基づいて、特徴抽出を行う。合成したサブシーケンスが、音信号の特徴として機能し、これを用いてさらに処理をおこなうこともできる。例えば、ジャンル、テンポ、基準値リズムの種類、他の楽曲との類似性等の、１つの全曲の音楽に関する意味的に重要な情報を抽出する。
【００２６】
従って、エントリタイムのシーケンスに対して想定した２つの音源がパーカッション音源である場合は、例えば、音のピッチではなく出力音の特徴スペクトルが、またはピッチではなく出力音の立ち上がりまたは立ち下がりそれぞれが、上位の音楽意味を持つという事実により、各々を区別する、ドラムや、他のドラム楽器または任意の他の打楽器である場合は、第１の音源の合成したサブシーケンスと第２の音源の合成したサブシーケンスとが、音信号のドラムパターンを形成する。
【００２７】
従って、好ましくは、本発明により、好適には採譜した音楽信号、すなわち、例えば音楽信号の音符表現から、ドラムパターンを自動的に抽出する。この表現をＭＩＤＩフォーマットで記述してもよいし、デジタル信号処理の方法により、オーディオ信号から自動的に求めたりしてもよい。例えば、独立成分分析（ＩＣＡ）、または、例えば非負独立成分分析法等の、これを変更した方法、または、一般に“ブラインド音源分離（ｂｌｉｎｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ”（ＢＳＳ）というキーワードで周知の概念を用いる。
【００２８】
本発明の好適な実施の形態では、はじめにドラムパターンの抽出を行うには、音符エントリの認識、すなわち、異なる楽器ごと、音色楽器のピッチごとの開始時間の認識を行う。あるいは、音符表現の読出を行ってもよい。この読出は、ＭＩＤＩファイルの読出、または楽譜のサンプリングおよび画像処理、また手入力した音符の受信を含んでいてもよい。
【００２９】
ここで、本発明の好適な実施の形態では、ラスタが求められ、これにより、音符エントリタイムが量子化され、再び音符エントリタイムが量子化される。
【００３０】
ここで、音楽小節の長さ、音楽小節の長さの整数倍、または音楽カウントタイムの長さの整数倍として、ドラムパターンの長さを求める。
【００３１】
ここで、パターンヒストグラムを用いて、基準位置ごとに特定の楽器が出現する周波数を求める。
【００３２】
次に、音信号の特徴として好ましいドラムパターンの形態を得るために、該当するエントリを選択する。あるいは、パターンヒストグラムをそのように処理することもできる。パターンヒストグラムはまた、音楽イベントの圧縮表現、すなわち音符生成であり、変化の程度および好ましいカウントタイムに関する情報を含んでいる。ヒストグラムの平坦性は、強い変化を表し、ちょうど“山のような”ヒストグラムは、自己類似性の意味で定常信号を表す。
【００３３】
ヒストグラムの表現を向上させるためには、信号を信号の特徴が類似した領域に分割して、互いに類似した信号の領域に対してだけドラムパターンを抽出して、信号内の他の特徴領域の別のドラムパターンを求めるために、はじめに前処理を行うことが好ましい。
【００３４】
音信号の特徴を算出する正しく機能する効率的な方法を得る点において、本発明には利点がある。特に、正しく機能する方法で、全ての信号に対して等しいように、統計的方法で求める周期長により、分割を行うことに基づいている。さらに、合成したサブシーケンスの算出に、ますますコストがかかるように、本発明の概念が拡張可能であるという点は、上位の算出時間がかかるものの、共通の周期長の判定と、ドラムパターンの判定とに、出現時間シーケンスがますます多く含まれるようになり、異なる音源、すなわち楽器がますます数多く含まれるようになるという事実により、この概念の表現および精度について容易に向上させることもできるという点である。
【００３５】
しかしながら、別の拡張性は、さらに処理を行うかどうかによるが、必要な場合には、次に、得られた合成したサブシーケンスに後処理を行って、表現に関するサブシーケンスを低減するために、特定の数の音源に対して、特定の数の合成したサブシーケンスを計算することである。例えば、特定の閾値を下回るヒストグラムエントリを無視することもできる。しかしながら、ヒストグラムエントリについてもそのように量子化したり、あるいは、特定の時点に、合成したサブシーケンス内にヒストグラムエントリがあるというステートメントだけをヒストグラムが含んでいるかどうかについて、閾値を決定するかにより、２値化したりしてもよい。
【００３６】
本発明の概念は、多くのサブシーケンスを合成するために、サブシーケンスと“一体化”するという事実に基づく、正しく機能する方法である。この方法は、いずれにしろ効率的に行われるが、本発明の処理工程数は多くを必要としない。
【００３７】
特に、以下でドラムと呼ぶピッチのない打楽器は、特にポピュラー音楽で基本的な役割をはたす。リズムおよび音楽ジャンルに関する多数の情報の部分は、ドラムによって演奏される“音符”に含まれている。例えばこれを、分類または少なくとも事前分類それぞれを実行できるようにするために、音楽アーカイブの知的そして直感的な検索に用いることもできる。
【００３８】
ドラムによって演奏される音符は、ドラムパターンとも呼ぶ繰り返しパターンを頻繁に形成する。ドラムパターンは、長い音符像からドラムパターンの長さの音符像を抽出することにより、演奏した音符の圧縮表現として機能することもできる。それにより、ドラムパターンから、１つの全曲の音楽に関する意味論的に意味のある情報を抽出することもできる。例えばジャンル、テンポ、基準値リズムの種類、他の楽曲との類似性等の情報である。
【００３９】
以下では、添付の図面を参照して、本発明の好適な実施の形態についてより詳細に説明する。
図１は、本発明の音信号の特徴を記述する装置のブロック図を示す。
図２は、音符エントリポイントの割り出しを説明する概略図を示す。
図３は、量子化ラスタと、ラスタを用いた音符の量子化とを表す概略図を示す。
図４は、任意の楽器を用いて統計的に時間の長さを求めることにより得られる、共通の周期長の例を説明する図を示す。
図５は、個別の音源（楽器）の合成したサブシーケンスの例として、例示のパターンヒストグラムを示す。
図６は、音信号の別の特徴の例として、後処理を行ったパターンヒストグラムを示す。
【発明を実施するための最良の形態】
【００４０】
図１は、本発明の音信号の特徴を記述する装置を示す。はじめに、図１は、時間とともに、少なくとも２つの音源のそれぞれに対しエントリタイムシーケンスを提供する手段１０を含んでいる。好ましくは、エントリタイムは、量子化ラスタに存在する、すでに量子化したエントリタイムである。図２は、異なる音源の音符のエントリタイムのシーケンス、すなわち、図２で“ｘ”で表される楽器１、２、．．．楽器ｎを示しており、図３は、図３に示すラスタ内の量子化された各音源の量子化エントリタイムのシーケンス、すなわち、各楽器１、２．．．楽器ｎの量子化エントリタイムのシーケンスを示している。
【００４１】
図３は同時に、エントリタイムの行列またはリストを示している。図３の縦の列は、２つのラスタポイントまたはラスタラインの間の距離を表しており、従って、時間間隔を表す。エントリタイムのシーケンスによるが、音符エントリは存在することもあるし存在しないこともある。図３に示す実施の形態では、例えば、符号３０で示す縦の列では、楽器１の音符エントリが存在している。図３の２つの楽器１および楽器２に対応付けられた２つのラインに“ｘ”で示されているように、楽器２にも当てはまる。それと対照的に、楽器ｎは、符号３０で示す時間間隔に音符エントリタイムがない。
【００４２】
好ましくは、共通の周期長を算出するために、量子化したいくつかのエントリタイムのシーケンスが、手段１０から手段１２に供給される。各エントリタイムシーケンスの個別の周期長を求めるのではなく、少なくとも２つの音源の最もよい基礎となる共通の周期長を検出するために、共通の周期長を算出する手段１２は実行される。これは、例えば１曲の中で打楽器をいくつか演奏している場合は、打楽器はすべて、多かれ少なかれ同じリズムを刻んでいるので、音信号を構成している事実上全ての楽器、すなわち全ての音源に対して、共通の周期長が必ず存在することになるという事実に基づいている。
【００４３】
ここで、出力側で各音源のサブシーケンスのセットを得るために、各エントリタイムシーケンスを分割する手段１４に、共通の音の周期長が供給される。
【００４４】
例えば、次に、図４について考えると、すなわち、任意の楽器１、２、．．．楽器ｎに対して共通の周期長４０が検出されていることがわかる。任意のエントリタイムのシーケンスを共通の周期長４０の長さのサブシーケンスに分割するために、サブシーケンスに分割する手段１４が実行される。次に、例えば、図４の例に示す楽器１のシーケンスに対して３つのサブシーケンスを得るために、図４に示すように、楽器のエントリタイムシーケンスを、第１のサブシーケンス４１と、次の第２のサブシーケンス４２と、その次のサブシーケンス４３とに分割する。これと同様に、楽器１のエントリタイムシーケンスで説明しているように、楽器２、．．．楽器ｎの他のシーケンスについても対応する隣接するサブシーケンスに分割する。
【００４５】
次に、第１の音源の合成したサブシーケンスおよび第２の音源の合成したサブシーケンスを音信号の特徴として得るために、音源のサブシーケンスのセットが、各音源を合成する手段１６に供給される。好ましくは、パターンヒストグラムの形態で合成を行う。各サブシーケンス間の第１の間隔を、いわゆる各サブシーケンス間の第１の間隔の“上”に配置するように、第１の楽器のサブシーケンスを、互いに隣接するように上に配置する。次に、図５を参照して示すように、合成したサブシーケンスの各スロット内のエントリ、またはパターンヒストグラムの各ヒストグラム成分内のエントリそれぞれが数えられる。従って、第１の音源の合成したサブシーケンスは、図５に示す例の、パターンヒストグラムの第１の段５０となる。第２の音源、すなわち、例えば楽器２に対して、合成したサブシーケンスは、パターンヒストグラムの第２の段５２等となる。全体として、図５のパターンヒストグラムは従って、音信号の特徴を表し、これを次にさらに様々な目的のために用いることもできる。
【００４６】
以下では、ステップ１２で、共通の周期長を求める異なる実施の形態について説明する。パターン長さの検出を、異なるやり方で実施することもできる。すなわち、例えば推測的な基準から、現在の音符情報に基づいて、あるいは、例えば好ましくは、パターン長さの多くの仮定を推定して、得られる結果を用いてそれらの妥当性を検証する、反復的検索アルゴリズムにより、周期性／パターン長さの推定値を直接生成することができる。これについてもやはり、例えば、パターンヒストグラムを解釈することにより実行してもよい。例えば、合成手段１６で実行したり、または他の自己類似性測定手段を用いて実行したりする。
【００４７】
図５に示すようにすでに実行したように、パターンヒストグラムを、合成手段１６で生成してもよい。あるいは、妥当性に従って音符に重み付けを行うために、パターンヒストグラムでは、個別の音符の強度についても考慮することもできる。あるいは、図５に示したように、ヒストグラムは単に、サブシーケンス内またはサブシーケンスのビンまたはタイムスロット内に音が存在しているかどうかに関する情報含んでいてもよい。ここでは、妥当性に対する個別の音符の重み付けを、ヒストグラムに含めないものとする。
【００４８】
本発明の好適な実施の形態では、ここでは好ましくはパターンヒストグラムである図５に示す特徴を、さらに処理する。これを行う際に、例えば、周波数または合成した強度値を閾値と比較するといったような基準を用いて、音符の選択が行われてもよい。なかでも、この閾値は、楽器の種類またはヒストグラムの平坦性に依存してもよい。ドラムパターン内のエントリは、ブールの大きさであってもよい。“１”は、音符が発生したという事実を表し、“０”は、音符が発生しなかったことを表す。あるいは、ヒストグラム内のエントリについても、このタイムスロットで発生する音符の強度（音量）または妥当性が、音楽信号でどのように大きいかについての単位であってもよい。図６について考えると、任意のタイムスロットまたはビンそれぞれが、各楽器のパターンヒストグラムで“ｘ”で示されるように、閾値を選択したことがわかる。エントリ数は、３以上である。それと対照的に、任意のビンを削除する。エントリ数は３未満、すなわち、例えば２または１である。
【００４９】
本発明によれば、ピッチでまったく、あるいはそれほど特徴付けられていない打楽器から、音楽の“結果”すなわち譜面が生成される。音楽イベントは、音楽楽器の音の発生として定義される。好ましくは、実質的なピッチを持たない打楽器だけを考える。イベントが、オーディオ信号内で検出され、楽器の種類が分類される。イベントの時間的位置が、量子化ラスタについて量子化される。これを、テータムグリッドとも呼ぶ。さらに、音楽の小節、またはミリ秒での小節の長さ、または多数の量子化間隔がそれぞれ算出され、さらに、好ましくは、アップビートについても特定される。ドラムパターンでの特定の位置で音楽イベントが発生する周波数に基づくリズム構造を特定することにより、テンポを確実に特定することができ、音楽的背景知識についても用いる場合には、小節ラインを位置づける有用な表示が得られる。
【００５０】
楽譜または特徴それぞれは、好ましくは、例えば開始時間および継続時間といったリズム情報を含んでいることに留意されたい。この基準値情報の推定値、すなわち、拍子記号の推定値は、採譜した音楽の自動分析を行うのに必ずしも必要ではないが、しかしながら、人為的な再生装置にとっては、有効な楽譜の生成および再生を行うのに必要である。従って、自動採譜処理を、２つのタスクに分割することもできる。すなわち、すでに上述したように、音楽イベント、すなわち音符の検出および分類と、検出した音符、すなわちドラムパターンからの音楽譜面の生成とである。このために、好ましくは、音楽の基準値構造を推定して、検出した音符の時間的位置の量子化と、アップビートの検出と、小節ラインの位置の割り出しとを行ってもよい。特に、多声の音楽オーディオ信号の有意のピッチ情報がない、打楽器の音楽譜面の抽出について記述している。好ましくは、独立部分空間分析法を用いて、イベントの検出および分類を行う。
【００５１】
拡張ＩＣＡは、独立部分空間分析（ＩＳＡ）により表される。ここでは、成分を、統計的に独立させる必要のない成分を持つ独立部分空間に分割する。音楽信号を変換することにより、混合信号の多次元表現が求められ、これを最後に推定したＩＣＡと一致させる。過去に、独立成分を算出する異なる方法が開発されている。音声信号分析を部分的に扱っている、該当する文献は以下の通りである。
１．Ｊ．カルーネン（Ｋａｒｈｕｎｅｎ）、“独立成分分析および音源の分離に対するニューラルアプローチ（Ｎｅｕｒａｌ  ａｐｐｒｏａｃｈｅｓ  ｔｏ  ｉｎｄｅｐｅｎｄｅｎｔ  ｃｏｍｐｏｎｅｎｔ  ａｎａｌｙｓｉｓ  ａｎｄ  ｓｏｕｒｃｅ  ｓｅｐａｒａｔｉｏｎ）”１９９６年人工神経網欧州シンポジウム紀要２４９〜２６６ページ、ブリュージュ。
２．Ｍ．Ａ．ケーシー（Ｃａｓｅｙ）およびＡ．ウェストナー（Ｗｅｓｔｎｅｒ）、“独立部分空間分析による混合音声音源の分離（Ｓｅｐａｒａｔｉｏｎ  ｏｆ  Ｍｉｘｅｄ  Ａｕｄｉｏ  Ｓｏｕｒｃｅｓ  ｂｙ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｓｕｂｓｐａｃｅ  Ａｎａｌｙｓｉｓ）”２０００年国際コンピュータ  音楽会議紀要、ベルリン。
３．Ｊ．−Ｆ．カルドーゾ（Ｃａｒｄｏｓｏ）、“多次元独立成分分析（Ｍｕｌｔｉｄｉｍｅｎｓｉｏｎａｌ  ｉｎｄｅｐｅｎｄｅｎｔ  ｃｏｍｐｏｎｅｎｔ  ａｎａｌｙｓｉｓ）”１９９８年、ＩＣＡＳＳＰ１９９８年紀要、シアトル。
４．Ａ．ヒュバリネン（Ｈｙｖａｒｉｎｅｎ）、Ｐ．Ｏ．ホイヤー（Ｈｏｙｅｒ）およびＭ．  インキ（Ｉｎｋｉ）、“地形独立分析（Ｔｏｐｏｇｒａｐｈｉｃ  Ｉｎｄｅｐｅｎｄｅｎｔ  ａｎａｌｙｓｉｓ）”２００１年ニューロコンピューティング１３（７）、１５２５〜１５５８ページ。
５．Ｓ．ドゥブノフ（Ｄｕｂｎｏｖ）、“独立部分空間分析によるサウンドオブジェクトの抽出（Ｅｘｔｒａｃｔｉｎｇ  Ｓｏｕｎｄ  Ｏｂｊｅｃｔｓ  ｂｙ  Ｉｎｄｅｐｅｎｄｅｎｔ  Ｓｕｂｓｐａｃｅ  Ａｎａｌｙｓｉｓ）”２００２年仮想、合成およびエンターテイメント音声、ＡＥＳ第２２回国際会議紀要、ヘルシンキ。
６．Ｊ．−Ｆ．カルドーゾ（Ｃａｒｄｏｓｏ）およびＡ．スルミア（Ｓｏｕｌｏｕｍｉａｃ）、“非ガウス信号のブラインドビーム形成（Ｂｌｉｎｄ  ｂｅａｍｆｏｒｍｉｎｇ  ｆｏｒ  ｎｏｎ  Ｇａｕｓｓｉａｎ  ｓｉｇｎａｌｓ”１９９３年ＩＥＥ紀要、第１４０巻、第６号、３６２〜３７０ページ。
【００５２】
イベントが、音楽楽器の音符の発生として定義される。また、音符の発生時間は、１曲の音楽で音符が発生した時点である。オーディオ信号を部分にセグメント化する。オーディオ信号セグメントは、類似のリズム特徴を有している。下位の音声特性のベクトルで示される、オーディオ信号の短いフレームの間の距離基準を用いて、これを行う。テータムグリッドおよび上位の基準値レベルは、セグメント化部分から別々に求められる。基準値構造は、オーディオ信号のセグメント化部分内で変化しないものとする。好ましくは、検出したイベントが推定したテータムグリッドと整合される。この処理はおおよそ、音楽作成用の従来のＭＩＤＩシーケンサソフトウェアプログラムで周知の量子化関数に対応している。小節の長さが、量子化イベントリストから推定され、反復リズム構造が特定される。リズム構造に関する知識を用いて、推定したテンポを補正して、音楽的背景知識を用いて、小節ラインの位置を特定する。
【００５３】
以下では、異なる本発明の構成要素の好ましい実施例について説明する。好ましくは、手段１０は、いくつかの音源にエントリタイムのシーケンスを提供するために、量子化を行う。好ましくは、検出したイベントがテータムグリッド内で量子化される。従来の音符エントリ検出方法を用いて動作する音符エントリタイムとともに、検出したイベントの音符エントリタイムを用いて、テータムグリッドが推定される。検出したパーカッションイベントに基づくテータムグリッドの生成は、確実に正しく機能する。ここでは、１曲の音楽の中の２つのラスタポイントの間の距離は、通常、一番早く演奏した音符を表すことに留意されたい。従って、１曲の音楽に、せいぜい１６分の１音符と、１６分の１音符より遅い音符とが発生した場合は、テータムグリッドの２つのラスタポイントの間の距離は、音信号の１６分の１音符の時間長に等しい。
【００５４】
一般的な場合では、２つのラスタポイントの間の距離は、この音符値の整数倍を形成することにより、全ての発生した音符値または一時的な周期長それぞれを表すために必要な、最も大きい音符値を表す。従って、ラスタ距離は、全ての発生した音符継続時間／周期長等の最も大きい共通除数である。
【００５５】
以下では、テータムグリッドを求める２つの別のアプローチについて説明する。はじめに、第１のアプローチとして、テータムグリッドは、双方向ミスマッチプロシージャ（ＴＷＭ）を用いて表される。テータム期間の一連の実験的値、すなわち２つのラスタポイントの距離が、発音時刻の間隔（ｉｎｔｅｒ−ｏｎｓｅｔ  ｉｎｔｅｒｖａｌ：ＩＯＩ）のヒストグラムから導出される。ＩＯＩの計算は、連続する発音に限られず、事実上、時間フレーム内の発音の全ての対に限定されている。テータム候補が、最も頻繁に出現するＩＯＩの整数の断片として計算される。双方向ミスマッチ誤差関数に最適に従って、ＩＯＩのハーモニー構造を予測する候補が選択される。その次に、テータム期間から導出したコームグリッドと信号の発音時間との間の誤差関数を算出することにより、推定したテータム期間が計算される。従って、ＩＯＩのヒストグラムが生成されて、ＦＩＲローパスフィルタにより、平滑化される。また、ＩＯＩヒストグラムのピークによりＩＯＩを分割して、例えば、１から４の間の値のセットにより、テータム候補が得られる。ＴＷＭの適用の後で、ＩＯＩヒストグラムからテータム期間のおよその推定値が導出される。その次に、音符エントリタイムと、前に推定したテータム期間に近い期間を有するいくつかのテータムグリッドとの間でＴＷＭを用いて、テータムグリッドの位相およびテータム期間の正確な推定値が計算される。
【００５６】
音符エントリベクトルとテータムグリッドとの間のベストマッチ、すなわち、音符エントリベクトルｘとテータムｙとの間の相関係数Ｒｘｙを用いて計算することにより、第２の方法により、テータムグリッドをさらに改良することを説明する。
2007536586.tif 000003
【００５７】
わずかなテンポの変化に追従させるために、隣接するフレームのテータムグリッドは、例えば、２．５秒の長さで推定される。隣接するフレームのテータムグリッド間の変化を、テータムグリッドポイントのＩＯＩベクトルにローパスフィルタリングを行うことにより平滑化して、テータムグリッドは平滑化したＩＯＩベクトルから抽出される。その次に、各イベントは、その最も近いグリッド位置に対応付けられている。それにより、いわゆる量子化が行われる。
【００５８】
次に、譜面を、行列Ｔｉｋ、ｉ＝１，．．．ｎおよびｊ＝１、．．．、ｍとして書き込むこともできる。ｎは、検出した楽器の数で、ｍは、テータムグリッド要素の数、すなわち、行列の縦の列の数に等しい。検出したイベントの強度は、削除されてもよいし、これを用いられてもよい。これにより、ブール行列または強度値を有する行列になる。
【００５９】
以下では共通の周期長を算出する手段１２の特殊な実施の形態について説明する。パーカッションイベントの量子化表現が、音源を再生する基礎となる、音楽の小節または周期性それぞれの推定値に関する有用な情報を準備する。基準値リズムレベルの周期性を例えば、２つの段階で求める。はじめに、小節長さを推定するために、周期性が計算される。
【００６０】
好ましくは、周期性関数として、自己相関関数（ＡＣＦ）または平均差量関数（ａｖｅｒａｇｅ  ａｍｏｕｎｔ  ｄｉｆｆｅｒｅｎｅｃｅ  ｆｕｎｃｔｉｏｎ：ＡＭＤＦ）が用いられる。これらは、以下の式で表される。
2007536586.tif 000004
【００６１】
また、ＡＭＤＦが、音楽信号および音声信号の基礎周波数の推定値と、音楽の小節の推定値とに用いられる。
【００６２】
一般的な場合では、周期性関数は、信号と、その時間的に異なるバージョンとの間の類似性または非類似性それぞれを測定する。異なる類似性基準は周知のものである。従って、例えば、次の式により、２つのブールベクトルＢｉとＢ２との間の非類似性を算出するハミング距離（ＨＤ）が存在する。
2007536586.tif 000005
【００６３】
適切に拡張を行って、リズム構造を比較することは、類似の音符および休止符に異なる重み付けを行うことに起因する。次に、以下に示すように、譜面Ｔ１およびＴ２の２つの区分の間の類似性Ｂが、ブール演算の重み付け加算により計算される。
2007536586.tif 000006
【００６４】
上記の式では、重みａ、ｂおよびｃは、最初は、ａ＝１、ｂ＝０．５およびｃ＝０に設定されている。ａは、共通音符の発生の重み付けを行い、ｂは、共通休止符の発生の重み付けを行い、ｃは、重み付け差の発生に対して、すなわち音符が一方の譜面で発生するが、もう一方の譜面では音符が発生しないといった重み付けを行う。以下に示すように、要素Ｂを加算することにより、類似性基準Ｍが得られる。
2007536586.tif 000007
【００６５】
行列要素の間の差を類似の方法で考える限りでは、この類似性基準は、ハミング距離に類似している。以下では、距離基準として、変形ハミング距離（ＭＨＤ）が用いられる。また、重み付けベクトルνｉ、ｉ＝１、．．．ｎを用いて、特徴的な楽器の影響を制御してもよい。例えば、小型ドラム（スネアドラム）または低音域楽器により重点を置いたりするといった音楽背景知識を用いたり、あるいは楽器の出現する周波数および規則性により、制御してもよい。
2007536586.tif 000008
また、ブール行列の類似性基準が、強度値を考えるために、Ｔ１およびＴ２からの平均値を有する重み付けＢにより拡張してもよい。距離または非類似性それぞれが、負の類似性と見なされてもよい。譜面Ｔと、これをシフトしたバージョンとの間で類似性基準Ｍを算出することにより、周期性関数Ｐ＝ｆ（Ｍ、１）が計算される。シフトは１に基づく。Ｐを基準値モデルの数と比較することにより、拍子記号が求められる。実行した基準値モデルＱは、異なる拍子記号および微少時間の一般的なアクセント位置における一連のスパイクからなる。微少時間は、音楽カウントタイムの継続時間の整数比である。すなわち音楽テンポを確定する音符値（例えば、４分の１音符）と、テータム期間の継続時間との整数比である。
【００６６】
相関係数が最大の場合は、ＰとＱとの間のベストマッチが得られる。現状のシステム１３では、７つの異なる拍子記号に対して基準値モデルが実行される。
【００６７】
例えば、アップビートを検出して、正しく機能するテンポ推定値を得るために、繰り返し構造が検出される。ドラムパターンを検出するには、次の式により、類似の基準値位置を有する行列要素Ｔを加算することにより、小節ｂの長さから、譜面Ｔが得られる。
2007536586.tif 000009
上記の式におけるｂは、推定した小節長さと、Ｔの中の小節数ｐとを示す。以下では、Ｔ’は、それぞれ譜面ヒストグラムまたはパターンヒストグラムとして参照される。大きいヒストグラム値を有する譜面要素Ｔ’ｉ，ｊを検索することにより、譜面ヒストグラムＴ’からドラムパターンが得られる。測定した長さの整数値に対して上述の手順を繰り返し使用することにより、小節を超える長さのパターンが取り出される。音信号のさらなる別の特徴として代表的な最大パターンを得るために、すなわちパターン長さ自体に対して、演奏する音符が最も多いパターン長さが選択される。
【００６８】
好ましくは、音楽知識から導出した規則のセットを用いることにより、特定したリズムパターンが解釈される。好ましくは、個別の楽器が出現した等距離イベントが特定されて、楽器分類を参照して評価される。これにより、ポピュラー音楽でしばしば出現する演奏スタイルを特定できるようになる。一例としては、４分の４拍子の第２拍子および第４拍子でかなり頻繁に用いられる、小型ドラム（スネアドラム）またはタンバリンまたは拍手があげられる。バックビートと呼ばれるこの概念は、時間ラインの位置の指標として機能する。バックビートパターンが存在する場合は、小型ドラムの２つの拍子の間で時間が開始する。
【００６９】
さらに時間ラインを位置づける音符は、キックドラムイベントの発生、すなわち、通常足で演奏する大型ドラムのイベントの発生である。
【００７０】
たいていのキックドラム音符が発生する基準値位置により、音楽の小節のはじめに印がつけられていると仮定する。
【００７１】
例えば、図１に示して説明した、各音源の合成手段１６で得られるような、図５または図６で説明したような、特徴の好ましい例は、ポピュラー音楽のジャンル分類に含まれる。得られたドラムパターンから、通常の演奏スタイルを特定するために、上位レベルの異なる特性を導出することもできる。分類手順により、音楽の小節、すなわち、例えば、１分毎の拍子といった速度についての情報に関連して、使用した打楽器を用いてこれらの特性を評価する。この概念は、任意の打楽器がリズム情報を有していて、頻繁に繰り返し演奏されるという事実に基づいている。ドラムパターンは、ジャンルに特有の特徴を有している。従って、これらのドラムパターンは、音楽ジャンルの分類に用いることもできる。
【００７２】
このために、それぞれ個別の楽器に対応付けられた、異なる演奏スタイルの分類が行われる。従って、例えば演奏スタイルは、各４分の１音符上に限ってイベントが発生するという事実からなる。この演奏スタイルに対応付けられた楽器は、キックドラム、すなわち足で演奏するドラムの大型のドラムである。この演奏スタイルを、ＦＳと略記する。
【００７３】
別の演奏スタイルは例えば、４分の４拍子の各第２および第４の４分音符でイベントが発生することである。これは主として、小型ドラム（スネアドラム）およびタンバリン、すなわち拍手で演奏される。この演奏スタイルを、ＢＳと略記する。さらに例示の演奏スタイルは、三連音符の第１および第３の音符上でしばしば音符が発生するという事実からなる。これをＳＰと略記する。ハイハットつまりシンバルで、しばしば観察される。
【００７４】
従って、演奏スタイルは、異なる音楽楽器に固有である。例えば、キックドラムイベントが各４分の１音符上で発生する場合に限って、第１の特性ＦＳは、ブール値を取り、真である。特定の値に限っては、ブール変数は、全く計算されないが、例えば、ハイハット、シェイカーまたはタンバリンが演奏するとして、例えば、オフビートイベントの数と、オンビートイベントの数との間の関係といったような、特定の数が算出される。
【００７５】
ジャンル分類の特性をさらに得るために、典型的なドラム楽器の組み合わせが、例えばロック、ジャズ、ラテン、ディスコおよびテクノといった、異なるドラムセットの分類の１つに分類される。楽器音を用いるのではなく、個別のジャンルに属する異なる楽曲のドラム楽器の出現を一般的に検出することにより、ドラムセットの分類が導出される。従って、例えば、分類がロックであるドラムセットは、キックドラム、スネアドラム、ハイハットおよびシンバルを用いるという事実により、区別される。それと対照的に、“ラテン”の分類では、ボンゴ、コンガ、クラベスおよびシェイカーが用いられる。
【００７６】
さらに、特性セットが、ドラム譜面またはドラムパターン、それぞれのリズム特性から導出される。これらの特性には、音楽テンポ、拍子記号、微少時間等が含まれる。また、ドラムパターンにおいて発生する異なるＩＯＩの数を数えることにより、キックドラム音符の出現する変化の基準が得られる。
【００７７】
規則に基づく決定ネットワークを利用して、ドラムパターンを用いて音楽ジャンルの分類が行われる。現在検証した仮説を満たす場合は、考えられるジャンル候補が与えられ、現在検証した仮説の側面を満たさない場合は、候補が“補正する”。この処理が、各ジャンルの好ましい特性の組み合わせの選択に結実する。賢明な決定を行うための規則が、代表的な楽曲および音楽知識それ自体を観察することから導出される。選択または補正するためのそれぞれの値は、抽出概念のロバストネスを考慮して、経験的に設定される。特定の音楽ジャンルとして得られる決定を、最大数の選択を含む、ジャンル候補と考える。
従って、例えば、ドラムセット種類がディスコで、テンポの範囲が１１５〜１３２ｂｐｍで、拍子記号が４／４ビットで、微少時間が２に等しい場合は、ジャンルがディスコと認識する。さらに、ジャンルのディスコに対する特性はさらに、例えば、演奏スタイルＦＳがあり、例えば、さらに演奏スタイルがもう１つあること、すなわち、各オフビート位置でイベントが発生することである。他のジャンルに、例えばヒップホップ、ソウル／ファンク、ドラムおよびベース、ジャズ／スウィング、ロック／ポップ、ヘビーメタル、ラテン、ワルツ、ポルカ／パンクまたはテクノなどに、同様の基準を設定してもよい。
【００７８】
状況によるが、音信号の特徴を記述する本発明の方法を、ハードウェアまたはソフトウェアで実施することもできる。実施にあたっては、本方法を実行するように、プログラム可能コンピュータシステムと協働する電子的に読み取り可能な制御信号を有するデジタル記録媒体、特に、フロッピー（登録商標）ディスクまたはＣＤ上で実施することもできる。従って、一般に、コンピュータプログラム製品をコンピュータ上で実行する場合は、本発明は、本方法を実行する機械読み取り可能なキャリアに格納したプログラムコードを有する、コンピュータプログラム製品からなる。従って、換言すれば、本発明は、コンピュータ上でコンピュータプログラムを実行する場合は、本方法を実行するプログラムコードを有するコンピュータプログラムとして実施することもできる。
【図面の簡単な説明】
【００７９】
【図１】本発明の音信号の特徴を記述する装置のブロック図を示す。
【図２】音符エントリポイントの割り出しを説明する概略図を示す。
【図３】量子化ラスタと、ラスタを用いた音符の量子化とを表す概略図を示す。
【図４】任意の楽器を用いて統計的に時間の長さを求めることにより得られる、共通の周期長の例を説明する図を示す。
【図５】個別の音源（楽器）の合成したサブシーケンスの例として、例示のパターンヒストグラムを示す。
【図６】音信号の別の特徴の例として、後処理を行ったパターンヒストグラムを示す。
【図１】
2007536586.tif 000010
【図２】
2007536586.tif 000011
【図３】
2007536586.tif 000012
【図４】
2007536586.tif 000013
【図５】
2007536586.tif 000014
【図６】
2007536586.tif 000015
【国際調査報告】
2007536586.tif 000016
2007536586.tif 000017
2007536586.tif 000018
2007536586.tif 000019