(57)【特許請求の範囲】
【請求項１】
特定の時間の音楽片を示すオーディオ信号を処理する装置であって、
前記オーディオ信号から、音成分を選択する選択ユニットと、
選択された前記音成分にマスクを適用し、少なくとも１つの音成分を破棄するマスクユニットと、
破棄の後に残った前記音成分の音符値を特定するラベルユニットと、
前記音符値を１オクターブ分にマッピングして、クロマ値を取得するマッピングユニットと、
前記クロマ値を累積して、ヒストグラムまたはクロマグラムとなす累積ユニットと、
前記音楽片のキーを特定するため、前記ヒストグラムまたはクロマグラムを、参照ヒストグラムまたはクロマグラムと比較することにより、前記ヒストグラムまたはクロマグラムを評価する評価ユニットとを含み、
閾値に基づいて実質的に可聴でない音成分を破棄するように、前記マスクが適用されることを特徴とする装置。
【請求項２】
前記オーディオ信号を周波数領域に変換することにより前記音成分が選択され、該音成分のそれぞれが、周波数値と振幅値とにより表されることを特徴とする請求項１記載の装置。
【請求項３】
前記振幅値を、該振幅値を真数とする対数関数により、圧縮して変換する圧縮型変換ユニットをさらに含むことを特徴とする請求項２記載の装置。
【請求項４】
コンピュータに、
特定の時間の音楽片を示すオーディオ信号から、音成分を選択する処理と、
選択された前記音成分にマスクを適用し、少なくとも１つの音成分を破棄する処理と、
破棄の後に残った前記音成分の音符値を特定する処理と、
前記音符値を１オクターブ分にマッピングして、クロマ値を取得する処理と、
前記クロマ値を累積して、ヒストグラムまたはクロマグラムとなす処理と、
前記音楽片のキーを特定するため、前記ヒストグラムまたはクロマグラムを、参照ヒストグラムまたはクロマグラムと比較することにより、前記ヒストグラムまたはクロマグラムを評価する処理とを実行させ、
閾値に基づいて実質的に可聴でない音成分を破棄するように、前記マスクが適用されることを特徴とするソフトウェアプログラム。
【請求項５】
前記オーディオ信号を周波数領域に変換することにより前記音成分が選択され、該音成分のそれぞれが、周波数値と振幅値とにより表されることを特徴とする請求項４記載のプログラム。
【請求項６】
前記振幅値が、該振幅値を真数とする対数関数により、圧縮されて変換されることを特徴とする請求項５記載のプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、演奏されているコードまたは入力オーディオのキーシグニチャといったような、信号の調音特性（ｈａｒｍｏｎｉｃ  ｐｒｏｐｅｒｔｉｅｓ）を分析するために、オーディオスペクトル中の関連する音成分を選択することに関するものである。
【背景技術】
【０００２】
予め決められたラベルの組に従ってコンテンツを分類するためにオーディオコンテンツを評価する、アルゴリズム開発への関心が高まっている。かかるラベルは、音楽のスタイルやジャンル、その音楽の雰囲気、その音楽がリリースされた時期等であってもよい。そのようなアルゴリズムは、オーディオコンテンツから特徴を取り出すことに基づいており、それらの特徴は、それら特徴に基づいてコンテンツを分類することのできる学習済モデルによって処理される。この目的のために抽出される特徴は、上記のモデルがタスクを実行することを可能とするような、意味のある情報を示していなくてはならない。特徴は、平均パワーのような低レベルの特徴であってもよいし、音響心理学的な洞察に基づいた特徴（たとえば音の大きさ、ラフネス等）のような、より高レベルの特徴が抽出されてもよい。
【０００３】
本発明は、とりわけ、オーディオの音コンテンツ（ｔｏｎａｌ  ｃｏｎｔｅｎｔ）に関係する特徴に関するものである。ほぼ普遍的といえる音楽の成分は、メロディー情報、調音情報、およびキー情報を担持する音成分の存在である。このメロディー情報、調音情報およびキー情報の分析は、複雑である。なぜならば、楽器により生成される１つ１つの音符が、結果として、オーディオ信号中の複雑な音成分をもたらすためである。通常、それらの成分は、音符の基本周波数の実質的に整数倍である周波数を有する、一連の「調音（調波）」である。ある特定の時間に演奏されている音符のアンサンブルから、メロディー情報、調音情報またはキー情報を取り出そうとすると、演奏された音符の基本周波数と合致する音成分に加えて、基本周波数の整数倍に相当する範囲の音成分（いわゆるオーバートーン）が見出される。そのような一群の音成分において、基本成分と、基本成分の倍数である成分とを区別するのは、非常に難しい。実際には、ある特定の音符の基本成分が、別の音符のオーバートーンと一致する可能性もある。オーバートーンの存在の結果、手元のスペクトル中に、ほとんどすべての音符名（Ａ、Ａ＃、Ｂ、Ｃ等）が見出され得る。このことは、メロディー特性、調音特性およびキー特性に関する情報を、手元のオーディオ信号から取り出すことを、かなり困難な作業とする。
【０００４】
音律の高さ（ｍｕｓｉｃａｌ  ｐｉｔｃｈ）、すなわち知覚される基本周波数を表す典型的な代表表現は、クロマ、すなわち西洋音楽のオクターブにおける音律名（Ａ、Ａシャープ等）である。オクターブ中には１２個の異なるクロマ値があり、任意の音律の高さは、典型的には音符の基本周波数に対応するこれらのクロマ値の１つに割り当てられ得る。本発明は、とりわけ、特定の音符または音符の組が、どのクロマに属するかを特定する。なぜならば、音楽の調音および音の意味は、演奏されている具体的な音符（すなわちクロマ）によって決まるからである。各音符に付随するオーバートーンのため、調音を解きほぐし、クロマの識別に重要なものだけを特定する方法が必要である。
【０００５】
ＰＣＭデータに直接作用する研究も、いくつか行われている。バルセロナで２００５年５月に開かれた第１１８回Ａｕｄｉｏ  Ｅｎｇｉｎｅｅｒｉｎｇ  Ｓｏｃｉｅｔｙ  Ｃｏｎｖｅｎｔｉｏｎ（音響工学学会会議）に提出された、Ｃ．Ａ．ＨａｒｔｅおよびＭ．Ｂ．Ｓａｎｄｌｅｒによる第６４１２号論文、「Ａｕｔｏｍａｔｉｃ  Ｃｈｏｒｄ  Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ  Ｕｓｉｎｇ  ａ  Ｑｕａｎｔｉｓｅｄ  Ｃｈｒｏｍａｇｒａｍ（離散化されたクロマグラムを用いた自動コード識別）」（以下、「ＨａｒｔｅおよびＳａｎｄｌｅｒ」と呼ぶ）によれば、いわゆるクロマグラム抽出を用いて、音楽中のコードの自動識別がなされた。ＨａｒｔｅおよびＳａｎｄｌｅｒによれば、一定のＱフィルタバンクを用いてスペクトル表現が取得され、そのスペクトル表現から、ピークが選択される。各ピークにつき、音符名が特定され、対応する１つの音符名を有するものとされた全ピークの振幅が加算され、その結果、評価対象のスペクトル中の各音符の分布を示すクロマグラムが得られる。
【０００６】
この方法における１つの制約は、演奏されている１つの音符に対して、広い範囲の調音が、クロマグラム中に累積される複数のピークを生成する点である。Ｃの音符に対し、より高調波の調音は、以下の音符を指し示す（Ｃ、Ｇ、Ｃ、Ｅ、Ｇ、Ａ＃、Ｃ、Ｄ、Ｅ、Ｆ＃、Ｇ、Ｇ＃）。特に、より高調波の調音は、密に配置されており、基本の音符と自明な調音関係のない音符をカバーしてしまう。これらのより高調波の調音は、クロマグラム中で累積されると、そのクロマグラムから読み取ろうと意図していた情報（たとえば、コード特定のための情報、または歌曲のキー抽出のための情報）を、覆い隠してしまうかもしれない。
【０００７】
バルセロナで２００４年に開かれた第５回Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｃｏｎｆｅｒｅｎｃｅ  ｏｎ  Ｍｕｓｉｃ  Ｉｎｆｏｒｍａｔｉｏｎ  Ｒｅｔｒｉｅｖａｌ（音楽情報取得に関する国際会議）の紀要にある、Ｓ．Ｐａｕｗｓの「Ｍｕｓｉｃａｌ  Ｋｅｙ  Ｅｘｔｒａｃｔｉｏｎ  ｆｏｒ  Ａｕｄｉｏ（オーディオのための音楽キー抽出）」（以下、「Ｐａｕｗｓ」と呼ぶ）によれば、入力データの短いセグメントのＦＦＴ表現に基づいて、クロマグラムが抽出された。ゼロによるパディング、およびスペクトル・ビン間の補間によって、スペクトルから調音成分の周波数を抽出するのに十分な程度まで、スペクトルの解像度が高められた。低周波数成分をより重視するために、成分の重み付けが適用された。しかしながら、クロマグラムから読み取ろうと意図していた情報を、より高調波の調音が覆い隠し得るような方法で、クロマグラムが累積されていた。
【発明の開示】
【発明が解決しようとする課題】
【０００８】
音成分の測定結果は常に基本周波数とそれら基本周波数の調音（調波）とが混在したものであるという問題を克服する。
【課題を解決するための手段】
【０００９】
この問題を克服するために、本発明によれば、特定の音響成分の知覚上の関連性が、他の音響成分のマスキングの効果を介して低減されるような、聴覚マスキングが利用される。
【００１０】
知覚的な研究は、近隣の部分音のマスキング影響により、特定の成分（たとえば部分音またはオーバートーン）が聴こえなくなることを示している。調音の集合の場合には、基本調音と最初のいくつかの調音とは、低周波数における高い聴覚周波数解像度のため、それぞれ個別に「聴き分けられる」。しかしながら、上記したクロマ抽出の問題の源であるより高調波の調音は、高周波数における低い聴覚周波数解像度、およびマスカーとして働く他の音成分の存在のために、「聴き分ける」ことができない。そのため、マスキングを行う聴覚処理モデルは、所望でない高周波成分を除去し、クロマ抽出性能を改善するのに、良好に作用する。
【００１１】
上記で述べたように、関係する音成分の従来の選択方法における１つの重大な問題点は、オーディオ中に存在する各音符が、演奏されている別の音符だと解釈され得るような、より高調波の広範な調音を生成するという点である。本発明はとりわけ、最初のいくつかの調音だけが保持されるようなマスキング基準に基づいて、より高調波の調音を除去する。これらの残りの成分をクロマグラムに変換することにより、オーディオセグメントの本質的な調音構造の強力な表現が得られ、その表現により、たとえば音楽片のキーシグニチャを精確に特定すること等が可能となる。
【発明を実施するための最良の形態】
【００１２】
図１に示すように、ブロック１０２において、選択ユニットが、音成分の選択機能を実行する。より具体的には、Ｍ．Ｄｅｓａｉｎｔｅ−ＣａｔｈｅｒｉｎｅおよびＳ．Ｍａｒｃｈａｎｄ、「Ｈｉｇｈ−ｐｒｅｃｉｓｉｏｎ  Ｆｏｕｒｉｅｒ  ａｎａｌｙｓｉｓ  ｏｆ  ｓｏｕｎｄｓ  ｕｓｉｎｇ  ｓｉｇｎａｌ  ｄｅｒｉｖａｔｉｖｅｓ（信号の導関数を用いた音の高精度フーリエ解析）」、Ｊ．Ａｕｄｉｏ  Ｅｎｇ．Ｓｏｃ．、第４８巻、第７／８号、第６５４−６６７頁、２０００年７月／８月（以下、「Ｍ．Ｄｅｓａｉｎｔｅ−ＣａｔｈｅｒｉｎｅおよびＭａｒｃｈａｎｄ」と呼ぶ）の修正版を用いて、入力信号ｘとして図示されているオーディオ信号のセグメントから、音成分を選択し、非音成分（ｎｏｎ−ｔｏｎａｌ  ｐｉｔｃｈ）を無視する。ここで、Ｍ．Ｄｅｓａｉｎｔｅ−ＣａｔｈｅｒｉｎｅおよびＭａｒｃｈａｎｄに代えて、他の方法、装置またはシステムを用いて、音成分を選択してもよい点を理解されたい。
【００１３】
ブロック１０４において、マスクユニットは、マスキングに基づいて音成分を破棄する。より具体的には、個別に可聴でない音成分が除去される。個々の成分の可聴性は、聴覚マスキングに基づいている。
【００１４】
ブロック１０６では、ラベルユニットが、残っている音成分に、音符値をラベルとして付す。具体的には、各成分の周波数が、音符値に変換される。ここで、音符値は、１オクターブに限定されない点を理解されたい。
【００１５】
ブロック１０８では、マッピングユニットが、音符値に基づいて、音成分を１オクターブにマッピングする。この処理の結果、「クロマ」値が得られる。
【００１６】
ブロック１１０では、累積ユニットが、ヒストグラムまたはクロマグラムの形式に、クロマ値を累積する。特定のクロマ値が生じた数を計数するヒストグラムを生成することにより、またはクロマ値ごとの振幅値をクロマグラムに統合することにより、すべての成分および複数のセグメントに亘るクロマ値が累積される。ヒストグラムおよびクロマグラムのいずれも、入力信号中の特定の時間区間（該区間に亘って情報が累積される時間区間）と関連付けられている。
【００１７】
ブロック１１２では、評価ユニットが、プロトタイプのクロマグラムまたは参照クロマグラムを用いて、タスクに依存するクロマグラム評価を行う。タスクに依存して、プロトタイプのクロマグラムを生成し、評価対象のオーディオから抽出されたクロマグラムと比較することが可能である。キー抽出が行われる場合には、たとえばＫｒｕｍｈａｎｓｌ，Ｃ．Ｌ．、「Ｃｏｇｎｉｔｉｖｅ  Ｆｏｕｎｄａｔｉｏｎｓ  ｏｆ  Ｍｕｓｉｃａｌ  Ｐｉｔｃｈ（音律の高さの認識基盤）」、Ｏｘｆｏｒｄ  Ｐｓｙｃｈｏｌｏｇｉｃａｌ  Ｓｅｒｉｅｓ（オックスフォード心理学シリーズ）、第１７号、Ｏｘｆｏｒｄ  Ｕｎｉｖｅｒｓｉｔｙ  Ｐｒｅｓｓ、ニューヨーク、１９９０年（以下、「Ｋｒｕｍｈａｎｓｌ」と呼ぶ）に記載されているようなキープロファイルを用いて、たとえばＰａｕｗｓに記載されているようにキープロファイルを利用することが可能である。これらのキープロファイルを、評価対象の特定の音楽片から抽出された平均クロマグラムと比較することにより、その音楽片のキーを特定することができる。比較は、相関関数を用いて行うことができる。当面のタスクに応じて、クロマグラムの他の様々な処理方法が可能である。
【００１８】
ここで、マスキングに基づいて成分を破棄した後は、知覚的に関連のある音成分のみが残される点に留意されたい。単一の音符を考えると、基本周波数成分と、最初のいくつかのオーバートーンのみが残される。より高調波のオーバートーンは、１つの聴覚フィルタにいくつかの成分が包含されるため、通常、個々の成分としては可聴でなく、マスキングモデルは、通常、これらの成分をマスキングして示す。たとえば、より高調波のオーバートーンのうちの１つが、近傍の成分と比較して非常に高い振幅を有しているような場合には、上記は当てはまらない。この場合、その成分はマスキングされない。音楽的な意味を有する成分は個別成分として突出するので、これは望ましい効果である。複数の音符が演奏される際にも、類似の効果が生じる。それらの音符のうちの１つの基本周波数は、その他の音符のうちの１つのオーバートーンと一致するかもしれない。この基本周波数成分が、近傍の成分と比較して十分な振幅を有しているときのみ、マスキングに基づく成分破棄後にも、その成分が存在することとなる。このような場合のみ、その成分は可聴成分であり音楽的な意味を有する成分であるので、このこともまた望ましい効果である。加えて、ノイズ様の成分は、典型的には個々の成分が近傍の成分によりマスキングされるような、非常に密に分布させられたスペクトルをもたらす傾向があるので、結果として、それらの成分もまた、マスキングにより破棄される。ノイズ成分は音楽中の調音情報に寄与しないので、このこともまた望ましい効果である。
【００１９】
マスキングに基づいて成分が破棄された後も、基本音成分に加えて、オーバートーンが残存している。その結果、その後の評価ステップでは、その音楽片中で演奏された音符を直接的に特定し、それらの音符からさらなる情報を抽出することはできない。しかしながら、存在するオーバートーンは最初のいくつかのオーバートーンのみであり、それらのオーバートーンはまだ、基本の音に対して意味のある調音関係を有する。
【００２０】
以下の代表的な例は、評価対象のオーディオ信号のキーが抽出されるタスクに関する例である。
【００２１】
［音成分の選択］
アルゴリズムへの入力として、２つの信号が使われる。入力信号ｘ（ｎ）、および入力信号の前方差分ｙ（ｎ）＝ｘ（ｎ＋１）−ｘ（ｎ）である。両方の信号から対応のセグメントが選択され、ハニング窓により窓を付される。その後、これらの信号は、高速フーリエ変換を用いて周波数領域に変換され、その結果、それぞれＸ（ｆ）およびＹ（ｆ）という複素信号がもたらされる。
【００２２】
信号Ｘ（ｆ）は、ピーク（たとえば極大絶対値を有するスペクトル値）を選択するのに用いられる。ピークは、正の周波数部分についてのみ選択される。ＦＦＴスペクトルのビンの値においてしかピーク位置を特定することはできないので、我々の目的に十分好適とはいえない、比較的粗いスペクトル解像度が得られる。したがって、たとえばＨａｒｔｅおよびＳａｎｄｌｅｒに従う以下の工程が適用される。すなわち、スペクトル中に見出された各ピークにつき、
【数１】
0005507997.tif 000002
という比率が算出される。ここで、Ｎはセグメントの長さであり、Ｅ（ｆ）は、位置ｆにおいて見出されるピークのより精確な周波数見積値を表す。ＨａｒｔｅおよびＳａｎｄｌｅｒの方法は微分値を有する連続信号にのみ適しており、前方差分および後方差分を有する離散的な信号には適していないということに対処するため、ある追加工程が適用される。この欠点は、
【数２】
0005507997.tif 000003
という補償を用いることにより克服できる。
【００２３】
このより精確な周波数見積値Ｆを用いて、周波数パラメータ（Ｆ）と振幅パラメータ（Ａ）とを有する音成分の組が生成される。
【００２４】
ここで、この周波数見積値は、１つの可能な実施形態を代表しているだけである点に留意されたい。周波数を見積もる他の方法も、当業者に知られている。
【００２５】
［マスキングに基づく成分の破棄］
上記で見積もられた周波数および振幅パラメータに基づき、マスキングモデルを用いて、実質的に可聴でない成分が破棄される。ＥＲＢスケールと同等の帯域幅を有する互いに重なり合った周波数帯域の組を用い、各帯域に包含される音成分の全エネルギーを積分することにより、励起パターンが蓄積される。続いて、各帯域における累積エネルギーが、近傍の帯域に亘って平滑化され、マスキングのスペクトル分布の一形態が得られる。各成分につき、その成分のエネルギーが、その帯域内の測定された合計エネルギーの、少なくとも特定割合分（たとえば５０％）であるか否かが特定される。成分のエネルギーがこの基準よりも小さければ、その成分は実質的にマスキングされるという前提であり、その後は考慮に入れられない。
【００２６】
ここで、このマスキングモデルは、オーディオ中に観測されるであろうマスキング効果の、極めて計算効率のよい１次見積もりを得るために提供されるものである点に留意されたい。より高度かつ精確な方法が用いられてもよい。
【００２７】
［成分が音符値によりラベリングされる］
上記で取得された精確な周波数見積値は、音符値に変換される。この音符値は、たとえば、その成分が４番目のオクターブのＡ音であることを示す。この目的のため、周波数は、対数目盛りに変換され、適切な方法で離散化される。生じ得る完全な音楽片のミスチューニングを克服するため、追加の一括周波数逓倍が適用されてもよい。
【００２８】
［成分が１オクターブ分にマッピングされる］
すべての音符値が、１オクターブ分にたたみ込まれる。したがって、結果として得られるクロマ値は、オクターブの位置に関わらず、その音符がＡやＡ＃であったことを示すだけである。
【００２９】
［ヒストグラムまたはクロマグラムへのクロマ値の累積］
クロマ値は、Ａ、Ａ＃、Ｂ等々に対応するすべての振幅を加算することにより、累積される。こうして、１２個の累積クロマ値が得られ、これらの累積クロマ値は、各クロマ値の相対的な優位性に類似している。これら１２個の値を、クロマグラムと呼ぶ。クロマグラムは、１つのフレーム内のすべての成分に亘って累積されてもよいが、好ましくは、さらに複数の連続したフレームの範囲に亘って累積される。
【００３０】
［キープロファイルを用いた、タスクに依存するクロマグラム評価］
ここでは、キー情報を抽出するタスクに特化する。上記で述べたように、Ｐａｕｗｓが行ったのと類似の方法で、Ｋｒｕｍｈａｎｓｌのデータに対してキープロファイルを取得することができる。評価対象の抜粋部分に対するキー抽出は、プロトタイプの（参照）クロマグラムと観測されたクロマグラムとの間で最良の相関関係が得られるようにするためには、観測されたクロマグラムがどのようにシフトされる必要があるかを、見出す作業である。
【００３１】
これらのタスク依存の評価は、クロマグラム内に含まれる情報がどのように利用され得るかの例に過ぎない。他の方法またはアルゴリズムを用いてもよい。
【００３２】
本発明の別の実施形態によれば、非常にエネルギーの高い成分がクロマグラムに強く寄与しすぎるとうい問題を克服するため、１オクターブ分へのマッピング前に、圧縮型の変換がスペクトル成分に適用される。こうすることにより、より低い振幅の成分が、比較的強くクロマグラムに寄与する。本発明のこの実施形態によれば、エラーレートが約１／４に低減されることが分かった（たとえば、標準的なデータベースに対して、正しいキーの分類率が、９２％から９８％となる）。
【００３３】
図２には、本発明のそのような実施形態のブロック図が示されている。ブロック２０２では、選択ユニット内において、オーディオの入力セグメント（ｘ）から、音成分が選択される。各成分につき、周波数値と線形振幅値とが存在する。続いて、ブロック２０４では、圧縮型変換ユニット内において、線形振幅値に対して圧縮型変換が適用される。ブロック２０６では、ラベルユニット内において、各周波数の音符値が特定される。この音符値は、音符名（たとえばＣ、Ｃ＃、Ｄ、Ｄ＃等）と、その音符が配されているオクターブとを示す。ブロック２０８では、マッピングユニット内において、すべての音符の振幅値が、１オクターブ分に変換される。ブロック２１０では、累積ユニット内において、すべての変換された振幅値が加算される。その結果、１２値のクロマグラムが得られる。ブロック２１２では、評価ユニット内において、入力セグメントの何らかの特性（たとえばキー）を評価するために、上記のクロマグラムが使われる。
【００３４】
圧縮型変換の一例である、音の大きさの人間知覚のｄＢスケール近似は、
【数３】
0005507997.tif 000004
により与えられる。ここで、ｘは変換される入力振幅であり、ｙは変換後の出力である。典型的には、この変換は、スペクトルが１オクターブ分の間隔にマッピングされる直前の、合計スペクトルのスペクトルピークについて導出された振幅に対して実行される。
【００３５】
ここで、上記の説明において、各処理ユニットは、ハードウェア、ソフトウェア、またはそれらの組合せの、いずれで実装されてもよい点を理解されたい。各処理ユニットが、少なくとも１つのプロセッサまたはプログラミング可能なコントローラを基礎として、実装されてもよい。あるいは、すべての処理ユニットが組み合わされて、少なくとも１つのプロセッサまたはプログラミング可能なコントローラを基礎として実装されてもよい。
【００３６】
以上、種々の図面の好ましい実施形態との関係で、本発明を説明してきたが、本発明から逸脱することなく本発明の同一の機能を実行するためには、他の類似の実施形態が用いられてもよいし、上記で説明した実施形態に修正または追加がなされてもよい点を理解されたい。したがって、本発明は、いずれの１つの実施形態にも限定されるべきではなく、特許請求の範囲に従う範囲で幅をもって捉えられるべきである。
【図面の簡単な説明】
【００３７】
【図１】本発明の１つの実施形態に係るシステムのブロック図
【図２】本発明の別の実施形態に係るシステムのブロック図
【図１】
0005507997.tif 000005
【図２】
0005507997.tif 000006