(57)【特許請求の範囲】
【請求項１】
複数の楽曲を含み、前記楽曲は１つ又は複数のパラメータに従って索引付けされている音楽データベースに問い合わせる音楽情報処理方法であって、
楽曲の関連パラメータと、条件式とを指定する要求を形成し、
指定されたパラメータと、データベース内の楽曲に関連する対応パラメータとを比較し、
前記比較に基づいて距離を計算し、
指定された楽曲から条件式を満たすような距離にある楽曲を識別する、各ステップを有し、
前記楽曲の索引付けに従う分類は特徴抽出を使用し、更に、
ある時間に渡る楽曲を複数のウィンドゥに分割し、
前記ウィンドゥの各々において１つ又は複数の特徴を抽出し、
楽曲全体に渡る特徴を表すヒストグラムにおいて特徴を配列する、各ステップを含み、
前記抽出される第１の特徴はデジタル化音楽信号から抽出される少なくとも１つのテンポであり、特徴抽出は、更に、
音楽信号を複数のウィンドゥに分割し、
各ウィンドゥのエネルギーを示す値を判定し、
各ウィンドゥのエネルギー値から取り出されるエネルギー信号のピークの位置を確定し、
パルスのピークがエネルギー信号のピークとほぼ一致する複数のパルスを有するオンセット信号を生成し、
ウィンドゥ分割から取り出される周波数に従って位置される共振周波数を持つ複数のくし形フィルタプロセスを経てオンセット信号をフィルタリングし、
音楽信号の持続時間に渡って各フィルタプロセスのエネルギーを累積し、
識別されたプロセスの共振周波数は音楽信号の少なくとも１つのテンポを表すものであり、Ｎ番目に高いエネルギーを有するフィルタプロセスを識別する、各ステップを含むことを特徴とする音楽情報処理方法。
【請求項２】
前記エネルギーを示す値の判定は、更に、
各ウィンドゥにおける音楽信号の変換成分を判定し、
各ウィンドゥの成分の振幅を加算して、ウィンドゥのエネルギーを示す成分和を形成する、各ステップを含むことを特徴とする請求項１記載の音楽情報処理方法。
【請求項３】
前記エネルギー信号のピークの位置を確定した後、前記オンセット信号を生成する前に、更に、
エネルギー信号を低域フィルタリングする、ステップを含むことを特徴とする請求項１記載の音楽情報処理方法。
【請求項４】
前記オンセット信号は、
エネルギー信号を微分し、
微分信号を半波整流してオンセット信号を形成する、ステップに従って生成されることを特徴とする請求項１記載の音楽情報処理方法。
【請求項５】
前記オンセット信号は、
エネルギー信号をサンプリングし、
連続するサンプルを比較して正のピークを判定し、
正のピークがそれぞれ検出されたときに１つのパルスを生成する、各ステップに従って生成されることを特徴とする請求項１記載の音楽情報処理方法。
【請求項６】
フィルタプロセスの共振周波数はほぼ１Hzから４Hzの周波数範囲に渡っていることを特徴とする請求項１記載の音楽情報処理方法。
【請求項７】
複数の楽曲を含み、前記楽曲は１つ又は複数のパラメータに従って索引付けされている音楽データベースに問い合わせる音楽情報処理方法であって、
楽曲の関連パラメータと、条件式とを指定する要求を形成し、
指定されたパラメータと、データベース内の楽曲に関連する対応パラメータとを比較し、
前記比較に基づいて距離を計算し、
指定された楽曲から条件式を満たすような距離にある楽曲を識別する、各ステップを有し、
前記楽曲の索引付けに従う分類は特徴抽出を使用し、更に、
ある時間に渡る楽曲を複数のウィンドゥに分割し、
前記ウィンドゥの各々において１つ又は複数の特徴を抽出し、
楽曲全体に渡る特徴を表すヒストグラムにおいて特徴を配列する、各ステップを含み、
前記抽出される第２の特徴は、信号のパーカッシビティであり、更に、
信号を複数のウィンドゥに分割し、
ウィンドゥ毎に複数のフィルタによりフィルタリングし、
ウィンドゥ毎に各フィルタの出力を判定し、
ウィンドゥ毎にフィルタ出力値の関数を判定し、
ウィンドゥ毎に線形関数の傾きを判定し、
ウィンドゥ毎に傾きの関数としてパーカッシビティを判定する、各ステップを含むことを特徴とする音楽情報処理方法。
【請求項８】
前記分割するステップは、更に、
ウィンドゥ幅を選択し、
ウィンドゥの重なり合いの大きさを選択し、
各ウィンドゥが選択されたウィンドゥ幅を有し、且つウィンドゥが選択された重なり合いの大きさだけ互いに重なり合うように信号を複数のウィンドゥに分割する、各ステップを含むことを特徴とする請求項７記載の音楽情報処理方法。
【請求項９】
前記フィルタリングするステップは、くし形フィルタを利用することを特徴とする請求項７記載の音楽情報処理方法。
【請求項１０】
前記傾きを判定するステップは、前記線形関数に最も適合する直線を判定することにより実行されることを特徴とする請求項７記載の音楽情報処理方法。
【請求項１１】
前記ウィンドゥ毎に判定されるパーカッシビティ値はヒストグラムに統合されることを特徴とする請求項７記載の音楽情報処理方法。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は音楽システムの分野に関し、特に所望の特徴と条件ステートメントとから構成される問い合わせに基づいて音楽データベースから特定の楽曲、或いは所望の楽曲の属性を識別及び検索する音楽情報処理方法に関する。
【０００２】
【従来の技術】
従来、テキストやイメージを対象としたデータベースの検索技術はあったが、音楽を対象としたものはなく、複数の音楽を格納したものから所望の音楽を読み出すためには、各音楽にインデックスとして付されている曲の題名や作者等の文字コードを直接指定するしかなかった。
【０００３】
【発明が解決しようとする課題】
本発明は、複数の楽曲を含むデータベースから、楽曲の特性に基づいて適当な楽曲を検索することを可能とすることを目的とする。
【０００４】
【課題を解決するための手段】
上記目的を達成するために、本発明は、複数の楽曲を含み、前記楽曲は１つ又は複数のパラメータに従って索引付けされている音楽データベースに問い合わせる音楽情報処理方法であって、楽曲の関連パラメータと、条件式とを指定する要求を形成し、指定されたパラメータと、データベース内の楽曲に関連する対応パラメータとを比較し、前記比較に基づいて距離を計算し、指定された楽曲から条件式を満たすような距離にある楽曲を識別する、各ステップを有し、前記楽曲の索引付けに従う分類は特徴抽出を使用し、更に、ある時間に渡る楽曲を複数のウィンドゥに分割し、前記ウィンドゥの各々において１つ又は複数の特徴を抽出し、楽曲全体に渡る特徴を表すヒストグラムにおいて特徴を配列する、各ステップを含み、前記抽出される第１の特徴はデジタル化音楽信号から抽出される少なくとも１つのテンポであり、特徴抽出は、更に、音楽信号を複数のウィンドゥに分割し、各ウィンドゥのエネルギーを示す値を判定し、各ウィンドゥのエネルギー値から取り出されるエネルギー信号のピークの位置を確定し、パルスのピークがエネルギー信号のピークとほぼ一致する複数のパルスを有するオンセット信号を生成し、ウィンドゥ分割から取り出される周波数に従って位置される共振周波数を持つ複数のくし形フィルタプロセスを経てオンセット信号をフィルタリングし、音楽信号の持続時間に渡って各フィルタプロセスのエネルギーを累積し、識別されたプロセスの共振周波数は音楽信号の少なくとも１つのテンポを表すものであり、Ｎ番目に高いエネルギーを有するフィルタプロセスを識別する、各ステップを含むことを特徴とする。
【０００５】
【発明の実施の形態】
まずは、データベースから音楽又は音楽の属性を検索するための技術について説明する。このようなデータベースも、一般的なデータベースの機能と同様に、強力で融通性に富むと共に、好ましくはユーザが直観的に意味を把握することができるような問い合わせ方法が必要である。そのために、データベースは系統的サーチ・分類手続きに至るように分類された音楽を格納していることが必要である。この後者の面は、それ自体、更に、楽曲をそのような分類が可能になるように特徴づけることを要求する。
【０００６】
即ち、音楽データベースシステムを構成する要求又は要素の階層は次のようになる。
・分類スキーマにおいて有用な属性を使用して音楽を特徴づけること
・意味のあるサーチ可能な構造で音楽を分類すること
・そのように形成されたデータベースに問い合わせ、意味ある結果を得ること
この階層は、本発明を説明する上で、更に意義深い進歩をもたらすものであるので、「ボトムアップ」階層と定義されている。
【０００７】
一般に、音声信号、特に音楽に関連する音声信号を考えるとき、直観的に意味を把握できる様々な属性によって信号の性質を考慮できる。それらの属性には、とりわけ、音の速さ（テンポ）、大きさ（ラウドネス）、調子（ピッチ）、及び音色が含まれる。音色は「シャープネス」及び「パーカッシビティ」を含むいくつかの特徴的成分により構成されていると考えることができる。これらの特徴を音楽から抽出することができ、分類スキーマに合わせて音楽を特徴づける際に、これらの特徴は有用である。
【０００８】
Eric D. Scheirerによる刊行物「Using Bandpass and Comb Filters to Beat-track Digital Audio」(MIT Media Laboratory、1996年12月20日刊行）には音楽を表現するデジタル音声からリズム情報、即ち「ビートトラック」を抽出する方法が開示されている。音楽信号を複数の帯域フィルタで構成されるフィルタバンクを介して処理することにより「振幅変調雑音」信号を発生する。擬似ランダム発生器からのホワイトノイズ信号に対しても、同様の動作を実行する。その後、雑音信号の各帯域の振幅を音楽フィルタバンク出力の対応する帯域の振幅エンベロープによって変調する。最後に、得られた振幅変調雑音信号を加算し、出力信号を形成する。得られる雑音信号は、元の音楽信号のリズム知覚とほぼ同じリズム知覚を有することが述べられている。上述の方法は超高速デスクトップワークステーションによりリアルタイムで実行できるが、マルチプロセッサアーキテクチャを利用しても良い。この方法は、計算上の負担が非常に大きいという欠点がある。
【０００９】
パーカッシビティは、オーケストラ又はバンドを考えるときに「パーカッション（打楽器）」として知られている一連の楽器に関連する属性である。この楽器群はドラム、シンバル、カスタネットなどの楽器を含む。一般的には音声信号、特に音楽信号の処理は、信号の様々な属性を推定する能力から得られる。本発明は、パーカッシビティ属性の推定に関する。
【００１０】
所定の信号のパーカッシビティを推定するために、別のいくつかの方法が使用されてきたが、それらの方法は、広い意味では、以下に基づく方法を含む。
・短時間信号パワー解析
・信号振幅の統計的解析
・調和スペクトル成分と総スペクトルパワーとの比較
短時間信号パワー推定には、考慮すべき信号の短い区間、即ち「ウィンドゥ」の中における等価パワー（又はその近似値）を計算することが必要である。そのウィンドゥ内の信号の部分がパーカッシブな性質を有するか否かを判定するために、推定パワーは閾値と比較される。或いは、推定パワーはスライド閾値と比較され、閾値の範囲を参照して信号のパーカッシビティ内容が分類される。
【００１１】
信号振幅の統計的解析は、典型的には、「移動平均（running mean）」或いは平均信号振幅値に基づいており、この平均（mean）は、考慮すべき信号に沿ってスライドするウィンドゥに関して判定される。ウィンドゥをスライドさせることにより、所定の注目期間に渡って移動平均が判定される。各ウィンドゥの位置における平均値を隣接する他のウィンドゥの平均値と比較し、移動平均における信号変動がその信号はパーカッシブであると意義付けるのに十分な大きさを有するか否かを判定する。
【００１２】
調和スペクトル成分パワー解析は、注目期間に渡って問い合わせにおける信号のウィンドゥ分割フーリエ変換を実行し、次に得られた一連のスペクトル成分を検討することが必要である。調和級数を示すスペクトル成分は除去される。そのような調和級数成分は通常、信号のスペクトルエンベロープ全体における局所最大値を表す。調和級数スペクトル成分を除去した後、残る成分は実質的には不調和成分のみから成り、それらが信号のパーカッシブ成分を表すものと考えられる。それらの不調和成分の総パワーを判定し、調和、不調和を含めた全成分の総信号パワーと比較し、パーカッシビティの指示値を得る。
【００１３】
上記の解析方法は、通常、ある範囲の信号属性を識別しようとするものであるので、正確さが相対的に限定され、間違った又は信頼性に欠けるパーカッシビティ推定値を生成しがちであるという欠点がある。また、上記の方法は相対的に複雑であり、そのため、特に調和スペクトル成分推定方法は実現するのにコストがかかる。
【００１４】
名称「System and Methods for Selecting Music on the Basis of Subjective Content」の米国特許第5,616,876号(Cluts他)には、加入者が元になる歌を利用し、その元になる歌に類似する他の歌を識別できるように、加入者に音楽を提供する対話型ネットワークが示されている。歌の間の類似性は、編集者により準備されたスタイル表に反映されるように、歌の主観的内容に基づいて定められる。この特許に示されたシステム及び方法は手作業による音楽のカテゴリ分けに基づいており、それに付随して、人間がプロセスに参加することが要求されるため、それぞれの人間の属性によってプロセスの速度、正確さ及び再現性は限定されてしまう。
【００１５】
Erling他による刊行物「Content−Based Classification，Search，and Retrieval of Audio」(IEEE Multimedia第3刊、第3号、1996年刊、22−36頁)には、短い音声ファイル（即ち「サウンド」）の索引付けとデータベースからの検索が開示されている。問題のサウンドから特徴を抽出し、その特徴に関連する統計的尺度に基づく特徴ベクトルを生成する。後のサーチと検索に備え、サウンドと一連の特徴ベクトルの双方をデータベースに格納する。特徴比較の方法を使用し、選択したサウンドがデータベースに格納されている別のサウンドに類似しているか否かを判定する。選択される一連の特徴にはテンポが含まれておらず、従って楽曲を区別するときにシステムは十分に機能しない。更に、この方法は、複数の短時間ウィンドゥに渡って統計的スカラ尺度を提供する特徴を判定する。また、この方法は、音楽選択の効果に関して容易には概念化できない帯域幅のような特徴を使用している。
【００１６】
以下、図面を参照しながら本発明に係る実施の形態を詳細に説明する。
【００１７】
図１は、キオスク（kiosk)１０２における音楽データベースシステムを示す図である。説明の便宜上、「キオスク」は、例えば情報データ検索や音声出力受信などに用いるための公衆アクセスデータ端末を示す技術用語であるとする。実施形態では、キオスク１０２の所有者／オペレータは楽曲１００をキオスク１０２に入力し、キオスク１０２において楽曲は分類され、以後の検索に備えてデータベースに格納される。音楽愛好家がキオスク１０２に来て音楽問い合わせ１０４をキオスク１０２に入力すると、キオスク１０２はその音楽問い合わせ１０４に含まれるパラメータに基づいてキオスク１０２の音楽データベースをサーチした後、音楽問い合わせ１０４に基づく所望の楽曲１０６を出力する。またキオスク１０２は所望の楽曲１０６と関連する音楽識別子１０８も出力する。そのような識別子としては、例えば楽曲の名前などが考えられるであろう。
【００１８】
図２は、ネットワークにおける音楽データベースシステムを示す図である。実施形態では、複数の音楽データベースサーバ２０２がアクセス回線２０４を介してネットワーク２０６に接続されている。サーバ２０２の所有者／オペレータは楽曲１００をサーバ２０２に入力し、そこで楽曲は分類され、以後の検索に備えてデータベースに格納される。サーバ２０２は、後述する図４に示すような汎用コンピュータを使用するなどの様々な形態で具現化されても良い。ネットワーク２０６には、アクセス回線２０８を介して複数の音楽データベースクライアントも接続されている。クライアント所有者がクライアント２１０に音楽問い合わせ１０４を入力すると、クライアント２１０はアクセス回線２０８、ネットワーク２０６、アクセス回線２０４で構成されるネットワーク接続を介して音楽データベースサーバ２０２への接続を成立させる。サーバ２０２はユーザからの問い合わせ１０４に基づいて音楽データベースのサーチを実行し、そして音楽問い合わせ１０４に基づいた所望の楽曲１０６を同じネットワーク接続２０４−２０６−２０８を介して出力する。サーバ２０２は所望の楽曲１０６と関連する音楽識別子１０８をも出力する。そのような識別子としては、例えば楽曲名、作詞者名、作曲者名、演奏者名、著作権者名などが考えられるであろう。
【００１９】
図３は、音楽データベースシステムの機能を説明するための図である。データベースは２つの高レベルプロセス、即ち、(ｉ)楽曲１００を入力し、それらを分類し、後のサーチ及び検索に備えて楽曲をデータベースに格納するプロセスと、（ii）問い合わせ１０４を音楽データベースシステムにサービスし、その結果として所望の楽曲１０６及び／又は所望の楽曲１０６と関連する音楽識別子１０８を出力するプロセスを実行する。そのような識別子としては、例えば楽曲名などが考えられるであろう。まず、音楽入力及び分類プロセスを考える。楽曲１００が入力されると、楽曲１００は特徴抽出３０４を受け、その後、それらの特徴が分類３０６され、特徴データベース３０８に格納される。このプロセスと並行して、実際の楽曲１００自体が音楽データベース３０２に格納される。このようにして、楽曲１００とそれに関連する代表的特徴が２つのデータベース３０２及び３０８に格納される。次に、データベース問い合わせプロセスを考える。ユーザからの問い合わせ１０４が入力されると、その問い合わせ１０４に関連する特徴と特徴データベース３０８に格納されている楽曲の特徴との間で特徴比較３１２が行われる。サーチが成功すれば、音楽選択プロセス３１４は特徴比較３１２に基づいて音楽データベース３０２から所望の楽曲１０６を取り出し、所望の楽曲１０６及び／又は所望の楽曲１０６と関連する音楽識別子１０８を出力する。
【００２０】
図４は、一般的な特徴抽出プロセスを示す図である。図３に示すデータベースシステムの機能説明で述べたように、まず楽曲１００を入力し、特徴抽出３０４を実行した後、特徴を分類３０６し、特徴データベース３０８に格納する。図４では、楽曲１００を入力した後、特徴抽出プロセス３０４は、この例では、特徴毎に１つずつ４つの並行するプロセスを含むことがわかる。テンポ抽出プロセス４０２は入力された楽曲１００について動作し、テンポデータ出力４０４を生成する。ラウドネス抽出プロセス４０６は入力された楽曲１００について動作し、ラウドネスデータ出力４０８を生成する。ピッチ抽出プロセス４１０は入力された楽曲１００について動作し、ピッチデータ出力４１２を生成する。音色抽出プロセス４１４は入力された楽曲１００について動作し、シャープネスデータ出力４１６及びパーカッシビティデータ出力４１８を生成する。従って、再び図３に戻ると、この例の場合、特徴比較プロセス３１２と特徴データベース３０８との間の出力線３３２は４種類のデータセット、即ち、テンポデータ４０４，ラウドネスデータ４０８，ピッチデータ４１２，音色データ（シャープネス４１６及びパーカッシビティデータ４１７）を扱っていることがわかる。
【００２１】
図５は、テンポ特徴抽出プロセス４０２（図４）を示す図である。次に、図５を詳細に説明する。テンポ抽出は、第１に、楽曲１００からオンセット信号５２０を判定し、次に、判定されたオンセット信号をくし形フィルタのバンクを介してフィルタリングすることを含む。最終的に、楽曲１００の持続時間のほぼ全体に渡って蓄積されたくし形フィルタのエネルギーは、楽曲１００の持続時間６０２のほぼ全体に渡って楽曲１００の中に存在した１つのテンポ又は複数のテンポ（様々なテンポ）を示す生テンポデータ４０４を提供する。この一連のプロセスはソフトウェアで実行されるのが好ましい。或いは、必要に応じて、例えば後述する音声入力カードについていくつかのプロセスやサブプロセスを実行することもできる。その場合、例えば高速フーリエ変換（ＦＦＴ）をデジタル信号プロセッサ（ＤＳＰ）を使用して実行できる。更に、特徴抽出に関連して説明したくし形フィルタを音声入力カードに対してＤＳＰを使用して実現することも可能である。或いは、汎用プロセッサ１０２を使用してこれらのプロセスを実行しても良い。図５においては、入力された音楽信号１００を複数のウィンドゥに分割し（５０２）、各ウィンドゥの中でフーリエ係数を判定する（５０４）。これは高速フーリエ変換プロセス５２２を拡張したものである。ＦＦＴを計算した後、各ウィンドゥ又は「ビン」の係数を加算し（５０６）、得られた信号５２４を低域フィルタでフィルタリングし（５０８）、次に微分し（５１０）、最後に半波整流して（５１２）、オンセット信号５２６を発生する(図６も参照)。
【００２２】
図６を参照すると、図５で説明したプロセスの波形表示が示されている。入力された音楽信号１００をウィンドゥに分割後、各時間ウィンドゥ６０４の信号を高速フーリエ変換(ＦＦＴ)プロセスによって処理し、個々の時間ウィンドゥ６０４に分割された周波数ビン６２２−６２４の周波数成分６０６として示されている出力信号６２０を形成する。次に、出力信号６２０の、様々な周波数ビン６２２−６２４にある周波数成分振幅６０６を加算プロセス６０８により加算する。エネルギー信号として考えても良いこの和信号は正の極性を有し、低域フィルタプロセス６１０を経る。その出力信号６２８を微分６１２してピークを検出し、次に、半波整流６１４を実行して負のピークを除去し、最終的にオンセット信号６１８を得る。音楽信号は楽曲１００の持続時間６０２のほぼ全てに渡って処理される。別の実施形態では、信号６２８をサンプリングし、連続する複数のサンプルを比較して、信号６１４の正のピークを検出し、１つのピークが検出されるたびにパルスを発生することによって、オンセット信号６１８を取り出すこともできる。信号を時間ウィンドゥに区分することの効果について、簡単に説明しておく。各ウィンドゥの周波数成分振幅を加算するとき、１つのウィンドゥの中のデジタル化音楽サンプルの数が加算されて、１つの合成ポイントを形成するので、この加算はある種の抹殺(即ち、サンプリング周波数の減少)である。従って、ウィンドゥサイズの選択はサンプルポイントの数を減らす効果を有する。最適のウィンドゥサイズを選択するには、特徴の表現結果の正確さとデータの圧縮とのバランスをとり、計算上の負担を軽減することが必要である。発明者は、テンポに関して楽曲を比較、選択するときに得られた特徴を使用する場合には、２５６ポイントＦＦＴ(１１．６msecの音楽ウィンドゥサイズと同等である)が良い性能を生み出すことを発見した。スペクトラム（即ち、音の開始点６１６）の重大な変化の場所が確定されたならば、テンポを判定するためにオンセット信号６１８をくし形フィルタのバンクにより処理する。先に述べた通り、くし形フィルタは音声入力カードに対してはＤＳＰを使用して実現でき、或いは、汎用プロセッサ１０２を使用することによって実現しても良い。各くし形フィルタは次の形態の伝達関数を有する。
【００２３】
ｙｔ＝αｙｔ−τ＋（１−α）ｘｔ
式中、ｙｔは瞬時くし形フィルタ出力を表し、
ｙｔ−τはくし形フィルタ出力の時間遅延バージョンを表し、
ｘｔはオンセット信号６１８を表す。
【００２４】
これらのくし形フィルタは、それぞれパラメータ１／τにより確定される共振周波数(出力が補強される周波数)を有する。パラメータα(アルファ)は、現在の入力と将来の入力に加えられる重み付けの量に対する先の入力に加えられた重み付けの量に対応する。オンセット信号６１８は、ウィンドゥ分割の結果として形成される複数のサンプル間隔に配置された周波数を共振周波数とするくし形フィルタのバンクを通してフィルタリングされる。通常、フィルタは約0.1 Hzから約8 Hzまでの範囲に対応すべきである。各サンプルポイントで最高のエネルギーを伴うフィルタが「勝った」とみなされ、例えば最高エネルギーを判定するためのパワー比較器と、「勝ち」を勘定するためのカウンタとを使用することにより、フィルタバンク中の各フィルタについて勝ちの得点を維持する。楽曲１００の持続時間６０２のほぼ全体に渡るオンセット信号６１８をフィルタリングした後、最大の得点を有するフィルタが元の音楽信号１００に存在する主テンポであるとする。この方法を使用して、二次テンポを識別しても良い。
【００２５】
例えば、２つの楽器の音の違いを表す特徴である一続きの音の音色は、現れる周波数と、それぞれの大きさとによって大きく左右される。
【００２６】
スペクトルセントロイドは、音の「明るさ」又は「シャープネス」を推定するものであり、実施形態において、音色の抽出に関連して使用されるメトリックの１つである。この明るさ特性は次の式により表される。
【００２７】
【数１】
0004392898.tif 000002
【００２８】
式中、Sはスペクトルセントロイドであり、
fは周波数であり、
Aは振幅であり、
Wは選択したウィンドゥである。
【００２９】
異なる音声信号の音色特性を区別するために、本実施形態では問題の音声信号１００の連続する0.5 秒ウィンドゥのフーリエ変換を利用する。音の大きさ特徴の抽出に使用されるウィンドゥサイズと、テンポ又はその他の特徴の抽出に使用されるウィンドゥサイズとの間に何らかの関係がある必要はない。音色を抽出する際に別の技法を使用しても差し支えはない。
【００３０】
パーカッシビティは、オーケストラ又はバンドを考えるときに「パーカッション（打楽器）」として知られている一連の楽器に関連する属性である。この楽器群はドラム、シンバル、カスタネットなどの楽器を含む。
【００３１】
図７は、本発明において開示されるパーカッシビティ推定手段の好ましい実施形態の流れ図である。入力線７００の入力信号７３６は、注目期間７４２の中でパーカッシビティの解析が行われる。入力信号７３６は、時間の軸７０６と振幅の軸７０４に関して信号７３６を表した挿入図７０２の中に示されている。信号７３６は、ウィンドゥ分割プロセス７１０によって処理される。ウィンドゥ分割プロセス７１０は信号線７３４にウィンドゥ分割信号を出力する。このウィンドゥ分割信号は挿入図７１２に更に詳細に示されている。挿入図７１２において、ウィンドゥ７３８に代表される複数のウィンドゥは、それぞれ所定の幅７０８を有し、互いに一部７７６で重なり合っている。各ウィンドゥ７３８は、くし形フィルタ７１８に代表される個別のくし形フィルタから構成されるくし形フィルタのバンク７４０を通過する。くし形フィルタ７１８の一実施形態の構造と動作を図８に関連して更に詳細に示す。くし形フィルタ７１８は考慮する特定のウィンドゥ７３８の中における信号７３６のエネルギーを積分する。くし形フィルタのバンク７４０は、考慮するウィンドゥ７３８に関して、くし形フィルタのバンク７４０のくし形フィルタ７１８毎の、そのくし形フィルタに対応する周波数におけるエネルギーを表すピークエネルギー７２６を出力する。これは挿入図７２４に示されている。尚、図中、くし形フィルタのバンク７４０の出力７２６により例示される出力は振幅と周波数の軸に対して表されており、個々のくし形フィルタ７１８に対応する周波数に従って間隔をおいて位置している。信号線７２０のくし形フィルタバンク７４０からの出力は、信号７２６により例示される出力信号に近似する最適合直線７３２を判定する傾きプロセス７２２により処理される。これは挿入図７３０に示されている。
【００３２】
図８は、デジタル化入力信号に関する場合のパーカッシビティ推定手段の好ましい実施形態を更に詳細に示す図である。信号線８００に解析すべき入力信号が与えられると、まず、その信号はプロセス８０２でデジタル化される。その後、信号線８０４に出力されたデジタル化信号はプロセス８０６によって１００msecの各ウィンドゥに分割される。尚、隣接するウィンドゥは５０％の重なり合いを伴う。各ウィンドゥは、プロセス８１０により表されるくし形フィルタのバンク７４０を通過する。プロセス８１０を構成するくし形フィルタは、互いに２００Hzから３０００Hzの周波数で離間している。くし形フィルタバンク７４０における個々のくし形フィルタ７１８の数と間隔については、図９を参照して更に詳細に説明する。くし形フィルタバンクプロセス８１０を構成する各くし形フィルタのピークエネルギー出力から形成される信号線８１２の線形関数は、傾きプロセス８１４へ送られる。傾きプロセス８１４は、信号線８１２に、くし形フィルタプロセス８１０により出力される線形関数に近似する最適合直線を判定し、更に処理を続けるため、その直線関数を信号線８１６へ出力する。
【００３３】
図９は、パーカッシビティ推定手段の実施形態において使用される１つのくし形フィルタ７１８の好適な実施形態のブロック図である。くし形フィルタ７１８はくし形フィルタのバンク７４０（図７を参照）を実現するためのビルディングブロックとして使用される。図８に関連して説明したように、各くし形フィルタ７１８は数学的には次のように表現できる時間応答を有する。
【００３４】
y(t)＝a＊y(t−T)＋［１−a］＊x(t)                          ［１］
式中、x(t)はくし形フィルタの入力信号９００であり、
y(t)はくし形フィルタからの出力信号９０６であり、
Tはくし形フィルタの周期を判定する遅延パラメータであり、
aはくし形フィルタの周波数選択度を判定する利得係数である。
【００３５】
くし形フィルタのバンク７４０（図７を参照）のくし形フィルタ７１８毎に、遅延係数Ｔは整数個のサンプルの長さとなるように選択され、サンプル属性はプロセス８０２（図８を参照）により判定される。くし形フィルタバンク７４０の好適な実施形態では、バンク７４０にあるフィルタ７１８の数は共振周波数端の間の整数サンプル長さの数によって決まり、それらの端は図８に関連して説明した実施形態においては、２００Hzと３０００Hzであると規定されている。周波数端の間で個々のフィルタ７１８の間隔を等しくする必要はないが、端の間の全周波数帯域をほぼカバーできるようにしなければならない。
【００３６】
図１０は、くし形フィルタバンク７４０の各くし形フィルタ７１８のピークエネルギー出力から形成される線形関数１０００を示す図である。縦軸１００２はフィルタバンク７４０における各くし形フィルタ７１８のピークエネルギー出力７２６を表し、横軸１００４は各フィルタ７１８の共振周波数を表す。即ち、例えば点１０１２は、共振周波数１００８を有するフィルタが考慮すべき特定のウィンドゥに関するピークエネルギー出力１０１０を出力したことを示している。最適合線１００６が示されており、これは、問題の特定のウィンドゥの中の信号７３６のパーカッシビティを表す傾き１０１４を有する。
【００３７】
図１１は、それぞれが特定の１つのウィンドゥ、例えばウィンドゥ７３８に関して判定されている個々の傾き、例えば傾き１０１４の集合をどのようにして統合し、考慮すべき信号７３６の全注目周期７４２に渡るヒストグラム１１００の形で表現することができるかを示す図である。縦軸１１０２は、特定のパーカッシビティが存在すると分かった期間７４２における時間の割合を表す。横軸１１０４は正規化パーカッシビティ尺度を表し、これは、注目期間７４２の間に測定された全てのパーカッシビティ値をその周期７４２中の最大パーカッシビティ値で正規化することによって判定できる。即ち、点１１０６は、全時間７４２の一部分１１０８の間に正規化パーカッシビティ値１１１０が存在することが分かったことを示している。異なる信号のパーカッシビティを比較することができるように、解析すべき異なる信号について曲線１１００の下方の領域を正規化しても良い。図１１は、全体として高いパーカッシビティを有する信号のヒストグラムを表している。
【００３８】
図１２は、図１１に示した信号とは異なる信号に関するパーカッシビティヒストグラムを示す図であり、図１２に示す信号は全体として低いパーカッシビティを有する。
【００３９】
図１３は、時間領域における典型的なパーカッシブ信号１３０４を示す図である。同図において、信号１３０４は、振幅軸１３００及び時間軸１３０２の関数として表されている。
【００４０】
音の大きさ（ラウドネス）の特徴は、楽曲１００の持続時間のほぼ全てに渡るラウドネスを表す（図１を参照）。まず、楽曲１００を一連の時間ウィンドゥに区分するが、ラウドネスに基づく分類、比較のために、この時間ウィンドゥは約0.5 秒の幅であるのが好ましい。ラウドネス特徴の抽出に使用されるウィンドゥのサイズとテンポ又はその他の特徴の抽出のために使用されるウィンドゥのサイズとの間に何らかの関係がある必要はない。各ウィンドゥにおける信号のフーリエ変換を実行し、次にウィンドゥ毎のパワーを計算する。このパワー値の大きさは、対応する0.5 秒間隔の中におけるラウドネスの推定値である。その他にも、ラウドネスを抽出する方法は知られている。
【００４１】
音の調子（ピッチ）は、本実施形態において、新たな楽曲を音楽データベースに格納するときに音を表現するために特徴抽出手段により判定されるもう１つの特徴である。局所的なピッチは、くし形フィルタのバンクを使用して狭いウィンドゥ（例えば、この場合は0.1 秒）の中で判定される。ピッチ特徴の抽出に使用されるウィンドゥのサイズとテンポ又はその他の特徴の抽出のために使用されるウィンドゥのサイズとの間に何らかの関係がある必要はない。上述のくし形フィルタは、有効なピッチの範囲に渡る共振周波数を有する。この範囲は約２００Hzから約３５００Hzまでの周波数を含んでいると有利であり、フィルタの間隔は元の音楽信号がサンプリングされたときのレートにより決定される。サンプリング信号はフィルタバンクを通してフィルタリングされ、最大の出力パワーを有するくし形フィルタが問題のウィンドゥにおける最有力ピッチに対応する共振周波数を有する。このようにして得られたピッチから、元の音楽に存在する最も有力なピッチのヒストグラムを形成する。楽曲の持続時間のほぼ全体に渡って、この手続きに従って処理を実行する。ここで採用したピッチ抽出の方法は、現在知られているピッチ抽出のためのいくつかの方法の１つであり、別の方法を使用しても差し支えない。
【００４２】
図３に戻り、音楽入力・分類プロセスを考える。楽曲１００が入力されると、楽曲１００は特徴抽出３０４を受け、その後、特徴が分類３０６され、特徴データベース３０８に格納される。このプロセスとほぼ並行して、実際の楽曲１００自体が音楽データベース３０２に格納される。即ち、楽曲１００と、関連する代表的な特徴とは２つの別個ではあるが、互いに関連するデータベース３０２及び３０８にそれぞれ格納される。音楽が最初にアナログ音源から取り出された場合、まず音楽をデジタル化してから特徴抽出プロセス３０４に入力する。デジタル化の過程は標準サウンドカードを利用して実行しも良いが、音楽が既にデジタル形態になっている場合には、デジタル化過程を省略し、１００として直接にデジタル音楽を使用しても良い。従って、ミュージカルインストゥルメントデジタルインタフェース(ＭＩＤＩ)形式や、その他の形式を含む任意のデジタル化構造をシステムで支援しても良い。サンプリング速度、サンプル毎のビット数、又はチャネルに関して特別の条件はないが、高い再生品質が望まれるのであれば、ＣＤに近い音声分解能を選択するのが好ましいということに注意すべきである。
【００４３】
図１４は、一般的な特徴分類プロセスを示す。プロセスステップ１４０４では、抽出した特徴信号４０４，４０８，４１２，４１６，４１８（図４を参照）を楽曲１００のほぼ全持続時間に渡ってヒストグラムとして累積し、その結果、抽出した特徴信号毎に指示特徴出力１４０６を得る。この出力１４０６は特徴データベース３０８に格納される。図５及び図６で説明したようにＮ個の最高のテンポを識別することにより、楽曲１００のほぼ全持続時間に渡る各テンポの相対的発生を表すヒストグラムを形成できる。同様に、Ｍ個の最高のボリュームを識別することにより、楽曲１００のほぼ全持続時間に渡る各々のラウドネスの相対的発生を表すヒストグラムを形成できる。また、Ｋ個の最有力ピッチを識別することにより、楽曲１００のほぼ全持続時間に渡る各ピッチの相対的発生を表すヒストグラムを形成できる。ウィンドゥ内のシャープネスを表すには、スペクトラルセントロイドを使用すると有利である。これを解析すべき楽曲のほぼ全持続時間に渡るヒストグラムとして累積することができ、Ｐ個のシャープネス（ウィンドゥ毎に１つずつ）を識別することにより、楽曲１００のほぼ全持続時間に渡る各シャープネスの相対的発生を表すヒストグラムを形成できる。楽曲のほぼ全持続時間に渡りヒストグラムとして特徴を累積することにより、楽曲のサーチ及び比較に適する特徴分類のための持続時間依存メカニズムが得られる。これは、音楽データベースシステムにおける分類の基礎を成す。ウィンドゥ内のパーカッシビティを表すには、スペクトラルセントロイドを使用すると有利である。これを解析すべき楽曲のほぼ全持続時間に渡りヒストグラムとして累積することができ、Ｐ個のパーカッシビティ（ウィンドゥ毎に１つずつ）を識別することにより、楽曲１００のほぼ全持続時間に渡る各パーカッシビティの相対的発生を表すヒストグラムを形成できる。
【００４４】
図１５は、問い合わせの中で音楽識別子が与えられる場合のデータベース問い合わせプロセスを示す図である。音楽問い合わせ１０４（図１を参照）は以下のようないくつかの形態を取り得るが、以下の形態に限定はされない。
（１）楽曲毎に示される一連の既知の楽曲の名前及び条件式により指定される類似度／相違度（下線で示される）（例えば、Harry Conick Jr．の「You can hear me in the harmony」に非常に類似(very much like)，チャイコフスキーの「1812 Overture」に少々類似(a little like)，Kenny G．の「Breathless」に全く類似せず(not at all like)など）。
（２）ユーザが指定した一連の特徴及び条件式の形態を取る類似度／相違度仕様（例えば、毎分約１２０ビートのテンポを有し、大部分の音が大きい（mostly loud）もの）。
【００４５】
図１５では、音楽識別子と、条件式とを含む音楽問い合わせ１０４が特徴比較プロセス３１２（図３を参照）に入力されている。このプロセス３１２は、音楽問い合わせ１０４で名前を挙げられた楽曲に関連する特徴を特徴データベース３０８から検索する特徴検索プロセス１５０２を含む。次に、この検索された特徴は類似度比較プロセス１５０４に渡され、このプロセス１５０４は音楽問い合わせ１０４で名前を挙げられた楽曲と関連する特徴に適用されるように音楽問い合わせ１０４に含まれている条件式を満たす特徴を求め、特徴データベース３０８をサーチする。この比較の結果を受けた識別子検索プロセス１５０６は、特徴が音楽問い合わせ１０４で指定された識別子に適用される条件式を満たすような楽曲の音楽識別子を検索する。それらの識別子は音楽選択プロセス３１４に渡され、音楽選択プロセス３１４は音楽データベース３０２及び特徴データベース３０８からそれぞれ所望の音楽１０６及び／又は音楽識別子１０８を出力させることができる。
【００４６】
図１６は、音楽問い合わせ１０４のなかで音楽特徴が与えられる場合のデータベース問い合わせプロセスを示す図である。音楽特徴と条件式とを含む音楽問い合わせ１０４は問い合わせステージ１０４で利用可能であり、従って、この場合、特徴検索プロセス１５０２はバイパスされる(図１５を参照)。次に、与えられた特徴は類似度比較プロセス１６０４に渡され、類似度比較プロセス１６０４が音楽問い合わせ１０４で与えられた特徴に適用されるように音楽問い合わせ１０４に含まれている条件式を満たす特徴を求め、特徴データベース３０８をサーチする。この比較の結果を受けた識別子検索プロセス１６０６は、音楽問い合わせ１０４で指定された識別子に関して条件式を満たすような特徴を含む楽曲の音楽識別子を検索する。それらの識別子は音楽選択プロセス３１４に渡され、音楽選択プロセス３１４は音楽データベース３０２及び特徴データベース３０８のそれぞれから所望の音楽１０６及び／又は音楽識別子１０８を出力させることができる。
【００４７】
特徴比較３１２のプロセスを考慮すると、システムにより特徴データベース３０８に格納されている、音楽データベース３０２に格納された楽曲１００に対応する音楽の特徴と、音楽問い合わせ１０４に対応する特徴との間で類似度比較を実行することになる。特徴データベース３０８にはいくつかの異なる特徴（及び特徴表現）が存在しているので、対応する特徴の比較は特徴毎に別個に実行されるのが有利である。例えば、
・ヒストグラムとして格納されているラウドネス特徴の比較は、ヒストグラムの差の利用、各ヒストグラムの平均に関するいくつかのモーメントの比較、或いは同じ目標を達成する他の方法によって実行される。
・ヒストグラムとして格納されているテンポ特徴の比較は、ヒストグラムの差などの方法、各ヒストグラムの平均に関するいくつかのモーメントの比較、或いは同じ目標を達成する他の方法によって実行される。
・ヒストグラムとして格納されているピッチ特徴の比較は、ヒストグラムの差を使用するか、各ヒストグラムの平均に関するいくつかのモーメントの比較によって実行される。ピッチ特徴の比較のための他の方法を使用しても良い。
・ヒストグラムとして格納されているシャープネス特徴の比較は、ヒストグラムの差などの方法、各ヒストグラムに関するいくつかのモーメントの比較、或いは同じ目標を達成する他の方法の利用によって実行される。
・ヒストグラムとして格納されているパーカッシビティ特徴の比較は、ヒストグラムの差などの方法、各ヒストグラムの平均に関するいくつかのモーメントの比較、或いは同じ目標を達成する他の方法の利用によって実行される。
【００４８】
関連するそれぞれの特徴の比較を実行したならば、全体としての類似度を確認する。これを判定する単純ではあるが、効果的な方法は、それぞれの特徴比較の結果が直交軸に沿った個々の差を表すような、距離測定（ｒ＝１としたミンコフスキー距離としても知られている）を使用するものである。
【００４９】
図１７は、２つの楽曲の類似度をアクセスするために使用される距離測定を示す図である。同図において、Ｄは２つの楽曲１７０８及び１７１０の間の距離である（表示を簡単にするため、特徴は３つしか示していない）。この場合、Ｄの値が小さいほど、類似度は大きい。Ｄを次のように表現すると有利である。
【００５０】
ＳＱＲＴ((ラウドネスヒストグラムの差)2＋(テンポヒストグラムの差)2＋(ピッチヒストグラムの差)2＋(音色ヒストグラムの差)2)
図１７は、２つの楽曲１７０８，１７１０の間の距離を示す図である。これらの楽曲は例として挙げた３つの特徴、即ちピッチ１７０２、テンポ１７０４及びシャープネス１７０６に関して定義されている。距離Ｄ１７１２は、このような点から測定したときの楽曲１７１０及び１７０８の距離を表す。
【００５１】
上述の方法の一部を特定の問いあわせ１０４、即ち「楽曲Ａに類似する楽曲を探せ（Find a piece of music similar to piece A）」について説明する。ここで、データベースは楽曲Ａ、Ｂ、Ｃ及びＤを格納している。この問い合わせ１０４は、問い合わせ１０４の中で音楽識別子（即ち、楽曲「Ａ］の名前）と、条件式（「類似する(similar to)」）が与えられている図１５に示す種類の問い合わせである。
【００５２】
データベースに格納されている各楽曲は、それらの楽曲が分類され、データベースに格納されたときに抽出されたいくつかの特徴によって表現される。説明を簡単にするため、ここで提示する例は２つの特徴、即ち、テンポとシャープネスに限定されている。これら２つの特徴は、共に、簡易ヒストグラムにより表現されている。
【００５３】
考慮すべき４つの楽曲をＡ、Ｂ、Ｃ及びＤと名づける。それらの楽曲に対応するヒストグラムを図１８から図２１に示す。
【００５４】
図１８は、楽曲Ａに関するテンポのヒストグラムと音色（シャープネスと呼ぶ場合もある）のヒストグラムを示す図である。図示するように、この楽曲は時間の0.5 、５０％（１８０８）については１Hz（即ち、６０ビート／分）１８００を有し、時間の５０％（１８０８）については２Hz（即ち、１２０ビート／分）１８０２を有する。この楽曲は時間の２０％（１８１０）については２２０５０Hzの明るさ１８０４を示し、時間の８０％（１８１２）については４４１００Hzの明るさ１８０６を示す。また、図１９から図２１は楽曲Ｂから楽曲Ｄの同様の特徴を示す図である。
【００５５】
問い合わせが提示されると、次の動作シーケンスが実行される。
・ＡとＢの特徴の比較
・ＡとＣの特徴の比較
・ＡとＤの特徴の比較
・Ａから最も短い距離にある音楽の選択
データベース中の音楽の全ての特徴はヒストグラムとして表現されるのが好ましいので、それらの特徴の比較はヒストグラムの比較に基づいて行われる。この比較を形成する上で有用な２つの方法はヒストグラム差と、モーメントの比較である。
【００５６】
第１の方法を考えると、ヒストグラム差は、異なる観測結果の相対的発生頻度を比較し、それら全ての比較の和を求め、次に、比較すべきヒストグラムの数により正規化することにより行われる。２つのヒストグラムの個々の積分和が1.0 に等しくなるようにヒストグラムを正規化すれば、最大ヒストグラム差は2.0 になる（各々の比較の絶対値を求めると、最小差は0.0 になる）。
【００５７】
第２の方法を考えると、モーメントの比較は、各ヒストグラムの原点に関するいくつかのモーメントの差を考慮することにより行われる。原点に関するモーメントを計算するには、次の一般式を使用して良い。
【００５８】
【数２】
0004392898.tif 000003
【００５９】
式中、μkは原点に関するＫ番目のモーメントであり、
ｘkはヒストグラムのＸ番目の成分であり、
f(x)はｘkのヒストグラムの値である。
【００６０】
また、モーメントを測定のスケールとは無関係にするために、原点に関する第２のモーメントに関してモーメントを正規化することも一般的である。
【００６１】
μkμ2-k/2
図１８及び図１９を参照すると、ヒストグラム差を使用する問い合わせ１０４「Ａに類似する」に対しては、距離の計算は次のように実行される。
【００６２】
テンポに関するＡとＢの差は、
(|0.5-0.33|+|0.5-0.33|+|0-0.33|)/2=0.33
式中、分子の項の数は比較すべきヒストグラムポイントの数によって決まり、分母は２つのヒストグラムを比較すべきであるということによって決まる。
【００６３】
同様に、音色に関するＡとＢの比較は、
(|0.2-0.9|+|0.8-0.1|)/2=0.7
従って、ＡとＢとの間の距離は次の式によって表される。
【００６４】
√(0.72+0.3352)=0.776
楽曲Ａ、Ｂ、Ｃ及びＤから抽出した特徴に関して図１８から図２１のヒストグラムを考えると、
楽曲Ａのテンポのヒストグラムは、
μ2 = 0.5×1.02+0.5×2.02+0×3.02=2.50
μ3 = 0.5×1.03+0.5×2.03+0×3.03=4.50
μ4 = 0.5×1.04+0.5×2.04+0×3.04=8.50
μ3μ2-3/2 =1.14
μ4μ2-4/2 =1.36
楽曲Ａのシャープネスのヒストグラムは、
μ2 =1.653×109
μ3 =7.076×1013
μ4 =3.073×1018
μ3μ2-3/2 =1.05
μ4μ2-4/2 =1.12
楽曲Ｂのテンポのヒストグラムは、
μ2 =4.62
μ3 =11.88
μ4 =32.34
μ3μ2-3/2 =1.20
μ4μ2-4/2 =1.52
楽曲Ｂのシャープネスのヒストグラムは、
μ2 =6.321×108
μ3 =1.823×1013
μ4 =5.91×1017
μ3μ2-3/2 =1.15
μ4μ2-4/2 =1.48
問い合わせ「Ａに類似する」に対する比較は次の通りである。
【００６５】
ＡとＢのテンポ
|1.14-1.20|+|1.36-1.52|=0.22
ＡとＢのシャープネス
|1.05-1.15|+|1.12-1.48|=0.46
ＡとＢの距離
√(0.222+0.462)=0.5
以上の解析は、簡潔を期するために、ごく部分的に示されているに過ぎない。しかし、完全に拡張した場合には、ヒストグラム差方法とモーメント方法の双方において、楽曲Ａと楽曲Ｂの計算上の距離はＣ、Ｄと比較して短いため、楽曲Ｂは問い合わせ１０４により「Ａに類似する」として選択されることがわかる。
【００６６】
上述の例では、問い合わせ１０４は「楽曲Ａに類似する楽曲を探せ」であり、従って、方法は楽曲Ｂ、Ｃ及びＤのうち、どれがＡから最も短い距離にあるかを確定しようとしていた。
【００６７】
例えば、「Ａに非常に良く似ており、Ｂに多少類似し、Ｃには全く似ていない楽曲を探せ(find a piece of music very similar toＡ，a little bit likeＢ，and not at all like C)」という形のより複雑な問い合わせ１０４の場合は、上述の例と同じ一般的な形態の解析を使用することが考えられる。しかし、この場合には、Ａから最短距離にあり、Ｂからはより長い距離にあり、Ｃからは最も離れているという条件を同時に満たすことができる特徴をどの楽曲が備えているかを判定するためには、データベース中の他の楽曲、即ち、Ｄ、Ｅ、…、Ｋ、…などもアクセスすることになる。
【００６８】
更に、何らかの方式で距離測定全体に偏りを生じさせる（例えば、ラウドネスの類似度よりテンポの類似度に重きを置く）ために個々の特徴に重み付けを適用することも可能である。
【００６９】
音の調子（ピッチ）、大きさ（ラウドネス）、速さ（テンポ）及び音色（即ちシャープネスとパーカッシビティ）に適用されるものとして、ヒストグラムの差又はモーメントの比較のいずれかの方法に基づく類似度評価を考慮すると、場合によっては２パス評価プロセスがより優れた分類結果をもたらすことがわかる。２パス評価プロセスはラウドネス、パーカッシビティ及びシャープネスに基づく第１の評価を実行し、次にテンポに基づく第２の分類プロセスを実行する。この実施形態においては、類似度評価プロセスからピッチの特徴を省略しても、全体としての類似度評価の結果が著しく劣化する恐れはないことがわかっている。
【００７０】
モーメント比較のプロセスを使用する類似度評価を考えると、以下の表に示すように特徴毎に特定のモーメントを選択することにより良い結果が得られる。
【００７１】
【表１】
0004392898.tif 000004
【００７２】
表の中で、「平均」及び「分散」は平均に関するモーメントを表す次の一般的形態に従って確定される。
【００７３】
【数３】
0004392898.tif 000005
【００７４】
式中、k＝１に対するμkが「平均」、
k＝２に対するμkが「分散」である。
【００７５】
特に、テンポに関する「モード」はテンポのヒストグラムにおいて最も頻繁に発生する、即ち「主要な」テンポを表し、従って、ヒストグラムのピークと関連するテンポである。「モードタリー」はピークの振幅であり、最も有力なテンポの相対的強さを表す。
【００７６】
各ヒストグラムのモードを含む、抽出された特徴に対応する完全なモーメントの集合にクラスタリングの技法を適用すると、場合によっては、より優れた分類結果が得られる。ベイズの推定法を利用すると、所定のデータセットを分類する「最良」のクラスのセットが得られる。
【００７７】
図２２は、従来の汎用コンピュータ２２００を使用してシステムをどのようにして好ましい形で実現できるかを示す図である。この場合、先に説明した様々なプロセスはコンピュータ２２００で実行されるソフトウェアとして実現されても良い。特に、様々なプロセスのステップは、コンピュータ２２００によって行われるソフトウェアの命令によって実行される。ソフトウェアはコンピュータ読み取り可能な記憶媒体に格納されていても良く、媒体からコンピュータ２２００にロードされ、その後、コンピュータ２２００により実行される。コンピュータにおいてコンピュータプログラム製品の使用は、(ｉ)例えば、テンポ、ラウドネス、ピッチ及び音色を含め、音楽信号から１つ又は複数の特徴を抽出し、(ii)抽出した特徴を使用して音楽を分類し、(iii）音楽データベースに問い合わせる方法のための装置を好適に実現する。対応するシステムで、上述の汎用コンピュータ２２００で実行するソフトウェアにより記述されるような上述の方法のステップが実施されても良い。コンピュータシステム２２００はコンピュータモジュール２２０２と、音声入力カード２２１６と、入力装置２２１８，２２２０とを含む。更に、コンピュータシステム２２００は音声出力カード２２１０及び出力表示装置２２２４を含むいくつかの他の出力装置のうち、任意のものを有していても良い。コンピュータシステム２２００は、モデム通信経路、コンピュータネットワークなどの適切な通信チャネルを使用して１つ又は複数の他のコンピュータと接続可能である。コンピュータネットワークはローカル・エリア・ネットワーク（ＬＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、イントラネット及び／又はインターネットを含んでいても良い。従って、例えば音声入力カード２２１６を介して楽曲１００を入力し、キーボード２２１８を介して音楽問い合わせを入力し、音声出力カード２２１０を介して所望の音楽１０６を出力し、所望の楽曲名などの所望の音楽識別子を表示装置２２２４を介して出力することも考えられる。図２に示すネットワークの実施形態は、アクセス回線２０４を介してサーバコンピュータをネットワーク２０６に接続するために通信チャネルを使用することにより実現される。クライアントコンピュータもコンピュータ通信チャネルを使用して、アクセス回線２０８を介してネットワークに接続される。コンピュータ２２０２自体は中央処理装置（以下、単に「プロセッサ」と言う）２２０４と、ランダムアクセスメモリ（ＲＡＭ）及び読み取り専用メモリ(ＲＯＭ)を含むメモリ２２０６と、入出力（ＩＯ）インタフェース２２０８と、音声入力インタフェース２２２２と、全体をブロック２２１２で示す１つ又は複数の記憶装置とを含む。この記憶装置２２１２としては、フロッピーディスクドライブ、ハードディスクドライブ、磁気光学ディスクドライブ、ＣＤ−ＲＯＭ、磁気テープ又は当業者には周知の他のいくつかの不揮発性記憶装置の何れか１つ又は２つ以上が考えられる。各々の構成要素２２０４，２２０６，２２０８，２２１２及び２２２２は、通常、バス２２０４を介してその他の装置の１つ又は複数に接続されており、バス２２０４にはデータバス、アドレスバス、制御バスが含まれる。音声入力インタフェース２２２２は音声入力部２２１６及び音声出力部２２１０に接続され、音声入力カード２２１６からの音声入力をコンピュータ２２０２に提供すると共に、コンピュータ２２０２からの音声出力を音声出力カード２２１０に提供する。
【００７８】
尚、本発明は複数の機器（例えば、ホストコンピュータ，インタフェイス機器，リーダ，プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機，ファクシミリ装置など）に適用してもよい。
【００７９】
また、本発明の目的は前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（ＣＰＵ若しくはＭＰＵ）が記憶媒体に格納されたプログラムコードを読出し実行することによっても、達成されることは言うまでもない。
【００８０】
この場合、記憶媒体から読出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
【００８１】
プログラムコードを供給するための記憶媒体としては、例えばフロッピーディスク，ハードディスク，光ディスク，光磁気ディスク，ＣＤ−ＲＯＭ，ＣＤ−Ｒ，磁気テープ，不揮発性のメモリカード，ＲＯＭなどを用いることができる。
【００８２】
また、コンピュータが読出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているＯＳ（オペレーティングシステム）などが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００８３】
更に、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【図面の簡単な説明】
【図１】キオスクの実施形態における音楽データベースシステムを示す図。
【図２】ネットワークの実施形態における音楽データベースシステムを示す図。
【図３】音楽データベースシステムの機能説明図。
【図４】一般的な特徴抽出プロセスを示す図。
【図５】テンポ特徴抽出プロセスを示す図。
【図６】テンポ特徴抽出プロセスを更に示す図。
【図７】パーカッシビティ推定手段の好ましい実施形態のプロセス流れ図。
【図８】好ましい実施形態を更に詳細に示す図。
【図９】くし形フィルタの好ましい実施形態を示す図。
【図１０】くし形フィルタの出力エネルギーから選られる線形関数を示す図。
【図１１】相対的に高いパーカッシビティを有する信号の累積ヒストグラム。
【図１２】相対的に低いパーカッシビティを有する信号の累積ヒストグラム。
【図１３】典型的なパーカッシブ信号を示す図。
【図１４】一般的な特徴分類プロセスを示す図。
【図１５】音楽識別子が供給される場合のデータベース問い合わせプロセスを示す図。
【図１６】音楽特徴が供給される場合のデータベース問い合わせプロセスを示す図。
【図１７】２つの楽曲の類似度をアクセスするために使用される距離測定を示す図。
【図１８】楽曲Ａの特徴表現を示す図。
【図１９】楽曲Ｂの特徴表現を示す図。
【図２０】楽曲Ｃの特徴表現を示す図。
【図２１】楽曲Ｄの特徴表現を示す図。
【図２２】本発明の好ましい実施形態を実施できる汎用コンピュータを示す図。
【符号の説明】
１００  楽曲
１０２  キオスク
１０４  音楽問い合わせ
１０６  所望の楽曲
１０８  音楽識別子
２０２  音楽データベースサーバ
２０４  アクセス回線
２０６  ネットワーク
２０８  アクセス回線
２１０  クライアント
【図１】
0004392898.tif 000006
【図２】
0004392898.tif 000007
【図３】
0004392898.tif 000008
【図４】
0004392898.tif 000009
【図５】
0004392898.tif 000010
【図６】
0004392898.tif 000011
【図７】
0004392898.tif 000012
【図８】
0004392898.tif 000013
【図９】
0004392898.tif 000014
【図１０】
0004392898.tif 000015
【図１１】
0004392898.tif 000016
【図１２】
0004392898.tif 000017
【図１３】
0004392898.tif 000018
【図１４】
0004392898.tif 000019
【図１５】
0004392898.tif 000020
【図１６】
0004392898.tif 000021
【図１７】
0004392898.tif 000022
【図１８】
0004392898.tif 000023
【図１９】
0004392898.tif 000024
【図２０】
0004392898.tif 000025
【図２１】
0004392898.tif 000026
【図２２】
0004392898.tif 000027