(57)【特許請求の範囲】
【請求項１】
与えられた原音響データから、その特徴を表現した特徴ワードを生成し、特徴ワードとともに前記原音響データに関連する関連情報を音響データベースに登録する装置であって、
前記原音響データに対して、所定の長さの単位区間を設定し、当該単位区間を解析した情報を基に、原音響データの特徴パターンを表現した特徴ワードの集合である特徴ワード群を登録特徴ワード群として生成する登録特徴ワード生成手段と、
前記原音響データに対して、部分的に切り出して部分音響データを得て、当該部分音響データに対して、所定の長さの単位区間を設定し、当該単位区間を解析した情報を基に、部分音響データの特徴パターンを表現した特徴ワードの集合である特徴ワード群を部分特徴ワード群として生成する部分特徴ワード生成手段と、
前記登録特徴ワード群と部分特徴ワード群との時間的な位置関係をずらしながら両者間で照合を行い、前記登録特徴ワード群と部分特徴ワード群とが最も適合する位置条件における最小の相違の程度である最小相違度に基づいて、最適判定しきい値を算出する判定しきい値算出手段と、
前記登録特徴ワード群、最適判定しきい値および前記原音響データに関連する関連情報を、前記原音響データを特定する情報と対応付けて前記音響データベースに登録する登録手段と、
を有することを特徴とする音響データの関連情報登録装置。
【請求項２】
請求項１において、
前記部分特徴ワード群は互いに切り出し位置が異なる複数の部分音響データに基づいて複数群生成され、前記判定しきい値算出手段は、前記登録特徴ワード群と各部分特徴ワード群との時間的な位置関係をずらしながら両者間でビット単位で照合し、前記登録特徴ワード群と各部分特徴ワード群とが最も適合する位置条件における最小値を与える最小相違度として、最小不一致ビット数を各部分特徴ワード群ごとに求め、前記部分特徴ワード群ごとに算出された最小不一致ビット数の平均値に基づいて最適判定しきい値を算出することを特徴とする音響データの関連情報登録装置。
【請求項３】
請求項１において、
前記特徴パターンは、所定の周波数範囲ごとの強度を示したものであり、
前記特徴ワードは、前記特徴パターンに加え、音量データを有し、前記部分特徴ワード群は互いに切り出し方が異なる複数の部分音響データに基づいて複数群生成され、
前記判定しきい値算出手段は、前記登録特徴ワードと各部分特徴ワードとの時間的な位置関係をずらしながら両者間で特徴パターンをビット単位で照合して不一致ビット数を求めた後、各特徴ワードの音量データに基づく重みを前記不一致ビット数に加算または乗算して重み付け不一致ビット数を算出し、両者が最も適合する位置条件における最小値となる最小重み付け不一致ビット数を各特徴ワード群ごとに前記最小相違度として与え、当該最小相違度の前記部分特徴ワード群ごとの平均値に基づいて最適判定しきい値を算出することを特徴とする音響データの関連情報登録装置。
【請求項４】
請求項１から請求項３のいずれかにおいて、
前記音響データベースは互いに重複しない最適判定しきい値の範囲が設定された複数の分割音響データベースにより構成されており、
前記登録手段は、前記判定しきい値算出手段により算出された最適判定しきい値に応じて、対応する分割音響データベースに、前記登録特徴ワード群、最適判定しきい値および前記原音響データに関連する関連情報を登録することを特徴とする音響データの関連情報登録装置。
【請求項５】
請求項１から請求項４のいずれかにおいて、
前記原音響データが複数個、１つのフォルダに収納されている場合、前記フォルダより１つずつ抽出して、各原音響データに対して、順次登録特徴ワード生成手段、部分特徴ワード生成手段、判定しきい値算出手段による処理を行い、
前記登録手段は、各原音響データのファイル名を前記関連情報の１つとして登録することを特徴とする音響データの関連情報登録装置。
【請求項６】
請求項１から請求項５のいずれかにおいて、
前記部分特徴ワード群と、前記音響データベースに登録された登録特徴ワード群との照合を行い、前記登録特徴ワード群ごとに登録された最適判定しきい値による条件を満たす場合に、当該登録特徴ワード群を有するレコードを抽出する特徴ワード照合手段をさらに有し、
前記登録特徴ワード生成手段、前記判定しきい値算出手段および前記登録手段は、前記特徴ワード照合手段による照合の結果、該当するレコードが存在しない場合に限り、処理を行うことを特徴とする音響データの関連情報登録装置。
【請求項７】
与えられた音響データである検索音響データの特徴と、音響データベースに登録された原音響データの特徴との照合を行って、前記検索音響データに関連する関連情報を音響データベースから検索する装置であって、
各原音響データについて、その特徴パターンを表現した登録特徴ワードの集合である登録特徴ワード群と、当該原音響データの最適判定しきい値および当該原音響データに関連する関連情報を登録した音響データベースと、
前記検索音響データに対して、所定の区間単位で、当該区間単位における検索音響データの特徴パターンを表現した特徴ワードの集合である特徴ワード群を検索特徴ワード群として生成する検索特徴ワード生成手段と、
前記検索特徴ワード群と、前記音響データベースに登録された登録特徴ワード群との時間的な位置関係をずらしながら両者間で照合を行い、前記登録特徴ワード群と前記検索特徴ワード群とが最も適合する位置条件における最小の相違の程度である最小相違度が、前記登録特徴ワード群ごとに登録された最適判定しきい値より小さい場合に、当該登録特徴ワード群に対応する原音響データの関連情報を前記検索音響データの関連情報の候補として選出する特徴ワード照合手段と、
を有することを特徴とする音響データの関連情報検索装置。
【請求項８】
請求項７において、
前記特徴ワード照合手段は、前記登録特徴ワード群と検索特徴ワード群との時間的な位置関係をずらしながら両者間でビット単位で照合し、前記登録特徴ワード群と検索特徴ワード群とが最も適合する位置条件における最小値を与える最小相違度として、最小不一致ビット数を求めることを特徴とする音響データの関連情報検索装置。
【請求項９】
請求項７において、
前記特徴パターンは、所定の周波数範囲ごとの強度を示したものであり、
前記特徴ワードは、前記特徴パターンに加え、音量データを有し、
前記特徴ワード照合手段は、前記登録特徴ワード群と検索特徴ワード群との時間的な位置関係をずらしながら両者間で特徴パターンをビット単位で照合して不一致ビット数を求めた後、各特徴ワードの音量データに基づく重みを前記不一致ビット数に加算または乗算して重み付け不一致ビット数を算出し、両者が最も適合する位置条件における最小値となる最小重み付け不一致ビット数を前記最小相違度として求めることを特徴とする音響データの関連情報検索装置。
【請求項１０】
請求項７から請求項９のいずれかにおいて、
前記音響データベースは、複数の分割音響データベースにより構成されており、
前記特徴ワード照合手段は前記複数の分割音響データベースに対応して複数個で構成され、前記各分割音響データベースに対して並行して照合を行い、当該登録特徴ワード群に対応する原音響データの関連情報を前記検索音響データに関する関連情報の候補として選出することを特徴とする音響データの関連情報検索装置。
【請求項１１】
請求項１０において、
前記分割音響データベースが独立した記憶媒体に保存されており、
前記特徴ワード照合手段は、前記各分割音響データベースに対応して独立したプロセッサで処理されるように複数の同一処理内容のプログラムで構成されていることを特徴とする音響データの関連情報検索装置。
【請求項１２】
請求項７から請求項１１のいずれかにおいて、
前記検索音響データが複数個、１つのフォルダに収納されている場合、前記フォルダより１つずつ抽出して、各検索音響データに対して、順次検索特徴ワード生成手段、特徴ワード照合手段による処理を行うものであり、
前記特徴ワード照合手段により選出された各原音響データの関連情報を各検索音響データの関連情報として抽出するとともに、前記抽出した関連情報を所定のログファイルに保存する情報出力手段をさらに有することを特徴とする音響データの関連情報検索装置。
【請求項１３】
請求項７から請求項１２のいずれかにおいて、
前記検索音響データに対して、所定の長さの単位区間を設定し、当該単位区間を解析した情報を基に、前記検索音響データの特徴パターンを表現した所定バイト数の特徴ワードの集合を登録特徴ワード群として生成する登録特徴ワード生成手段と、
前記検索音響データに対して、部分的に切り出して部分音響データを得て、当該部分音響データに対して、所定の長さの単位区間を設定し、当該単位区間を解析した情報を基に、部分音響データの特徴パターンを表現した所定バイト数の特徴ワードの集合を部分特徴ワード群として生成する部分特徴ワード生成手段と、
前記登録特徴ワード群と部分特徴ワード群のビット単位との時間的な位置関係をずらしながら両者間で照合を行い、両者が最も適合する位置条件における最小の相違の程度である最小相違度に基づいて、最適判定しきい値を算出する判定しきい値算出手段と、
前記登録特徴ワード群および最適判定しきい値を、前記検索音響データを特定する情報に対応付けて音響データベースに登録する登録手段と、
をさらに有し、
前記登録特徴ワード生成手段、部分特徴ワード生成手段、前記判定しきい値算出手段、および前記登録手段は、前記特徴ワード照合手段による照合の結果、該当するレコードが存在しない場合に限り、処理を行うことを特徴とする音響データの関連情報検索装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、楽曲等の音楽のデータを記録した音響データに関する関連情報を音響データベースに登録する装置、および音響データベースから音響データに関する関連情報を検索する装置に関する。
【背景技術】
【０００２】
最近、流れている音楽のタイトル等を知ることができる楽曲属性情報の提供サービスとして、放送された音楽に対して日時と地域を放送局に照会したり、携帯電話で流れている音楽断片を録音してデータベースに登録されているメロディーと照合したりするサービスが実用化されている（例えば、特許文献１、２参照）。一方、出願人も、音響信号（マイクロフォンで録音したアナログ音響信号を含む。コンピュータ等で処理可能なデジタル化された信号については、以降、「音響データ」という表現にする。）の所定区間の特徴を所定バイト数の特徴ワードに変換し、この特徴ワードを複数個で１セットとし、１セット内の特徴ワードと、データベースに登録されている登録特徴ワードとを照合する処理を順次行って、ビット合致度が高いレコードを抽出することにより、録音により取得したメロディーとデータベースに登録されているメロディーとの照合処理を高速に行う技術を提案している（特許文献３参照）。この際、照合処理において、一律なしきい値により合致度が高いかどうかの判定を行い、かつ合致度が最小である単一のレコードを抽出するようにしていた。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特表２００４−５３６３４８号公報
【特許文献２】特表２００４−５３７７６０号公報
【特許文献３】特開２００７−２２６０７１号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記従来の手法では、検索キーとする音響信号（アナログ音響信号を含む）と、登録されている音響データの時間的な位置合わせを完璧に行うことは原理的に不可能なため若干の位置ズレの発生は避けられず、そのわずかな位置ズレにより、個々の楽曲に依存しない一律なしきい値で判定すると検索漏れが発生し、前記しきい値に適合する全ての複数の楽曲を検索しようとすると過剰検索が発生し、目的とする楽曲を的確に抽出できないという問題がある。
【０００５】
そこで、本発明は、楽曲等の音響データを用いて、音響データベースに登録されている前記音響データに関連する関連情報を過不足なく検索することが可能な音響データの関連情報検索装置を提供することを課題とする。
【課題を解決するための手段】
【０００６】
上記課題を解決するため、本発明第１の態様では、与えられた原音響データから、その特徴を表現した特徴ワードを作成し、特徴ワードとともに前記原音響データに関連する関連情報を音響データベースに登録する装置であって、前記原音響データに対して、所定の長さの単位区間を設定し、当該単位区間を解析した情報を基に、原音響データの特徴パターンを表現した特徴ワードの集合である特徴ワード群を登録特徴ワード群として生成する登録特徴ワード生成手段と、前記原音響データに対して、部分的に切り出して部分音響データを得て、当該部分音響データに対して、所定の長さの単位区間を設定し、当該単位区間を解析した情報を基に、部分音響データの特徴パターンを表現した特徴ワードの集合である特徴ワード群を部分特徴ワード群として生成する部分特徴ワード生成手段と、前記登録特徴ワード群と部分特徴ワード群との時間的な位置関係をずらしながら両者間で照合を行い、前記登録特徴ワード群と部分特徴ワード群とが最も適合する位置条件における最小の相違の程度である最小相違度に基づいて、最適判定しきい値を算出する判定しきい値算出手段と、前記登録特徴ワード群および最適判定しきい値を、前記原音響データを特定する情報に対応付けて前記音響データベースに登録する登録手段を有する音響データの関連情報登録装置を提供するとともに、与えられた音響データの特徴と、音響データベースに登録された原音響データの特徴との照合を行って、与えられた音響データに関連する関連情報を音響データベースから検索する装置であって、各原音響データについて、その特徴パターンを表現した登録特徴ワードの集合である登録特徴ワード群と、当該原音響データの最適判定しきい値および当該原音響データに関連する関連情報を登録した音響データベースと、前記与えられた音響データである検索音響データに対して、所定の区間単位で、当該区間単位における検索音響データの特徴パターンを表現した特徴ワードの集合である特徴ワード群を検索特徴ワード群として生成する検索特徴ワード生成手段と、前記検索特徴ワード群と、前記音響データベースに登録された登録特徴ワード群との時間的な位置関係をずらしながら両者間で照合を行い、前記登録特徴ワード群と前記検索特徴ワード群とが最も適合する位置条件における最小の相違の程度である最小相違度が、前記登録特徴ワード群ごとに登録された最適判定しきい値より小さい場合に、当該登録特徴ワード群に対応する原音響データの関連情報を前記検索音響データに対する関連情報の候補として選出する特徴ワード照合手段を有する音響データの関連情報検索装置を提供する。
【０００７】
本発明第１の態様によれば、原音響データを単位区間ごとに解析した情報を基に、その特徴パターンを表現した登録特徴ワード群を生成するとともに、原音響データから部分的に切り出した部分音響データから、その特徴パターンを表現した部分特徴ワード群を生成し、登録特徴ワード群と部分特徴ワード群との時間的な位置関係をずらしながら両者間で照合を行い、両者が最も適合する位置条件における最小値を与える最小相違度に基づいて、最適判定しきい値を算出して原音響データと対応付けてデータベースに登録しておき、検索の際には、保有していて検索に用いることが可能な検索音響データからその特徴パターンを表現した検索特徴ワード群を生成し、この検索特徴ワード群と、データベースに登録された登録特徴ワード群との時間的な位置関係をずらしながら両者間で照合を行い、両者が最も適合する位置条件における最小値を与える最小相違度が、登録特徴ワードごとに登録された判定判定しきい値より小さい場合に、その登録特徴ワード群に対応する原音響データの関連情報を前記検索音響データの関連情報の候補として選出するようにしたので、楽曲等の検索音響データを用いて、音響データベースに登録されている原音響データに関連する関連情報を前記検索音響データの関連情報として過不足なく検索することが可能となる。
【０００８】
また、本発明第２の態様では、本発明第１の態様の音響データの関連情報登録装置において、前記部分特徴ワード群は互いに切り出し位置が異なる複数の部分音響データに基づいて複数群生成され、前記判定しきい値算出手段は、前記登録特徴ワード群と各部分特徴ワード群との時間的な位置関係をずらしながら両者間でビット単位で照合し、前記登録特徴ワード群と各部分特徴ワード群とが最も適合する位置条件における最小値を与える最小相違度として、最小不一致ビット数を各部分特徴ワード群ごとに求め、前記部分特徴ワード群ごとに算出された最小不一致ビット数の平均値に基づいて最適判定しきい値を算出することを特徴とし、本発明第１の態様の音響データの関連情報検索装置において、前記特徴ワード照合手段は、前記登録特徴ワード群と検索特徴ワード群との時間的な位置関係をずらしながら両者間でビット単位で照合し、前記登録特徴ワード群と検索特徴ワード群とが最も適合する位置条件における最小値を与える最小相違度として、最小不一致ビット数を求めることを特徴とする。
【０００９】
本発明第２の態様によれば、音響データの関連情報登録装置において、登録特徴ワード群と複数の部分特徴ワード群との時間的な位置関係をずらしながら両者間でビット単位で照合し、両者が最も適合する位置条件における最小値となる最小不一致ビット数を各部分特徴ワード群ごとに求め、各部分特徴ワード群ごとに求めた最小不一致ビット数の平均値に基づいて最適判定しきい値を決定するようにしたので、高精度に最適判定しきい値を求めることが可能となり、また、音響データの関連情報検索装置において、登録特徴ワード群と検索特徴ワード群との時間的な位置関係をずらしながら両者間でビット単位で照合し、両者が最も適合する位置条件における最小値となる最小不一致ビット数を求め、この最小不一致ビット数を用いて、データベースに登録された最適判定しきい値と比較するようにしたので、高精度に照合処理を行うことが可能となる。
【００１０】
また、本発明第３の態様では、本発明第１の態様の音響データの関連情報登録装置において、前記特徴パターンは、所定の周波数範囲ごとの強度を示したものであり、前記特徴ワードは、前記特徴パターンに加え、音量データを有し、前記部分特徴ワード群は互いに切り出し方が異なる複数の部分音響データに基づいて複数群生成され、前記判定しきい値算出手段は、前記登録特徴ワードと各部分特徴ワードとの時間的な位置関係をずらしながら両者間で特徴パターンをビット単位で照合して不一致ビット数を求めた後、各特徴ワードの音量データに基づく重みを前記不一致ビット数に加算または乗算して重み付け不一致ビット数を算出し、両者が最も適合する位置条件における最小値となる最小重み付け不一致ビット数を各特徴ワード群ごとに前記最小相違度として与え、当該最小相違度の前記部分特徴ワード群ごとの平均値に基づいて最適判定しきい値を算出することを特徴とし、本発明第１の態様の音響データの関連情報検索装置において、前記特徴パターンは、所定の周波数範囲ごとの強度を示したものであり、前記特徴ワードは、前記特徴パターンに加え、音量データを有し、前記特徴ワード照合手段は、前記登録特徴ワード群と検索特徴ワード群との時間的な位置関係をずらしながら両者間で特徴パターンをビット単位で照合して不一致ビット数を求めた後、各特徴ワードの音量データに基づく重みを前記不一致ビット数に加算または乗算して重み付け不一致ビット数を算出し、両者が最も適合する位置条件における最小値となる最小重み付け不一致ビット数を前記最小相違度として求めることを特徴とする。
【００１１】
本発明第３の態様によれば、特徴ワードが音量データを有し、関連情報登録装置において、特徴パターンどうしで不一致ビット数を求めた後、音量データに基づく重みを不一致ビット数に加算または乗算して重み付け不一致ビット数を算出し、この最小値を最小相違度として求め、この最小相違度の部分特徴ワードごとの平均値を最適判定しきい値としたので、音量データの変動を加味した最適判定しきい値を求めることが可能となり、また、音響データの関連情報検索装置において、特徴パターンどうしで最小不一致ビット数を求めた後、音量データに基づく重みを不一致ビット数に加算または乗算して重み付け不一致ビット数を算出し、この最小値を最小相違度として求め、この最小相違度を用いて、音響データベースに登録された最適判定しきい値と比較するようにしたので、音量データの変動を加味した照合処理を行うことが可能となる。
【００１２】
また、本発明第４の態様では、本発明第１から第３のいずれかの態様の音響データの関連情報登録装置において、前記音響データベースは互いに重複しない最適判定しきい値の範囲が設定された複数の分割音響データベースにより構成されており、前記登録手段は、前記判定しきい値算出手段により算出された最適判定しきい値に応じて、対応する分割音響データベースに、前記登録特徴ワード群、最適判定しきい値および前記原音響データに関連する関連情報を登録することを特徴とし、本発明第１から第３のいずれかの態様の音響データの関連情報検索装置において、前記音響データベースは、複数の分割音響データベースにより構成されており、前記特徴ワード照合手段は前記複数の分割音響データベースに対応して複数個で構成され、前記各分割音響データベースに対して並行して照合を行い、当該登録特徴ワード群に対応する原音響データの関連情報を前記検索音響データの関連情報の候補として選出することを特徴とする。
【００１３】
本発明第４の態様によれば、最適判定しきい値の範囲に応じて複数の分割音響データベースが用意されており、音響データの関連情報登録装置において、最適判定しきい値を算出した後、算出した最適判定しきい値に応じて異なる分割音響データベースに登録し、音響データの関連情報検索装置において、各分割音響データベースに対して並行して照合を行い、登録特徴ワード群に対応する原音響データの関連情報を前記検索音響データの関連情報の候補として選出するようにしたので、異なるＨＤＤに配置して異なるＣＰＵ・コンピュータで分散処理させることが可能となる。
【００１４】
また、本発明第５の態様では、本発明第４の態様の音響データの特徴ワード検索装置において、前記分割音響データベースが独立した記憶媒体に保存されており、前記特徴ワード照合手段は、前記各分割音響データベースに対応して独立したプロセッサで処理されるように複数の同一処理内容のプログラムで構成されていることを特徴とする。本発明第５の態様によれば、特徴ワード照合手段が分割音響データベースに対応して独立して設けられているので、コンピュータがマルチコア構成の場合、分割音響データベースと対応する特徴ワード照合手段を独立したスレッドに割り当てて、検索を実行させるようにすれば、ＯＳが前記特徴ワード照合手段を複数の記憶装置とＣＰＵに分散して実行させるので容易に高速化できる。
【００１５】
また、本発明第６の態様では、本発明第１から第４のいずれかの態様の音響データの関連情報登録装置において、前記原音響データが複数個、１つのフォルダに収納されている場合、前記フォルダより１つずつ抽出して、各原音響データに対して、順次登録特徴ワード生成手段、部分特徴ワード生成手段、判定しきい値算出手段による処理を行い、前記登録手段は、各原音響データのファイル名を前記関連情報の１つとして登録することを特徴とする。本発明第６の態様によれば、原音響データが複数個、１つのフォルダに収納されている場合、そのフォルダ内の全ての原音響データに対して順次登録処理を実行するようにしたので、複数の原音響データの一括登録処理が可能となる。
【００１６】
また、本発明第７の態様では、本発明第１から第５のいずれかの態様の音響データの関連情報検索装置において、前記検索音響データが複数個、１つのフォルダに収納されている場合、前記フォルダより１つずつ抽出して、各検索音響データに対して、順次検索特徴ワード生成手段、特徴ワード照合手段による処理を行うものであり、前記特徴ワード照合手段により選出された各登録音響データの関連情報を各検索音響データの関連情報として抽出するとともに、前記抽出した関連情報を所定のログファイルに保存する情報出力手段をさらに有することを特徴とする。本発明第７の態様によれば、検索音響データが複数個、１つのフォルダに収納されている場合、そのフォルダ内の全ての検索音響データに対して順次検索処理を実行するようにしたので、複数の検索音響データの一括検索処理が可能となる。
【００１７】
また、本発明第８の態様では、本発明第１から第４、第６のいずれかの態様の関連情報登録装置において、前記部分特徴ワード群と、前記音響データベースに登録された登録特徴ワード群との照合を行い、前記登録特徴ワード群ごとに登録された最適判定しきい値による条件を満たす場合に、当該登録特徴ワード群を有するレコードを抽出する特徴ワード照合手段をさらに有し、前記登録特徴ワード生成手段、前記判定しきい値算出手段および前記登録手段は、前記特徴ワード照合手段による照合の結果、該当するレコードが存在しない場合に限り、処理を行うことを特徴とする。本発明第８の態様によれば、前記部分特徴ワード群と、前記音響データベースに登録された登録特徴ワード群との照合を最初に行い、照合の結果、該当するレコードが存在しない場合に限り、前記登録特徴ワード生成手段、前記判定しきい値算出手段および前記登録処理を行うようにしたので、既に登録されている登録特徴ワードの基となった原音響データと同一とみなされる（既に登録されている音響データと符号化形式や圧縮方式が異なることに起因するデータ上の差異があっても、オリジナルの音響信号が同一とみなされる）音響データの登録特徴ワードおよび関連情報を重複して登録することを防ぐことが可能となる。
【００１８】
また、本発明第９の態様では、本発明第１から第５、第７のいずれかの態様の音響データの関連情報検索装置において、前記検索音響データに対して、所定の長さの単位区間を設定し、当該単位区間を解析した情報を基に、検索音響データの特徴パターンを表現した所定バイト数の特徴ワードの集合を登録特徴ワード群として生成する登録特徴ワード生成手段と、前記検索音響データに対して、部分的に切り出して部分音響データを得て、当該部分音響データに対して、所定の長さの単位区間を設定し、当該単位区間を解析した情報を基に、部分音響データの特徴パターンを表現した所定バイト数の特徴ワードの集合を部分特徴ワード群として生成する部分特徴ワード生成手段と、前記登録特徴ワード群と部分特徴ワード群との時間的な位置関係をずらしながら両者間でビット単位で照合を行い、両者が最も適合する位置条件における最小の相違の程度である最小相違度に基づいて、最適判定しきい値を算出する判定しきい値算出手段と、前記登録特徴ワード群および最適判定しきい値を、前記検索音響データを特定する情報に対応付けて音響データベースに登録する登録手段と、をさらに有し、前記登録特徴ワード生成手段、部分特徴ワード生成手段、前記判定しきい値算出手段、および前記登録手段は、前記特徴ワード照合手段による照合の結果、該当するレコードが存在しない場合に限り、処理を行うことを特徴とする。
【００１９】
本発明第９の態様によれば、検索音響データを用いて検索を行った結果、該当する検索音響データの関連情報が存在しない場合に、その検索音響データを音響データベースに登録するようにしたので、未登録の検索音響データの登録特徴ワード群、最適判定しきい値、関連情報を自動的に追加することが可能となる。
【発明の効果】
【００２０】
本発明によれば、楽曲等の音響データを用いて、音響データベースに登録されている音響データに関連する関連情報を過不足なく検索することが可能となるという効果を奏する。
【図面の簡単な説明】
【００２１】
【図１】本発明に係る音響データの関連情報登録装置の構成図である。
【図２】特徴ワードの生成処理を示すフローチャートである。
【図３】特徴ワードの生成処理の概念図である。
【図４】最適判定しきい値算出処理を示すフローチャートである。
【図５】図４のＳ１２０における部分区間ｚの照合処理の詳細を示すフローチャートである。
【図６】図５のＳ１２２における合算不一致ビット数Ｓ（ｙ，ｚ，ｈ，ｘ）の算出処理の詳細を示すフローチャートである。
【図７】本発明に係る音響データの関連情報検索装置の構成図である。
【図８】検索特徴ワードの生成処理を示すフローチャートである。
【図９】特徴ワード照合手段７０による検索特徴ワード群を用いた検索のフローチャートである。
【図１０】図９のＳ２２０におけるレコードｒの照合処理の詳細を示すフローチャートである。
【図１１】図１０のＳ２２２における合算不一致ビット数Ｓ（ｒ，ｙ，ｈ，ｘ）の算出処理の詳細を示すフローチャートである。
【図１２】本発明に係る音響データの関連情報登録装置の変形例を示す構成図である。
【図１３】本発明に係る音響データの関連情報検索装置の変形例を示す構成図である。
【図１４】本発明に係る音響データの関連情報登録装置の他の変形例を示す構成図である。
【図１５】本発明に係る音響データの関連情報検索装置の他の変形例を示す構成図である。
【発明を実施するための形態】
【００２２】
以下、本発明の実施形態について図面を参照して詳細に説明する。
（１．音響データの関連情報登録装置）
まず、本発明に係る音響データの関連情報登録装置（以下「関連情報登録装置」という。）について説明する。本発明に係る関連情報登録装置は、音響データから登録特徴ワードを作成し、当該音響データに関連する関連情報（一般にメタデータと呼ばれる）とともに作成した登録特徴ワード、最適判定しきい値を、音響データを特定する情報（例えば、音響データＩＤ）と対応付けて音響データベースに登録する。この音響データベースは、音響データの関連情報を検索するために用いられるものであり、音響データ自体は、登録されない。音響データとは、音楽や音声等をデジタル形式で記録したものであり、アナログ音響信号に対して、ＰＣＭ等の手法によりサンプリングして得られたもので、あらかじめＭＰ３（MPEG-1/Layer3）などの各種非可逆圧縮処理が施された音響データファイルが与えられる場合が一般的である。（著作権保護対策から、ＣＤ原盤の品質をもつＰＣＭ形式の音響データは一般にライセンス配布されないことが多い。）図１は、関連情報登録装置の構成を示す機能ブロック図である。図１において、１０は登録特徴ワード生成手段、２０は部分特徴ワード生成手段、３０は判定しきい値算出手段、４０は登録手段、５０は音響データベースである。
【００２３】
登録特徴ワード生成手段１０は、音響データから所定数のサンプルを音響フレームとして順次読み込み、読み込んだ音響フレームを利用して、周波数解析を行い、その音響データの特徴を表現した特徴ワードを生成する機能を有している。この特徴ワードは、ある音響データの特徴を少ないデータ量で表現したものであり、スペクトルの特徴を表した特徴パターンと、音量データにより構成される（著作権法上、生成された特徴ワードより原音響データを再現できない、即ち複製行為ができないことが要求され、音響データベースへの登録が認められている。）。音響データベース５０に登録される特徴ワードを特に「登録特徴ワード」と呼ぶ。また、この特徴ワードを作成する基になる音響データを特に「原音響データ」と呼ぶ。この「原音響データ」としては、著作権者等が有している「原本」となるデータそのものではなく、この「原本」に著作権保護のための改変が施されたものを用いるのが普通である。もちろん「原本」となるデータそのものを「原音響データ」として用いることも可能である。後述するように、本発明においては、部分特徴ワードや検索特徴ワード等の他の特徴ワードが出現するが、これらは、いずれも特徴ワードの基本的な構造としては同一であるが、部分特徴ワードと検索特徴ワードは登録特徴ワードと異なり、後述する検索処理において位相をずらした照合に対応させるため、位相をずらした複数（本願実施例では５種）の特徴ワード群のセットをもたせているという相違がある。また、本明細書では、４０ビット構成の最小単位を「特徴ワード」、照合に用いられる特徴ワードの集合を「特徴ワード群」と呼ぶ。
【００２４】
部分特徴ワード生成手段２０は、登録特徴ワード生成手段１０と同様、部分音響データから所定数のサンプルを音響フレームとして順次読み込み、読み込んだ音響フレームを利用して、周波数解析を行い、その部分音響データの特徴を表現した特徴ワードを生成する機能を有している。登録特徴ワード生成手段１０、部分特徴ワード生成手段２０は、共に同一の原音響データから音響フレームを読み込み、特徴ワードを作成する点で同一であるが、登録特徴ワード生成手段１０は、原音響データ全体（すなわち先頭から最後まで）に対して処理を行うのに対して、部分特徴ワード生成手段２０は、原音響データより複数の短い部分区間（検索時に生成する検索特徴ワードと同程度の５〜１５秒程度の区間）を盲目的に切り出して抽出し、更に各部分区間ごとに位相をずらした複数（本実施形態では５種）の部分音響データを生成する点で異なる。１つの原音響データより何個の部分区間を抽出するかについては、事前に設定しておくことになるが、例えば、５個を抽出する場合、原音響データ全体が５分間の長さで、部分区間の長さが１５秒であったとすると、先頭（０分）〜１５秒、１分０秒〜１分１５秒、２分０秒〜２分１５秒、３分０秒〜３分１５秒、４分〜４分１５秒の５個の部分区間を抽出し、５個の部分区間より生成される各部分音響データに対して処理を行う。
【００２５】
音響フレームについては、登録特徴ワード生成手段１０、部分特徴ワード生成手段２０も同じサンプル数で取得し、所定の処理を行って特徴ワードを生成する。音響フレームを構成するサンプル数、特徴ワードの生成手法については、登録特徴ワード生成手段１０、部分特徴ワード生成手段２０で同一である必要があるが、部分特徴ワードについては同一の部分区間の部分音響データをもとに位相をずらした複数のセットの部分特徴ワード群が生成されるようにしている点で相違がある。
【００２６】
また、上述のように、登録特徴ワード生成手段１０、部分特徴ワード生成手段２０は、同一サンプル数の音響フレームに対して、若干異なる処理を行って特徴ワードを生成するが、最小単位として生成される４０ビットの特徴ワードの形式は同一である。ただし、上述のように、原音響データ全体を対象として登録特徴ワード生成手段１０が作成する特徴ワードを「登録特徴ワード」、部分音響データを対象として部分特徴ワード生成手段２０が作成する特徴ワードを「部分特徴ワード」と呼ぶ。
【００２７】
判定しきい値算出手段３０は、単一の登録特徴ワード群と複数の部分特徴ワード群との間での照合を行うが、前者の登録特徴ワード群に比べて後者の各部分特徴ワード群の特徴ワード数が顕著に少ないため、時間的な位置をずらしながら照合を行う。更に各部分特徴ワード群は位相が異なる複数種で１セットとして構成されているため、各群とも個別に照合を行う必要がある。例えば、登録特徴ワード群が５分の長さをもっており、５種の１５秒間の部分区間に対応して５種の部分特徴ワード群があり、更に各部分特徴ワード群が位相を変化させて５通り作成されている場合、５×５種の１５秒の部分特徴ワード群を用いて５分の長さの登録特徴ワード群と時間位置を１５／２秒ずつオーバラップさせながら、ずらして照合を行う場合、５×５×３００×２／１５＝１０００通りの組み合わせで照合を行うことになる。これらの組み合わせで照合を行った結果、５種の各部分区間ごとに最小の相違を示す値を算出し、それらの平均値に基づいて、最適判定しきい値を算出する。
【００２８】
登録手段４０は、登録特徴ワード生成手段１０により生成された登録特徴ワード群と、判定しきい値算出手段３０により算出された最適判定しきい値を、元の原音響データの制作や著作権に関連する関連情報（一般にメタデータと呼ばれる）、および原音響データを特定するために原音響データの著作権情報等を管理する事業者が個別に定義付けたＩＤと対応付けて音響データベース５０に登録する機能を有している。ここで、関連情報とは、楽曲名、ジャンル名など楽曲を特定するテキスト情報、作詞・作曲・編曲者名、アーチスト名、プロデューサ名など原音響データの制作に関わる著作権者・著作隣接権者名に関するテキスト情報を示すものである。ただし、原音響データそのものは著作権法上の制約から、音響データベース５０に通常登録することはない。また、当該音響データの制作・マスタリングに使用した一連のバイナリ形式の素材データ（ミックスダウンする前の個別の録音データ、ＭＩＤＩ打ち込みデータ）等についても、著作権法上の制約により通常登録することはない。図１に示した各構成手段は、現実にはコンピュータおよびその周辺機器等のハードウェアに専用のプログラムを組み込むことにより実現される。すなわち、コンピュータが、専用のプログラムに従って各手段の内容を実行することになる。
【００２９】
（１．２．関連情報登録装置の処理動作）
次に、図１に示した関連情報登録装置の処理動作について説明する。まず、関連情報登録装置では、登録特徴ワード生成手段１０が、指定された原音響データから登録特徴ワードを生成する。図２は、登録特徴ワードの生成処理を示すフローチャートである。まず、登録特徴ワード生成手段１０が、原音響データを読み込む。関連情報登録装置では、登録特徴ワード生成手段１０が、指定された原音響データから、所定数のサンプルを１音響フレームとして読み込む。登録特徴ワード生成手段１０が読み込む１音響フレームのサンプル数は、適宜設定することができるが、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプル程度とすることが望ましい。これは、約０．０９２秒に相当する。ただし、後述する周波数変換におけるハニング窓関数の利用により、隣接窓間の連続性を考慮して、音響フレームは、所定数分のサンプルを重複させて読み込むことにしている。本実施形態では、音響フレームの区間長のちょうど半分となる２０４８サンプルを重複させている。したがって、先頭の音響フレームはサンプル１〜４０９６、２番目の音響フレームはサンプル２０４９〜６１４４、３番目の音響フレームはサンプル４０９７〜８１９２というように、順次読み込まれていくことになる。
【００３０】
続いて、登録特徴ワード生成手段１０は、読み込んだ各音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ１１）。具体的には、登録特徴ワード生成手段１０が読み込んだ音響フレームについて、窓関数を利用して周波数変換を行う。周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができる。本実施形態では、フーリエ変換を用いた場合を例にとって説明する。
【００３１】
ここで、本実施形態においてフーリエ変換に利用する窓関数について説明しておく。一般に、所定の信号に対してフーリエ変換を行う場合、信号を所定の長さに区切って行う必要があるが、この場合、所定の長さの信号に対してそのままフーリエ変換（正確には短時間フーリエ変換とよばれる）を行うと、高域部に擬似成分が発生する。そこで、一般にフーリエ変換を行う場合には、ハニング窓と呼ばれる窓関数を用いて、窓の境界部のコサイン波形状で重みを落とすように信号の値を変化させた後、変化後の値に対してフーリエ変換を実行する。
【００３２】
Ｓ１１においてフーリエ変換を行う場合、具体的には、サンプルｉにおける値Ｘ（ｉ）（ｉ＝０，…，Ｎ−１）に対して、０〜１の実数値をもち、Ｎサンプル区間に定義されるハニング窓関数Ｗ（ｉ）（＝０．５−０．５ｃｏｓ（２πｉ／Ｎ）を用いて、以下の〔数式１〕の第１式、第２式に従った処理を行い、各周波数における実部Ａ（ｊ）、虚部Ｂ（ｊ）を得る。
【００３３】
続いて、スペクトル成分の算出を行う（Ｓ１２）。具体的には、以下の〔数式１〕第３式に従った処理を行い、各周波数における強度値Ｅ（ｊ）を得る。
【００３４】
〔数式１〕
Ａ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ（ｉ）・ｃｏｓ（２πｉｊ／Ｎ）
Ｂ（ｊ）＝Σi=0,…,N-1Ｗ（ｉ）・Ｘ（ｉ）・ｓｉｎ（２πｉｊ／Ｎ）
Ｅ（ｊ）＝Ａ（ｊ）2＋Ｂ（ｊ）2
【００３５】
〔数式１〕において、ｉは、各音響フレーム内のＮ個のサンプルに付した通し番号であり、ｉ＝０，１，２，…Ｎ−１の整数値をとる。また、ｊは周波数の値について、値の小さなものから順に付した通し番号であり、ｊ＝０，１，２，…Ｎ／２−１の整数値をとる。サンプリング周波数が４４．１ｋＨｚ、Ｎ＝４０９６の場合、ｊの値が１つ異なると、周波数が１０．８Ｈｚ異なることになる。
【００３６】
続いて、スペクトル成分の間引き処理を行う（Ｓ１３）。上記の周波数変換により、２２ｋＨｚ付近までのスペクトル成分が得られるが、本実施形態における特徴ワードの生成には、３４０Ｈｚ以上で４ｋＨｚ付近より低い範囲のスペクトル成分を用いる。これは、携帯電話の音声再生で使用される３ＧＰＰ規格等の音声圧縮形式に対応させるためである（ただし、本実施形態では常にデジタル音響データが与えられるため、携帯電話の音声録音信号を用いた照合には対応する必要はない。）。そのため、正確に、携帯電話の音声再生範囲に合わせる場合は、特徴ワードの生成の上限を３．４ｋＨｚ付近とするようにしても良い。本実施形態では、ｊ＝０〜２０４７の周波数成分のうち、４ｋＨｚ付近より高いｊ＝３８５〜２０４７については利用しない。また、３４０Ｈｚ以下であるｊ＝０〜３２の低周波成分についても利用しない。すなわち、本実施形態では、ｊ＝３３〜３８４の周波数成分を用いる。具体的には、以下の〔数式２〕に従った処理を実行し、１１周波数成分単位のＰｎに間引くことになる。
【００３７】
〔数式２〕
Ｐ０＝（Ｅ33＋Ｅ34＋…＋Ｅ43）1/4
Ｐ１＝（Ｅ44＋Ｅ45＋…＋Ｅ54）1/4
：
：
Ｐ３１＝（Ｅ374＋Ｅ375＋…＋Ｅ384）1/4
【００３８】
上記〔数式２〕により、ｊ＝３３〜３８４の３５２の周波数成分が、ｎ＝０〜３１の３２の周波数成分に間引かれることになる。上記処理は、各音響フレームについて行われ、各音響フレームについて、３２個の周波数成分が得られることになる。
【００３９】
次に、各音響フレームについて、直前の音響フレームのスペクトル成分との差分を算出する（Ｓ１４）。上記Ｓ１１〜Ｓ１３の処理は、各音響フレームに対して順次行われる。このＳ１４におけるフレーム間の処理は、各音響フレームについてＳ１３までの処理を行った結果得られたＰ０〜Ｐ３１を利用するものである。具体的には、以下の〔数式３〕に従った処理を行い、差分Ｄｎ（ｔ）を得る。
【００４０】
〔数式３〕
Ｄｎ（ｔ）＝｜Ｐｎ（ｔ）−Ｐｎ（ｔ−１）｜、ｎ＝０，…，３１
【００４１】
このように、隣接する音響フレーム間の差分を算出するのは、音響データの振幅レベルがわずかに変化するような箇所についても、振幅レベルの変化を強調させ、音響データの特徴を反映した特徴ワードを生成するためである。
【００４２】
上記Ｓ１１〜Ｓ１４の処理を各音響フレームに対して順次行い、音響フレーム間の差分Ｄｎ（ｔ）がＴ個（本実施形態では１１個）得られたら、そのＴ個分の総和を求める（Ｓ１６）。すなわち、以下の〔数式４〕に従った処理を行い、差分の総和Ｓｎを得る。
【００４３】
〔数式４〕
Ｓｎ＝Σt=0,…,T-1Ｄｎ（ｔ）
【００４４】
続いて、上記〔数式４〕により得られたＳｎの二値化処理を行う（Ｓ１７）。具体的には、まず、Ｓｎ配列をｎ≧１４とｎ≦１３の上下帯域で２分割し、ｎ≦１３の１４個中値の大きい７個に１を与え、値の小さい７個に０を与えるとともに、ｎ≧１４の１８個中値の大きい９個に１を与え、値の小さい９個に０を与える。ここで、単純に全３２個のＳｎ中値の大きい１６個と、小さい１６個に１と０を与えるのではなくて、３２バンドを周波数が高い１８バンドのグループと、周波数が高い１４バンドのグループに分けてそれぞれそのグループ内で均等に１と０を与えるようにしたのは、各種データ圧縮処理に伴う周波数特性の影響を補正するためである。上下のバンドを１８バンドと１４バンドの位置で分けたのは、実験の結果、この位置で分けたとき、検索に使用する検索音響データに対してＭＰ３などの各種データ圧縮処理を施した結果、検索精度が最も高かったためである。Ｓ１７における処理により、各ｎについてのＳｎが１ビットで表現可能となる。そして、ｎ＝０をＬＳＢ、ｎ＝３１をＭＳＢとして３２ビットの特徴パターンを得る。
【００４５】
次に、音量データの算出を行う（Ｓ１８）。具体的には、以下の〔数式５〕を用いて音量データVolを算出する。
【００４６】
〔数式５〕
Vol＝Σt=0,…,T-1｛Σn=0,…,31Ｐｎ（ｔ）｝
【００４７】
上記〔数式５〕に示すように、間引き処理した全ての成分Ｐｎ（ｔ）の値をＴ個の音響フレームについて加算する。これにより、Ｔ個の音響フレームについての総和音量である音量データVolが得られる。この音量データVolの値に適宜設定した固定のスケーリング値を乗算して、０〜２５５の範囲に収まるように正規化する。このため、音量データVolは８ビットで表現されることとなる。音量データVolは、上記〔数式５〕に示されるように、Ｔ個の音響フレームに渡る音量の総和であるため、各フレーム単位の音量ではなく、Ｔ個の音響フレームの総和音量を表現していることになる。
【００４８】
上記Ｓ１７、Ｓ１８の処理は、順序を入れ替えて行うことも可能である。Ｓ１７、Ｓ１８による処理の結果、３２ビットの特徴パターンと８ビットの音量データにより構成される４０ビットの特徴ワードが得られる。
【００４９】
以上の処理を各音響フレームに対して実行することにより、その音響データについての特徴ワードが多数生成されることになる。例えば、上記の例のように、サンプリング周波数４４．１ｋＨｚ、１音響フレームが４０９６サンプル、音響フレームを２０４８サンプルづつ重複させた場合、１特徴ワードは約０．５０６秒となり、５分間の音響データからは、約６００個の特徴ワードが生成されることになる。
【００５０】
ここで、上記特徴ワードの生成処理を、図３の概念図を用いて説明する。図３（ａ）は、特徴ワードの生成対象とする音響データの波形を示す図である。関連情報登録装置では、音響データを音響フレーム単位で読み取っていくが、図３（ｂ）に示すように、読取範囲を重複させて読み取らせる。そして、各音響フレームに対して、図３（ｃ）に示すように３２バンドに分離する。これは、上記Ｓ１１〜Ｓ１３に相当する。次に、図３（ｄ）に示すように分離成分のバンドごとの隣接する音響フレーム間における差分処理、３２バンドの分離成分の総和処理を行う。分離成分の差分処理は上記Ｓ１４に相当し、分離成分の総和処理は上記Ｓ１８の各周波数成分（ｎ＝０〜３１）の総和処理に相当する。次に、図３（ｅ）に示すように３２バンド差分成分の総和処理、および音量の総和処理を行う。３２バンド差分成分の総和処理は、上記Ｓ１６に相当し、音量の総和処理は上記Ｓ１８の各音響フレーム（ｔ＝０〜Ｔ−１）の総和処理に相当する。次に、図３（ｆ）に示すように３２バンド総和成分の二値化処理、および音量の圧縮処理（上記〔数式５〕に基づき算出された値に所定のスケーリング値を乗算して２５６段階に音量レベルを圧縮する処理）を行う。３２バンド総和成分の二値化処理は上記Ｓ１７に相当し、音量の圧縮処理は上記Ｓ１８に相当する。図３に示すように、音響データから順次音響フレームを読み込み、Ｔ個の音響フレーム単位で１つの特徴ワードを生成していく処理が行われることになる。
【００５１】
指定された１つの原音響データ全体に対して、登録特徴ワード群（特徴ワードの集合）が得られたら、次に、原音響データの先頭から所定の長さの区間を部分区間として順次抽出し、抽出した各部分音響データについて特徴ワード（部分特徴ワード）を生成する。部分区間の長さとしては、適宜設定することができる。部分区間は、検索時に使用する代表的な区間を想定して、与えられた原音響データ全体より盲目的（実際の実施例では均等間隔に）に抽出したもので、多少の漏れは発生しても良いが、重複がないように先頭から一定の間隔で設定され、１つの原音響データについてＺ個の部分区間が得られる。部分特徴ワードの生成は、基本的には、原音響データ全体に対して行われた登録特徴ワードの生成の場合と同様に、図２、図３に示したような手順、概念で作成される。ただし、登録特徴ワードと異なり、位相をずらした複数の部分特徴ワードを追加生成する必要がある。
【００５２】
部分音響データは、楽曲の一部が切り取られたものであるため、必ずしも、原音響データとのタイミングが一致するものではなく、位置ずれが生じることがある。特徴ワードの生成にあたっては、Ｔ個（本願実施例では、Ｔ＝１１）の音響フレームを平均化して生成しているため、比較的位置ずれには強い。しかし、リズム変化が激しい原音響データの場合、特徴ワードの生成単位である１１音響フレームの、ほぼ半分である５音響フレーム程度ずれると、顕著に異なる特徴ワードが生成され、登録特徴ワードとの照合において顕著な相違が発生してしまう。そのため、１解析単位である１１音響フレームの範囲内で数音響フレームずつ遅らせて（位相を変更して、本実施形態では２音響フレーム）複数の部分特徴ワードを生成して、音響データベース５０内に登録予定の登録特徴ワードと照合するようにする。
【００５３】
Ｓ１６において、〔数式４〕に基づきＳｎを算出する代わりに、ｈ＝０，．．．，Ｈ−１としてＨ種類のＳｎ（ｈ）を以下〔数式４’〕に基づき算出する。ｈｓは適当な正の整数で本願実施例ではｈｓ＝２である。続いて、Ｓ１７において、Ｈ種類のＳｎ（ｈ）の各々に対して同様に二値化処理を行い、各々３２ビットの特徴パターンに変換する。
【００５４】
〔数式４’〕
Ｓｎ（ｈ）＝Σt=0,…,T-1Ｄｎ（ｔ＋ｈ・ｈｓ）
【００５５】
更に、Ｓ１８において、〔数式５〕に基づきVolを算出する代わりに、同様にｈ＝０，．．．，Ｈ−１としてＨ種類のVol（ｈ）を以下〔数式５’〕に基づき算出する。ｈｓは同様に適当な正の整数で本実施形態ではｈｓ＝２である。
【００５６】
〔数式５’〕
Vol（ｈ）＝Σt=0,…,T-1｛Σn=0,…,31Ｐｎ（ｔ＋ｈ・ｈｓ）｝
【００５７】
以上の処理から、Ｚ個の部分区間の各々が１５秒の長さをもつと仮定すると、部分特徴ワードは、各々３０×Ｈ個（本実施形態ではＨ＝５）生成されることになる。
【００５８】
ある原音響データについて、登録特徴ワード群と、各部分区間の部分特徴ワード群が得られたら、次に、登録特徴ワード群と、各部分区間の部分特徴ワード群を用いて、その原音響データについての最適判定しきい値を算出する。この最適判定しきい値算出処理を、図４〜図６のフローチャートを用いて説明する。
【００５９】
図４〜図６においては、各変数を以下のように定義する。
[登録特徴ワード]
Ｙ：原音響データについて登録されている登録特徴ワード数
Ｆｄ（ｙ）：特徴パターン配列（ｙ＝０，・・・，Ｙ−１）、３２ビット
Ｖｄ（ｙ）：音量データ配列（ｙ＝０，・・・，Ｙ−１）、８ビット
[部分特徴ワード]
Ｚ：原音響データに設定される部分区間数
Ｘ（ｚ、ｈ）：部分区間ｚ（ｚ＝０，・・・，Ｚ−１）およびずらし（位相）ｈ（ｈ＝０，・・・，Ｈ−１）における部分特徴ワード数
Ｆ（ｚ，ｈ，ｘ）：特徴パターン配列（ｘ＝０，・・・，Ｘ（ｚ、ｈ）−１）、３２ビット
Ｖ（ｚ，ｈ，ｘ）：音量データ配列（ｘ＝０，・・・，Ｘ（ｚ、ｈ）−１）、８ビット
[照合変数]
Ｗ：照合ワード数（ｗ＝０，・・・，Ｗ−１）、照合する登録特徴ワード、部分特徴ワードの数（例．Ｗ＝６）
Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）：特徴パターンのワード単位不一致ビット数（０以上３２以下）
Ｓ（ｙ，ｚ，ｈ，ｘ）：合算不一致ビット数、照合ワード数Ｗ個のワード単位不一致ビット数Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）を合算したもの（Σw=0,・・・W-1Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ））
【００６０】
図４は最適判定しきい値算出処理を示すフローチャートである。まず、初期設定を行う（Ｓ１１０）。具体的には、合算不一致ビット数の総和Ｓ＝０、部分区間を特定する変数ｚ＝０に設定する。
【００６１】
続いて、部分区間ｚから生成された部分特徴ワード群と、登録特徴ワード群との照合を行う（Ｓ１２０）。Ｓ１２０における照合の結果、部分区間ｚについて、最小不一致ビット数Ｓｍｉｎが得られる。このＳ１２０の処理については後述する。最小不一致ビット数Ｓｍｉｎが得られたら、Ｓｍｉｎが初期値Ｂｉｇ１より大きいかどうかを判断する（Ｓ１３０）。この初期値Ｂｉｇ１は、後述するＳ１２１において設定される値である。Ｓｍｉｎが初期値Ｂｉｇ１より小さい場合に限り、合算不一致ビット数の総和Ｓに加算する処理を行う（Ｓ１４０）。次に、部分区間を特定する変数ｚをインクリメント、すなわち１だけ増加する（Ｓ１５０）。そして、部分区間を特定する変数ｚが部分区間数Ｚに達したかどうかを判断し（Ｓ１６０）、達していない場合は、Ｓ１２０に戻って、次の部分区間ｚについて、照合処理を行う。各部分区間ｚについて処理を実行し、変数ｚが部分区間数Ｚに達したら、すなわちＺ個全ての部分区間に対する処理を終えたら、合算不一致ビット数の総和Ｓを、部分区間数Ｚで除算した値Ｓ／Ｚを最適判定しきい値Ｍとして出力する（Ｓ１７０）。
【００６２】
次に、図４のＳ１２０における区間ｚの照合処理の詳細について図５のフローチャートを用いて説明する。まず、初期設定を行う（Ｓ１２１）。具体的には、最小不一致ビット数Ｓｍｉｎ＝初期値Ｂｉｇ１、部分特徴ワードを特定する変数ｘ＝０、位相を特定する変数ｈ＝０、登録特徴ワードを特定する変数ｙ＝０に設定する。初期値Ｂｉｇ１は、最小不一致ビット数Ｓｍｉｎが取り得る値よりも十分に大きな値であれば良く、事前に設定されることになる。続いて、合算不一致ビット数Ｓ（ｙ，ｚ，ｈ，ｘ）の算出を行う（Ｓ１２２）。合算不一致ビット数Ｓ（ｙ，ｚ，ｈ，ｘ）については後述するようにエラー値が出力される場合もあるため、合算不一致ビット数Ｓ（ｙ，ｚ，ｈ，ｘ）が正常値として得られたら、最小不一致ビット数Ｓｍｉｎより小さいかどうかを判断する（Ｓ１２３）。Ｓ（ｙ，ｚ，ｈ，ｘ）がＳｍｉｎより小さい場合に限り、Ｓ（ｙ，ｚ，ｈ，ｘ）の値をＳｍｉｎにセットする処理を行う（Ｓ１２４）。そして、変数ｘをインクリメントして、Ｓ１２２〜Ｓ１２４の処理を繰り返し、さらに部分特徴ワードを特定する変数ｘが部分特徴ワード数Ｘ（ｚ，ｈ）に達したら、ｘ＝０として位相を特定する変数ｈをインクリメントして、Ｓ１２２〜Ｓ１２４の処理を繰り返し、ｈがＨに達したら、ｈ＝ｘ＝０としてｙをインクリメントして、Ｓ１２２〜Ｓ１２４の処理を繰り返す。すなわち、まず、位相ｈを固定して部分特徴ワードと登録特徴ワードの比較を行い、全ての部分特徴ワードに対して処理を終えたら、位相を変更し、次の位相について処理を行う。このようにして、全ての位相について処理を実行する。
【００６３】
そして、ｙが全登録特徴ワード数Ｙに達したかどうかを判断し（Ｓ１２５）、達していない場合は、Ｓ１２２に戻って、次の登録特徴ワードｙについて、最小不一致ビット数Ｓｍｉｎの算出処理を行う。各登録特徴ワードｙについて処理を実行し、変数ｙが全登録特徴ワード数Ｙに達したら、すなわちＹ個全ての登録特徴ワードに対する処理を終えたら、その時点における合算不一致ビット数Ｓ（ｙ，ｚ，ｈ，ｘ）の最小値Ｓｍｉｎを、部分区間ｚにおける最小不一致ビット数Ｓｍｉｎとして出力する。この最小不一致ビット数Ｓｍｉｎが図４のＳ１２０において得られることになる。
【００６４】
次に、図５のＳ１２２における合算不一致ビット数Ｓ（ｙ，ｚ，ｈ，ｘ）の算出処理の詳細について図６のフローチャートを用いて説明する。本装置では、照合の際、照合ワード数であるＷ個の連続する特徴ワード同士の照合を行う。すなわち、連続するＷ個の登録特徴ワードと連続するＷ個の部分特徴ワードをそれぞれ先頭から順に照合していく。図６においては、まず、初期設定を行う（Ｓ１８１）。具体的には、合算不一致ビット数Ｓ（ｙ，ｚ，ｈ，ｘ）＝０、特徴ワードの照合個数を示す変数ｗ＝０に設定する。初期設定後、登録特徴ワードの音量データＶｄ（ｙ＋ｗ）、部分特徴ワードの音量データＶ（ｚ，ｈ，ｘ＋ｗ）がともに０より大きいという条件を満たすかどうかを判断する（Ｓ１８２）。登録特徴ワードの音量データＶｄ（ｙ＋ｗ）、部分特徴ワードの音量データＶ（ｚ，ｈ，ｘ＋ｗ）は、それぞれ原音響データ全体、部分音響データに対して〔数式５〕および〔数式５’〕に従った処理を実行し、“Vol”および“Vol(h)”として算出されたものである。Ｓ１８２における判断の結果、登録特徴ワードの音量データＶｄ（ｙ＋ｗ）、部分特徴ワードの音量データＶ（ｚ，ｈ，ｘ＋ｗ）がともに０より大きいという条件を満たす場合に限り、登録特徴ワード１つと部分特徴ワード１つを比較した場合の、不一致ビット数であるワード単位不一致ビット数Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）を算出する（Ｓ１８３）。
【００６５】
次に、ワード単位不一致ビット数Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）が所定値Ｍｗ以下であるかどうかを判断する（Ｓ１８４）。Ｓ１８４における判断の結果、ワード単位不一致ビット数Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）が所定値Ｍｗ以下である場合に限り、ワード単位不一致ビット数Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）を合算不一致ビット数Ｓ（ｙ，ｚ，ｈ，ｘ）に加算する処理を行う（Ｓ１８５）。Ｓ１８５においては、特徴ワードの照合個数を示す変数ｗをインクリメントし、照合する特徴ワードｗを次の特徴ワードｗに変更する処理も行う。そして、特徴ワードの照合個数を示す変数ｗが所定数Ｗに達したかどうかを判断し（Ｓ１８６）、達していない場合は、Ｓ１８２に戻って、次の特徴ワードについて処理を行う。各特徴ワードについて処理を実行し、変数ｗが所定数Ｗに達したら、その時点における合算不一致ビット数Ｓ（ｙ，ｚ，ｈ，ｘ）を、あるｘ，ｈ，ｙについての合算不一致ビット数Ｓ（ｙ，ｚ，ｈ，ｘ）として出力する。この合算不一致ビット数Ｓ（ｙ，ｚ，ｈ，ｘ）が図５のＳ１２２において得られることになる。なお、Ｓ１８２、Ｓ１８４において条件を満たさないと判断された場合には、合算不一致ビット数の算出エラー値（負値）が出力される。
【００６６】
（１．２．ワード単位不一致ビット数の算出）
図６のＳ１８３におけるワード単位不一致ビット数Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）の算出について説明する。ワード単位不一致ビット数Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）の算出については、利用者により設定される音量判定モードにより具体的な処理内容が異なる。音量判定モードとしては、Ｏｆｆ、Ｗｅｉｇｈｔ、Ｍａｔｃｈ、Ｂｏｔｈの４つが存在する。
【００６７】
（１．２．１．音量判定モード“Ｏｆｆ”）
音量判定モード“Ｏｆｆ”は重みを付加しないモードであり、音量判定モード“Ｏｆｆ”が設定されている場合、ワード単位不一致ビット数Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）は、そのままワード単位の相違の程度を示すワード単位相違度Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）となる。音量判定モード“Ｏｆｆ”の場合、ワード単位不一致ビット数Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）＝０として初期値を設定した後、Ｆｄ（ｙ＋ｗ）とＦ（ｚ，ｈ，ｘ＋ｗ）の３２ビットを対応するビット単位に順次比較し、ビットが異なるごとに、Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）に１加算していく。すなわち、Ｆｄ（ｙ＋ｗ）とＦ（ｚ，ｈ，ｘ＋ｗ）のワード単位に排他的論理和を演算し、得られた３２ビットワード中の“１”であるビットの個数をカウントする。登録特徴ワード群、部分特徴ワード群のいずれにおいても、特徴ワードの特徴パターンは同様の規則で作成され、低周波成分をＬＳＢ、高周波成分をＭＳＢとした３２ビットの構成であるので、照合はこれらの各ビット値が一致するかどうかにより行うことができる。
【００６８】
（１．２．２．音量判定モード“Ｗｅｉｇｈｔ”）
音量判定モード“Ｗｅｉｇｈｔ”は重みを付加するモードであり、音量判定モード“Ｗｅｉｇｈｔ” が設定されている場合、ワード単位不一致ビット数Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）＝０として初期値を設定した後、Ｆｄ（ｙ＋ｗ）とＦ（ｚ，ｈ，ｘ＋ｗ）の３２ビットを対応するビット単位に順次比較する。比較の結果に基づき、以下の〔数式６〕に従った処理を実行して、Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）の値を定める。この結果、Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）はワード単位不一致ビット数ではなく、音量データを加味したワード単位の相違の程度を示すワード単位相違度となる。このモードは、同一音響データから生成される登録特徴ワードと部分特徴ワードとの照合においては意味をもたないが、後述する登録特徴ワードと検索特徴ワードとの照合の際、後者の元となる検索音響データがアナログ変換などの信号処理を伴っていて、原音響データと音量の相対変化と音量の絶対値の双方が異なる場合に適切な照合結果を与える。
【００６９】
〔数式６〕
Ｆｄ（ｙ＋ｗ）側がビット１で、Ｆ（ｚ，ｈ，ｘ＋ｗ）側がビット０の場合、
Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）←Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）＋Ｖｄ（ｙ＋ｗ）・２／｛Ｖｄ（ｙ＋ｗ）＋Ｖ（ｚ，ｈ，ｘ＋ｗ）｝
Ｆｄ（ｙ＋ｗ）側がビット０で、Ｆ（ｚ，ｈ，ｘ＋ｗ）側がビット１の場合、
Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）←Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）＋Ｖ（ｚ，ｈ，ｘ＋ｗ）・２／｛Ｖｄ（ｙ＋ｗ）＋Ｖ（ｚ，ｈ，ｘ＋ｗ）｝
【００７０】
（１．２．３．音量判定モード“Ｍａｔｃｈ”）
音量判定モード“Ｍａｔｃｈ”が設定されている場合、まず、音量判定モード“Ｏｆｆ”の場合の処理を行って、Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）を得る。そして、以下の〔数式７〕に従った処理を実行することにより、重みを乗算してＤ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）の値を定める。この結果、Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）はワード単位不一致ビット数ではなく、音量データの変動パターンの相違分を加味したワード単位の相違の程度を示すワード単位相違度となる。このモードは、同一音響データから生成される登録特徴ワードと部分特徴ワードとの照合においては意味をもたないが、後述する登録特徴ワードと検索特徴ワードとの照合の際、後者の元となる検索音響データが各種データ圧縮などの信号処理を伴っていて、原音響データと音量の相対変化にはあまり相違がないが、絶対値が異なる場合に適切な照合結果を与える。本実施形態では本モードが最も推奨される。
【００７１】
〔数式７〕
Ｖｄ（ｙ＋ｗ）・Ｖｄ（ｙ＋ｗ−１）＞Ｖ（ｚ，ｈ，ｘ＋ｗ）・Ｖ（ｚ，ｈ，ｘ＋ｗ−１）の場合、
Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）←Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）・Ｖｄ（ｙ＋ｗ）・Ｖｄ（ｙ＋ｗ−１）／｛Ｖ（ｚ，ｈ，ｘ＋ｗ）・Ｖ（ｚ，ｈ，ｘ＋ｗ−１）｝
Ｖｄ（ｙ＋ｗ）・Ｖｄ（ｙ＋ｗ−１）＜Ｖ（ｚ，ｈ，ｘ＋ｗ）・Ｖ（ｚ，ｈ，ｘ＋ｗ−１）の場合、
Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）←Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）・Ｖ（ｚ，ｈ，ｘ＋ｗ）・Ｖ（ｚ，ｈ，ｘ＋ｗ−１）／｛Ｖｄ（ｙ＋ｗ）・Ｖｄ（ｙ＋ｗ−１）｝
【００７２】
なお、ｗ＝０の場合、上記〔数式７〕において、Ｖｄ（ｙ＋ｗ−１）＝Ｖｄ（ｙ＋ｗ）およびＶ（ｚ，ｈ，ｘ＋ｗ−１）＝Ｖ（ｚ，ｈ，ｘ＋ｗ）とする。
【００７３】
（１．２．４．音量判定モード“Ｂｏｔｈ”）
音量判定モード“Ｂｏｔｈ”が設定されている場合、まず、音量判定モード“Ｗｅｉｇｈｔ”の場合の処理を行って、Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）を得る。そして、以下の〔数式８〕に従った処理を実行することにより、重みを乗算してＤ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）の値を定める。この結果、Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）はワード単位不一致ビット数ではなく、音量データを加味したワード単位の相違の程度を示すワード単位相違度となる。このモードは、同一音響データから生成される登録特徴ワードと部分特徴ワードとの照合においては意味をもたないが、後述する登録特徴ワードと検索特徴ワードとの照合の際、後者の元となる検索音響データが波形歪みを伴う高い圧縮率のデータ圧縮やアナログ変換などの信号処理を伴っていて、原音響データと音量の相対変化と音量の絶対値の双方が顕著に異なる場合に適切な照合結果を与える。
【００７４】
〔数式８〕
Ｖｄ（ｙ＋ｗ）・Ｖ（ｚ，ｈ，ｘ＋ｗ−１）＞Ｖ（ｚ，ｈ，ｘ＋ｗ）・Ｖｄ（ｙ＋ｗ−１）の場合、
Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）←Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）・Ｖｄ（ｙ＋ｗ）・Ｖ（ｚ，ｈ，ｘ＋ｗ−１）／｛Ｖ（ｚ，ｈ，ｘ＋ｗ）・Ｖｄ（ｙ＋ｗ−１）｝
Ｖｄ（ｙ＋ｗ）・Ｖ（ｚ，ｈ，ｘ＋ｗ−１）＜Ｖ（ｚ，ｈ，ｘ＋ｗ）・Ｖｄ（ｙ＋ｗ−１）の場合、
Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）←Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）・Ｖ（ｚ，ｈ，ｘ＋ｗ）・Ｖｄ（ｙ＋ｗ−１）／｛Ｖｄ（ｙ＋ｗ）・Ｖ（ｚ，ｈ，ｘ＋ｗ−１）｝
【００７５】
なお、ｗ＝０の場合、上記〔数式８〕において、Ｖｄ（ｙ＋ｗ−１）＝Ｖｄ（ｙ＋ｗ）およびＶ（ｚ，ｈ，ｘ＋ｗ−１）＝Ｖ（ｚ，ｈ，ｘ＋ｗ）とする。
【００７６】
音量判定モード“Ｏｆｆ”以外の場合、Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）はワード単位不一致ビット数ではなく、音量データを加味したワード単位の相違の程度を示すワード単位相違度となるため、図５、図６におけるＳ（ｙ，ｚ，ｈ，ｘ）は合算不一致ビット数ではなく、合算相違度を表すことになる。また、図４、図５におけるＳｍｉｎは最小不一致ビット数ではなく、最小相違度を表すことになる。
【００７７】
結局、図４のＳ１７０において最適判定しきい値Ｍ（＝Ｓ／Ｚ）が算出されるので、各原音響データについて、その原音響データについての関連情報、当該原音響データを一意に識別できるように定義されたＩＤ、登録特徴ワード、最適判定しきい値とを対応付けて音響データベース５０に登録する。関連情報としては、当該原音響データに関連する情報であれば、どのようなものでも良いが、例えば、当該原音響データが楽曲であれば、曲名や演奏者名、当該原音響データがＣＭ音声であれば、そのスポンサー企業の名前やＵＲＬ等を用いることができる。ただし、当該原音響データの制作・マスタリングに使用した一連のバイナリ形式の素材データ（ミックスダウンする前の個別の録音データ、ＭＩＤＩ打ち込みデータ）等は著作権法上の制約により通常対象外とする。
【００７８】
（２．関連情報検索装置）
次に、本発明に係る音響データの関連情報検索装置（以下「関連情報検索装置」という。）について説明する。図７は、本発明に係る関連情報検索装置の構成図である。図７において、５０は音響データベース、６０は特徴ワード生成手段、７０は特徴ワード照合手段、８０は情報出力手段である。関連情報検索装置は、利用者が保有している検索音響データを用いて、音響データベースに登録されている原音響データに関する関連情報を検索音響データに関連する関連情報として検索するものである。検索音響データとは、検索に用いる音響データである。検索の際、検索音響データから生成した特徴ワードである検索特徴ワードと、あらかじめ音響データベース５０に登録されている登録特徴ワードの照合を行う必要がある。そのため、検索特徴ワードと登録特徴ワードは基本的に同一の構造である必要があるが（なお、前者の検索特徴ワード群は前述の部分特徴ワード群と同様に位相を変化させた複数の特徴ワード群のセットが生成される）、その基になる検索音響データと原音響データは種々の符号化形式で圧縮され、入手形態により互いに異なる符号化形式になるのが一般的であるため、同一の符号化形式になるように変換する必要がある。本実施形態では、検索音響データも原音響データも同じ仕様（サンプリング周波数:44.1kHz、量子化ビット数:16bits、チャンネル数:1・モノラルといったＰＣＭ形式のパラメータ）のＰＣＭ形式になるように変換し統一させるようにしている。
【００７９】
検索特徴ワード生成手段６０は、図１に示した登録特徴ワード生成手段１０と同様、読み込んだ音響フレームを利用して、周波数解析を行い、その検索音響データの特徴を表現した特徴ワードを生成する機能を有している。ただし、前述した部分特徴ワードの生成と同様に、位相をずらした複数（Ｈ個）の特徴ワード群のセットを生成するようにしている。特徴ワード照合手段７０は、生成した検索特徴ワードと、音響データベース５０に登録されている登録特徴ワードとの照合を行う機能を有している。情報出力手段８０は、特徴ワード照合手段７０による照合の結果、検索音響データの特徴に類似する原音響データについての関連情報を、音響データベース５０から抽出して出力する機能を有している。図７に示した各構成手段は、現実には演算処理装置を備えた機器に専用のプログラムを搭載することにより実現される。好ましい例としては、音響データベースが稼動されているサーバーコンピュータとネットワークで接続されている高性能な演算処理機能を備えているパーソナルコンピュータが、専用のプログラムに従って各手段の内容を実行する場合が挙げられる。
【００８０】
続いて、図７に示した装置の処理動作について説明する。まず、利用者が保有している検索音響データを検索したいと思った場合、関連情報検索装置に対して起動の指示を行い、起動後、検索対象とする検索音響データを指定する。これは、所定のコンピュータ画面上のボタンを操作し、関連情報検索装置の記憶領域内に保存されている検索音響データを指定することにより実行できる。現実には、検索音響データは、ＭＰ３等の圧縮形式であることが多いため、ＰＣＭ形式に変換した後、処理を行う。指示が入力されると、特徴ワード生成手段６０が、指定された検索音響データから、それぞれ所定数のサンプルを１音響フレームとして読み込む。この処理は、関連情報登録装置が行ったのと同様に行われる。すなわち、１音響フレームのサンプル数は、サンプリング周波数が４４．１ｋＨｚの場合、４０９６サンプルとする。また、音響フレームは、２０４８サンプルを重複させて読み込むことにしている。
【００８１】
ここから検索特徴ワードの生成までの処理は、図８のフローチャートに従ったものとなる。図８のフローチャートは、登録特徴ワード生成についての図２のフローチャートとほぼ同様のものとなっている。検索特徴ワード生成手段６０は、読み込んだ各音響フレームに対して、周波数変換を行って、その音響フレームのスペクトルであるフレームスペクトルを得る（Ｓ２１）。関連情報登録装置と同様、周波数変換としては、フーリエ変換、ウェーブレット変換その他公知の種々の手法を用いることができるが、関連情報登録装置の処理と合わせる必要があるため、本実施形態では、フーリエ変換を用いる。
【００８２】
さらに、Ｓ２２〜Ｓ２８において、上記〔数式２〕〜上記〔数式４’〕に従った処理を行ってＳｎ（ｈ）を得た後、３２ビットの特徴パターンを生成するとともに、上記〔数式５’〕に従った処理を行って８ビットの音量データVol(h)を生成して、４０ビットの特徴ワードを得る。すなわち、関連情報検索装置では、関連情報登録装置に比べてＨ倍（本願実施例では、Ｈ＝５）の特徴ワードを生成する。検索対象とする検索音響データは、楽曲の一部が切り取られたものであるため、必ずしも、データベースに登録された登録音響データとのタイミングが一致するものではなく、位置ずれが生じることがある。関連情報登録装置において生成した手法でも、１１個の音響フレームを平均化して生成しているため、比較的位置ずれには強い。しかし、リズム変化が激しい検索音響データの場合、特徴ワードの生成単位である１１音響フレームの、ほぼ半分である５音響フレーム程度ずれると、顕著に異なる特徴ワードが生成され、誤った情報が検索されてしまう。そのため、１解析単位である１１音響フレームの範囲内で２音響フレームずつ遅らせて（位相を変更して）複数の検索特徴ワードを生成して、音響データベース５０内の登録特徴ワードと照合するようにする。
【００８３】
具体的には、関連情報登録装置では、フレーム１〜フレーム１１までで１つの特徴ワードを生成するが、関連情報検索装置では、フレーム１〜フレーム１１で特徴ワードを生成するとともに、２音響フレーム分、４音響フレーム分、６音響フレーム分、８音響フレーム分ずらした（位相を変更した）音響フレーム群からも特徴ワードを生成する。すなわち、フレーム３〜フレーム１３、フレーム５〜フレーム１５、フレーム７〜フレーム１７、フレーム９〜フレーム１９においても特徴ワードを生成する。
【００８４】
検索の目的とする検索音響データについて、検索特徴ワード群が得られたら、次に、特徴ワード照合手段７０が、検索特徴ワード群を用いて、音響データベース５０に登録された原音響データの関連情報を検索する。具体的には、検索特徴ワード群と、音響データベース５０に登録された登録特徴ワード群との比較を行い、所定の条件を満たすレコードを抽出する。この検索処理を、図９〜図１１のフローチャートを用いて説明する。
【００８５】
図９〜図１１においては、各変数を以下のように定義する。
[登録特徴ワード]
Ｒ：レコード件数（音響データベース５０が管理する原音響データの数）
Ｙ（ｒ）：レコードｒ(ｒ＝０，・・・，Ｒ−１)の登録特徴ワード数
Ｆｄ（ｒ，ｙ）：レコードｒ(ｒ＝０，・・・，Ｒ−１)の特徴パターン配列（ｙ＝０，・・・，Ｙ−１）、３２ビット
Ｖｄ（ｒ，ｙ）：レコードｒ(ｒ＝０，・・・，Ｒ−１)の音量データ配列（ｙ＝０，・・・，Ｙ−１）、８ビット
[検索特徴ワード] 
Ｘ（ｈ）：ずらし（位相）ｈ（ｈ＝０，・・・，Ｈ−１）における検索特徴ワード数
Ｆ（ｈ，ｘ）：特徴パターン配列（ｘ＝０，・・・，Ｘ（ｈ）−１）、３２ビット
Ｖ（ｈ，ｘ）：音量データ配列（ｘ＝０，・・・，Ｘ（ｈ）−１）、８ビット
[照合変数]
Ｗ：照合ワード数（ｗ＝０，・・・，Ｗ−１）、照合する登録特徴ワード、部分特徴ワードの数（例．Ｗ＝６）
Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）：特徴パターンのワード単位不一致ビット数（０以上３２以下）
Ｓ（ｒ，ｙ，ｈ，ｘ）：合算不一致ビット数、照合ワード数Ｗ個のワード単位不一致ビット数Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）を合算したもの（Σw=0,…,W-1Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ））
【００８６】
図９は、特徴ワード照合手段７０による検索特徴ワード群を用いた音響データ検索のフローチャートである。まず、初期設定を行う（Ｓ２１０）。具体的には、適合テーブルＳｍｉｎ（ｃ）＝初期値Ｂｉｇ２、適合テーブルＲｍｉｎ（ｃ）＝−１、適合件数ｃ＝０、レコード番号ｒ＝０に設定する。初期値Ｂｉｇ２は、最小不一致ビット数として取り得る値よりも十分に大きな値であれば良く、事前に設定されることになる。続いて、レコードｒに対応付けて登録された登録特徴ワード群と、検索特徴ワード群との照合を行う（Ｓ２２０）。Ｓ２２０における照合の結果、所定の条件を満たすレコードについては、Ｒｍｉｎ（ｃ）にそのレコード番号ｒが与えられて出力される。このＳ２２０の処理については後述する。
【００８７】
Ｒｍｉｎ（ｃ）が得られたら、Ｒｍｉｎ（ｃ）が０以上かどうかを判断する特（Ｓ２３０）。Ｒｍｉｎ（ｃ）が０以上の場合、レコードが適合したと判断して、適合件数ｃに１加算する処理を行う（Ｓ２４０）。Ｒｍｉｎ（ｃ）が０未満の場合、レコードが適合しなかったと判断して、適合件数ｃの加算は行わない。詳しくは後述するが、Ｓ２２０において、Ｒｍｉｎ（ｃ）に０未満の値を初期値として設定しておき、レコードが適合すると判断された場合に０以上の値であるレコード番号ｒをＲｍｉｎ（ｃ）に与える。このため、Ｓ２４０においては、Ｒｍｉｎ（ｃ）が０以上かどうかを判断することによりレコードの適合を判断するのである。
【００８８】
次に、レコードを特定する変数ｒをインクリメント、すなわち１だけ増加する（Ｓ２５０）。そして、レコードを特定する変数ｒが音響データベース内の総レコード数Ｒに達したかどうかを判断し（Ｓ２６０）、達していない場合は、Ｓ２２０に戻って、次のレコードｒについて照合処理を行う。各レコードｒについて処理を実行し、レコードｒが総レコード数Ｒに達したら、すなわちＲ個全ての総レコードに対する処理を終えたら、適合テーブルＲｍｉｎ（ｃ）を、適合テーブルＳｍｉｎ（ｃ）の値に基づいて昇順ソートし、適合件数ｃとともに一覧出力する（Ｓ２７０）。
【００８９】
次に、図９のＳ２２０におけるレコードｒの照合処理の詳細について図１０のフローチャートを用いて説明する。まず、初期設定を行う（Ｓ２２１）。具体的には、適合テーブルＳｍｉｎ（ｃ）＝初期値Ｂｉｇ２、適合テーブルＲｍｉｎ（ｃ）＝−１、検索特徴ワードを特定する変数ｘ＝０、位相を特定する変数ｈ＝０、登録特徴ワードを特定する変数ｙ＝０に設定する。続いて、合算不一致ビット数Ｓ（ｒ，ｙ，ｈ，ｘ）の算出を行う（Ｓ２２２）。合算不一致ビット数Ｓ（ｒ，ｙ，ｈ，ｘ）が得られたら、レコードｒに対応付けて登録された最適判定しきい値Ｍを音響データベース５０から抽出して、合算不一致ビット数Ｓ（ｒ，ｙ，ｈ，ｘ）が、最適判定しきい値Ｍ以下であるかどうかを判断する（Ｓ２２３）。合算不一致ビット数Ｓ（ｒ，ｙ，ｈ，ｘ）が最適判定しきい値Ｍ以下である場合、合算不一致ビット数Ｓ（ｒ，ｙ，ｈ，ｘ）が、合算不一致ビット数最小値Ｓｍｉｎより小さいかどうかを判断する（Ｓ２２４）。
【００９０】
合算不一致ビット数Ｓ（ｒ，ｙ，ｈ，ｘ）が合算不一致ビット数最小値Ｓｍｉｎより小さい場合に限り、ｒの値を適合テーブルＲｍｉｎ（ｃ）にセットし、Ｓ（ｒ，ｙ，ｈ，ｘ）の値を適合テーブルＳｍｉｎ（ｃ）にセットする処理を行う（Ｓ２２５）。次に、変数ｘをインクリメントして、Ｓ２２２〜Ｓ２２５の処理を繰り返し、さらにｘがＸ（ｈ）になったら、ｘ＝０としてｈをインクリメントして、Ｓ２２２〜Ｓ２２５の処理を繰り返し、Ｘ（ｈ）がＨになったら、ｈ＝ｘ＝０としてｙをインクリメントして、Ｓ２２２〜Ｓ２２５の処理を繰り返す（Ｓ２２６）。
【００９１】
そして、ｙがレコードｒの全登録特徴ワード数Ｙ（ｒ）に達したかどうかを判断し（Ｓ２２７）、達していない場合は、Ｓ２２２に戻って、次の登録特徴ワードｙについて、合算不一致ビット数最小値Ｓｍｉｎの算出処理を行う。各登録特徴ワードｙについて処理を実行し、変数ｙがレコードｒの全登録特徴ワード数Ｙ（ｒ）に達したら、すなわちＹ（ｒ）個全ての登録特徴ワードに対する処理を終えたら、その時点における適合テーブルＲｍｉｎ（ｃ）、適合テーブルＳｍｉｎ（ｃ）を出力する。この適合テーブルＲｍｉｎ（ｃ）、適合テーブルＳｍｉｎ（ｃ）が図９のＳ２２０において得られることになる。
【００９２】
次に、図１０のＳ２２２における合算不一致ビット数Ｓ（ｒ，ｙ，ｈ，ｘ）の算出処理の詳細について図１１のフローチャートを用いて説明する。まず、初期設定を行う（Ｓ２８１）。具体的には、合算不一致ビット数Ｓ（ｒ，ｙ，ｈ，ｘ）＝０、特徴ワードの照合個数を示す変数ｗ＝０に設定する。初期設定後、登録特徴ワードの音量データＶｄ（ｒ，ｙ＋ｗ）、検索特徴ワードの音量データＶ（ｈ，ｘ＋ｗ）がともに０より大きいという条件を満たすかどうかを判断する（Ｓ２８２）。登録特徴ワードの音量データＶｄ（ｒ，ｙ＋ｗ）、検索特徴ワードの音量データＶ（ｈ，ｘ＋ｗ）は、それぞれ原音響データ全体、検索音響データに対して〔数式５〕および〔数式５’〕に従った処理を実行し、“Vol”および“Vol(h)”として算出されたものである。Ｓ２８２における判断の結果、登録特徴ワードの音量データＶｄ（ｒ，ｙ＋ｗ）、検索特徴ワードの音量データＶ（ｚ，ｈ，ｘ＋ｗ）がともに０より大きいという条件を満たす場合に限り、登録特徴ワード１つと検索特徴ワード１つを比較した場合の、不一致ビット数であるワード単位不一致ビット数Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）を算出する（Ｓ２８３）。
【００９３】
次に、ワード単位不一致ビット数Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）が所定値Ｍｗ以下であるかどうかを判断する（Ｓ２８４）。Ｓ２８４における判断の結果、ワード単位不一致ビット数Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）が所定値Ｍｗ以下である場合に限り、ワード単位不一致ビット数Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）を合算不一致ビット数Ｓ（ｒ，ｙ，ｈ，ｘ）に加算する処理を行う（Ｓ２８５）。Ｓ２８５においては、特徴ワードの照合個数を示す変数ｗをインクリメントする処理も行う。そして、特徴ワードの照合個数を示す変数ｗが所定数Ｗに達したかどうかを判断し（Ｓ２８６）、達していない場合は、Ｓ２８２に戻って、次の特徴ワードについて処理を行う。各特徴ワードについて処理を実行し、変数ｗが所定数Ｗに達したら、その時点における合算不一致ビット数Ｓ（ｒ，ｙ，ｈ，ｘ）を、あるｘ，ｈ，ｙについての合算不一致ビット数Ｓ（ｒ，ｙ，ｈ，ｘ）として出力する。この合算不一致ビット数Ｓ（ｒ，ｙ，ｈ，ｘ）が図１０のＳ２２２において得られることになる。なお、Ｓ２８２、Ｓ２８４において条件を満たさないと判断された場合には、合算不一致ビット数の算出エラーが出力される。
【００９４】
（２．２．ワード単位不一致ビット数の算出）
図１１のＳ２８３におけるワード単位不一致ビット数Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）の算出について説明する。ワード単位不一致ビット数Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）の算出については、利用者により設定される音量判定モードにより具体的な処理内容が異なる。音量判定モードとしては、Ｏｆｆ、Ｗｅｉｇｈｔ、Ｍａｔｃｈ、Ｂｏｔｈの４つが存在する。
【００９５】
（２．２．１．音量判定モード“Ｏｆｆ”）
音量判定モード“Ｏｆｆ”は重みを付加しないモードであり、音量判定モード“Ｏｆｆ”が設定されている場合、ワード単位不一致ビット数Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）は、そのままワード単位の相違の程度を示すワード単位相違度Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）となる。音量判定モード“Ｏｆｆ”の場合、ワード単位不一致ビット数Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）＝０として初期値を設定した後、Ｆｄ（ｒ，ｙ＋ｗ）とＦ（ｈ，ｘ＋ｗ）の３２ビットを対応するビット単位に順次比較し、ビットが異なるごとに、Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）に１加算していく。登録特徴ワード群、検索特徴ワード群のいずれにおいても、特徴ワードの特徴パターンは同様の規則で作成され、低周波成分をＬＳＢ、高周波成分をＭＳＢとした３２ビットの構成であるので、照合はこれらの各ビット値が一致するかどうかにより行うことができる。
【００９６】
（２．２．２．音量判定モード“Ｗｅｉｇｈｔ”）
音量判定モード“Ｗｅｉｇｈｔ”は重みを付加するモードであり、音量判定モード“Ｗｅｉｇｈｔ” が設定されている場合、ワード単位不一致ビット数Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）＝０として初期値を設定した後、Ｆｄ（ｒ，ｙ＋ｗ）とＦ（ｈ，ｘ＋ｗ）の３２ビットを対応するビット単位に順次比較する。比較の結果に基づき、以下の〔数式９〕に従った処理を実行して、Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）の値を定める。この結果、Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）はワード単位不一致ビット数ではなく、音量データを加味したワード単位の相違の程度を示すワード単位相違度となる。このモードは、同一原音響データから生成される登録特徴ワードと部分特徴ワードとの照合においては意味をもたないが、登録特徴ワードと検索特徴ワードとの照合の際、後者の元となる検索音響データがアナログ変換などの信号処理を伴っていて、原音響データと音量の相対変化と音量の絶対値の双方が異なる場合に適切な照合結果を与える。
【００９７】
〔数式９〕
Ｆｄ（ｒ，ｙ＋ｗ）側がビット１で、Ｆ（ｈ，ｘ＋ｗ）側がビット０の場合、
Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）←Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）＋Ｖｄ（ｒ，ｙ＋ｗ）・２／｛Ｖｄ（ｒ，ｙ＋ｗ）＋Ｖ（ｈ，ｘ＋ｗ）｝
Ｆｄ（ｒ，ｙ＋ｗ）側がビット０で、Ｆ（ｈ，ｘ＋ｗ）側がビット１の場合、
Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）←Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）＋Ｖ（ｈ，ｘ＋ｗ）・２／｛Ｖｄ（ｒ，ｙ＋ｗ）＋Ｖ（ｈ，ｘ＋ｗ）｝
【００９８】
（２．２．３．音量判定モード“Ｍａｔｃｈ”）
音量判定モード“Ｍａｔｃｈ”が設定されている場合、まず、音量判定モード“Ｏｆｆ”の場合の処理を行って、Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）を得る。そして、以下の〔数式１０〕に従った処理を実行することにより、重みを乗算してＤ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）の値を定める。この結果、Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）はワード単位不一致ビット数ではなく、音量データの変動パターンの相違分を加味したワード単位の相違の程度を示すワード単位相違度となる。このモードは、同一原音響データから生成される登録特徴ワードと部分特徴ワードとの照合においては意味をもたないが、登録特徴ワードと検索特徴ワードとの照合の際、後者の元となる検索音響データが各種データ圧縮などの信号処理を伴っていて、原音響データと音量の相対変化にはあまり相違がないが、絶対値が異なる場合に適切な照合結果を与える。本実施形態では本モードが最も推奨される。
【００９９】
〔数式１０〕
Ｖｄ（ｒ，ｙ＋ｗ）・Ｖｄ（ｒ，ｙ＋ｗ−１）＞Ｖ（ｈ，ｘ＋ｗ）・Ｖ（ｈ，ｘ＋ｗ−１）の場合、
Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）←Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）・Ｖｄ（ｒ，ｙ＋ｗ）・Ｖｄ（ｒ，ｙ＋ｗ−１）／｛Ｖ（ｈ，ｘ＋ｗ）・Ｖ（ｈ，ｘ＋ｗ−１）｝
Ｖｄ（ｒ，ｙ＋ｗ）・Ｖｄ（ｒ，ｙ＋ｗ−１）＜Ｖ（ｈ，ｘ＋ｗ）・Ｖ（ｈ，ｘ＋ｗ−１）の場合、
Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）←Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）・Ｖ（ｈ，ｘ＋ｗ）・Ｖ（ｈ，ｘ＋ｗ−１）／｛Ｖｄ（ｒ，ｙ＋ｗ）・Ｖｄ（ｒ，ｙ＋ｗ−１）｝
【０１００】
なお、ｗ＝０の場合、上記〔数式１０〕において、Ｖｄ（ｒ，ｙ＋ｗ−１）＝Ｖｄ（ｒ，ｙ＋ｗ）およびＶ（ｈ，ｘ＋ｗ−１）＝Ｖ（ｈ，ｘ＋ｗ）とする。
【０１０１】
（２．２．４．音量判定モード“Ｂｏｔｈ”）
音量判定モード“Ｂｏｔｈ”が設定されている場合、まず、音量判定モード“Ｗｅｉｇｈｔ”の場合の処理を行って、Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）を得る。そして、以下の〔数式１１〕に従った処理を実行することにより、重みを乗算してＤ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）の値を定める。この結果、Ｄ（ｙ＋ｗ，ｚ，ｈ，ｘ＋ｗ）はワード単位不一致ビット数ではなく、音量データを加味したワード単位の相違の程度を示すワード単位相違度となる。このモードは、同一原音響データから生成される登録特徴ワードと部分特徴ワードとの照合においては意味をもたないが、登録特徴ワードと検索特徴ワードとの照合の際、後者の元となる検索音響データが波形歪みを伴う高い圧縮率のデータ圧縮やアナログ変換などの信号処理を伴っていて、原音響データと音量の相対変化と音量の絶対値の双方が顕著に異なる場合に適切な照合結果を与える。
【０１０２】
〔数式１１〕
Ｖｄ（ｒ，ｙ＋ｗ）・Ｖ（ｈ，ｘ＋ｗ−１）＞Ｖ（ｈ，ｘ＋ｗ）・Ｖｄ（ｒ，ｙ＋ｗ−１）の場合、
Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）←Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）・Ｖｄ（ｒ，ｙ＋ｗ）・Ｖ（ｈ，ｘ＋ｗ−１）／｛Ｖ（ｈ，ｘ＋ｗ）・Ｖｄ（ｒ，ｙ＋ｗ−１）｝
Ｖｄ（ｒ，ｙ＋ｗ）・Ｖ（ｈ，ｘ＋ｗ−１）＜Ｖ（ｈ，ｘ＋ｗ）・Ｖｄ（ｒ，ｙ＋ｗ−１）の場合、
Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）←Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）・Ｖ（ｈ，ｘ＋ｗ）・Ｖｄ（ｒ，ｙ＋ｗ−１）／｛Ｖｄ（ｒ，ｙ＋ｗ）・Ｖ（ｈ，ｘ＋ｗ−１）｝
【０１０３】
なお、ｗ＝０の場合、上記〔数式１１〕において、Ｖｄ（ｒ，ｙ＋ｗ−１）＝Ｖｄ（ｒ，ｙ＋ｗ）およびＶ（ｈ，ｘ＋ｗ−１）＝Ｖ（ｈ，ｘ＋ｗ）とする。
【０１０４】
音量判定モード“Ｏｆｆ”以外の場合、Ｄ（ｒ，ｙ＋ｗ，ｈ，ｘ＋ｗ）はワード単位不一致ビット数ではなく、音量データを加味したワード単位の相違の程度を示すワード単位相違度となるため、図１０、図１１におけるＳ（ｒ，ｙ，ｈ，ｘ）は合算不一致ビット数ではなく、合算相違度を表すことになる。また、図９、図１０におけるＳｍｉｎは最小不一致ビット数ではなく、最小相違度を表すことになる。
【０１０５】
結局、図９のＳ３７０において適合テーブルＲｍｉｎ（ｃ）が、適合テーブルＳｍｉｎ（ｃ）の値に基づいて昇順ソートされ、適合件数ｃとともに一覧出力されるので、これが検索音響データを用いて検索された検索結果となる。出力された一覧の中から１つが選択された場合には、情報出力手段８０は、そのレコードを音響データベース５０から抽出する。その際、原音響データの取得指示が行われると、情報出力手段８０は、レコードに記録されたファイル名から記憶装置内に格納されている当該原音響データに関連する関連情報や当該原音響データを特定するＩＤを出力する。
【０１０６】
（３．変形例１：複数のデータベース）
次に、本発明に係る関連情報登録装置および関連情報検索装置の変形例について説明する。上記実施形態では、全ての原音響データに関連する情報を１つの音響データベースに登録し、登録された各原音響データごとに最適判定しきい値を算出し、検索時には、この最適判定しきい値を用いて該当・非該当の判断を行うようにした。以下では、複数の分割音響データベースを用意しておき、最適判定しきい値に応じて、各原音響データに関連する情報を複数の分割音響データベースのいずれかに分散させて登録し、検索時には、複数の分割音響データベースのうち、最適判定しきい値に対応した分割音響データベースにアクセスして、検索を行うようにした変形例について説明する。
【０１０７】
図１２は、複数の分割音響データベースに原音響データに関連する関連情報を登録する変形例における関連情報登録装置の構成を示す図である。図１２において、１１は登録特徴ワード生成手段、２１は部分特徴ワード生成手段、３１は判定しきい値算出手段、４１は登録手段、５１ａ、５１ｂ、５１ｃは分割音響データベースである。
【０１０８】
登録特徴ワード生成手段１１、部分特徴ワード生成手段２１、判定しきい値算出手段３１は、図１に示した登録特徴ワード生成手段１０、部分特徴ワード生成手段２０、判定しきい値算出手段３０と同一の機能を有する。登録手段４１は、登録特徴ワードと最適判定しきい値を、元の原音響データに関連する関連情報、および原音響データを特定するためのＩＤと対応付けて音響データベースに登録する機能を有する点において、図１に示した登録手段４０と同一であるが、最適判定しきい値に応じて登録する分割音響データベースを区別している点で異なる。分割音響データベース５１ａ、５１ｂ、５１ｃは、登録特徴ワードと、最適判定しきい値を原音響データに関連する関連情報、および原音響データを特定するためのＩＤと対応付けて記憶する点で図１に示した音響データベース５０と同一であるが、登録されている最適判定しきい値の範囲（上限および下限）により区別されている点で異なる。最適判定しきい値の範囲については、適宜設定することができるが、登録済みの件数を参照し、できるだけ登録件数が均等になるように適宜変更することが可能である。
【０１０９】
図１２に示した関連情報登録装置の具体的な処理動作としては、まず、図１に示した関連情報登録装置と同様にして、登録特徴ワード生成手段１１、部分特徴ワード生成手段２１、判定しきい値算出手段３１により最適判定しきい値を算出する。最適判定しきい値が算出されたら、登録手段４１は、算出された最適判定しきい値を、各分割音響データベースごとに設定されている最適判定しきい値の上限および下限と比較し、該当する分割音響データベースに、最適判定しきい値、登録特徴ワード、関連情報を登録する。
【０１１０】
次に、本発明に係る関連情報検索装置の変形例について説明する。図１３は、複数の音響データベースから検索音響データの関連情報を検索する変形例における関連情報検索装置の構成を示す図である。図１３において、５１ａ、５１ｂ、５１ｃは分割音響データベース、６１は検索特徴ワード生成手段、７１ａ、７１ｂ、７１ｃは分割音響データベース５１ａ、５１ｂ、５１ｃに対応する特徴ワード照合手段、８１は情報出力手段である。
【０１１１】
検索特徴ワード生成手段６１、情報出力手段８１は、図７に示した検索特徴ワード生成手段６０、情報出力手段８０と同一の機能を有する。特徴ワード照合手段７１ａ、７１ｂ、７１ｃの各々は、生成された検索特徴ワードと、音響データベースに登録された登録特徴ワードの照合を行う点で特徴ワード照合手段７０と同一であるが、複数ある分割音響データベースのそれぞれについて専用に並列して照合処理を行えるようにしている点で異なる。
【０１１２】
図１３に示した関連情報検索装置の具体的な処理動作としては、まず、図７に示した関連情報検索装置と同様にして、検索特徴ワード生成手段６１が検索音響データから検索特徴ワードを生成する。検索特徴ワードが生成されたら、特徴ワード照合手段７１ａ〜７１ｃの各々が対応する分割音響データベース５１ａ〜５１ｃに対し独立してアクセスして、同時に検索処理を行う。具体的には、検索特徴ワード群と、音響データベース５１ａ〜５１ｃに登録された登録特徴ワード群との比較を行い、所定の条件を満たすレコードを抽出する。各音響データベースに対する検索処理は、特徴ワード照合手段７０と同様、図９〜図１１に示したような手順で行われる。
【０１１３】
図１３に示した処理はコンピュータによる並列処理に適した構成になっており、コンピュータプログラムで実現する場合は次のような並列処理で実現することが推奨される。構成音響データベース５１ａ〜５１ｃを独立したＨＤＤや半導体メモリなどの記憶装置に実装し、特徴ワード照合手段７１ａ〜７１ｃについては同一のプログラムを複数の独立したＣＰＵで並列実行できるようにマルチコアＣＰＵまたはＰＣクラスター型のコンピュータに実装する。そうすると、データベースが分散される数に比例して検索処理を高速化できる。一方、登録時においては、分散された分割音響データベースの１つだけを更新すればよいため、登録処理の負荷も併せて軽減されるというメリットがある。
【０１１４】
各音響データベース５１ａ〜５１ｃから検索結果が得られたら、特徴ワード照合手段７１ａ〜７１ｃは個別に情報出力手段８１に渡し、情報出力手段８１は各特徴ワード照合手段７１ａ〜７１ｃから渡されたＳｍｉｎ（ｃ）とＲｍｉｎ（ｃ）の配列を１つに統合させ、統合させたＳｍｉｎ（ｃ）の値に基づいて昇順ソートを行い、統合させた適合件数ｃと統合させた適合テーブルＲｍｉｎ（ｃ）を一覧出力する。
【０１１５】
（４．変形例２：一括登録および一括検索）
本発明に係る関連情報登録装置では、１つの原音響データを登録するだけでなく、１つのフォルダに複数の原音響データが収納されている場合、指定されたフォルダに収納されている全ての原音響データについて、一括して登録する構成としても良い。このような構成とした場合、記憶装置内の１つのフォルダが指定されると、そのフォルダ内の原音響データが順次図１に示した登録特徴ワード生成手段１０、部分特徴ワード生成手段２０に読み込まれ、判定しきい値算出手段３０、登録手段４０により処理されて、音響データベース５０に登録される。その際、各原音響データごとに登録される関連情報としてファイル名を使用することができ、また、ファイル名が楽曲を特定するＩＤで構成されていれば、それをもとに別途定義した関連情報データベースを自動的に検索し、関連情報を登録させるようにしてもよい。関連情報データベースとは、楽曲の曲名・アーチスト名などメタデータだけを楽曲ごとにユニークな識別番号を定義して保管しているもので、音響データや特徴ワードなどのバイナリデータは保管されていない。例えば、国内で代表的な関連情報データベースとしては、社団法人・日本音楽著作権協会が公開しているJASRAC-JWIDなどを使用することができる。図１２に示した複数の分割音響データベースに登録する場合においても、同様に指定されたフォルダに収納されている全ての原音響データに対して順次処理が行われ、登録が行われる。
【０１１６】
本発明に係る関連情報検索装置では、１つの検索音響データについて検索するだけでなく、１つのフォルダに複数の検索音響データが収納されている場合、指定されたフォルダに収納されている全ての検索音響データを一括して検索する構成としても良い。このような構成とした場合、記憶装置内の１つのフォルダが指定されると、そのフォルダ内の検索音響データが順次図７に示した検索特徴ワード生成手段６０に読み込まれ、特徴ワード照合手段７０、情報出力手段８０により処理されて、関連情報が検索結果として出力される。図１３に示した複数の分割音響データベースに対して検索を行う場合においても、同様に指定されたフォルダに収納されている全ての検索音響データに対して順次処理が行われ、各検索音響データについての検索結果が出力される。図７、図１３のいずれにおいても、情報出力手段は、検索結果をログファイルに記録する。
【０１１７】
このように、一括登録、一括検索を行うことにより、大量の音響データに対して個別に実行指示を行う必要がなく、１つのフォルダに対して実行指示を行うだけで、全ての登録、検索を行うことが可能となる。
【０１１８】
（５．変形例３：二重登録防止）
本発明に係る関連情報登録装置では、指定された原音響データについて、無条件に登録するのではなく、既に登録されている原音響データと同一であると判断される場合には、同一楽曲の二重登録を防止する構成としても良い。図１４は、二重登録を防止する変形例における関連情報登録装置の構成を示す図である。図１４の関連情報登録装置は、図１に示した関連情報登録装置に、特徴ワード照合手段７２を付加した構成となっており、図１に示した関連情報登録装置と同一符号を付した構成要件は、図１に示したものと同一の機能を有する。
【０１１９】
図１４の関連情報登録装置では、部分特徴ワード生成手段２０が部分特徴ワードを生成した後、その部分特徴ワードを用いて、特徴ワード照合手段７２が音響データベース５０の検索を行う。特徴ワード照合手段７２による検索の具体的手順については、図７の特徴ワード照合手段７０、図１３の特徴ワード照合手段７１と同一である。検索の結果、該当するレコードが存在した場合には、関連情報登録装置は、登録処理を中止し、後段の登録特徴ワード生成手段１０、判定しきい値算出手段３０および登録手段４０に対して処理中止の制御を行う。
【０１２０】
このように、原音響データから部分特徴ワードを生成した後、実際に最適判定しきい値を算出して登録処理を行う前に、生成した部分特徴ワードを用いて音響データベースを検索するようにしたので、二重登録を防止することが可能となる。
【０１２１】
（６．変形例４：検索時に該当がない場合の追加登録）
本発明に係る関連情報検索装置は、検索の結果、該当がなかった場合に、検索に用いた音響データを登録する構成としても良い。図１５は、このような追加登録を行う変形例における関連情報検索装置の構成を示す図である。図１５の関連情報検索装置は、図７に示した関連情報検索装置に、登録特徴ワード生成手段１０、部分特徴ワード生成手段２０、判定しきい値算出手段３０、登録手段４０を付加した構成となっており、基本的には、図７の関連情報検索装置と、図１の関連情報登録装置を統合したものとなっている。
【０１２２】
図１５の関連情報検索装置では、図７の関連情報検索装置と同様に、検索特徴ワード生成手段６０が検索特徴ワードを作成した後、特徴ワード照合手段７０が、生成された検索特徴ワードと、音響データベース５０に登録されている登録特徴ワードとの照合を行う。この結果、該当するレコードが１つも無かった場合に、情報出力手段８０が、該当するレコードが存在せず、追加登録を実行する旨を出力する。登録特徴ワード生成手段１０、部分特徴ワード生成手段２０、判定しきい値算出手段３０、登録手段４０を起動し、登録特徴ワード生成手段１０が、検索対象とした原音響データから登録特徴ワードを生成するとともに、部分特徴ワード生成手段２０が部分特徴ワードを生成する。そして、図１に示した関連情報登録装置と同様に、判定しきい値算出手段３０が最適判定しきい値を算出して、登録手段４０が、検索対象とした音響データに関連する関連情報、ＩＤと、最適判定しきい値、登録特徴ワードを対応付けて音響データベース５０に登録する。なお、特徴ワード照合手段７０による照合の結果、１件でも該当するレコードがあった場合には、図７の関連情報検索装置と同様に、情報出力手段８０が、ヒットしたレコードの情報を出力し、登録特徴ワード生成手段１０、部分特徴ワード生成手段２０、判定しきい値算出手段３０、登録手段４０に対してはアクションを起こさない。
【０１２３】
以上、本発明の好適な実施形態について説明したが、本発明は、上記実施形態に限定されず種々の変形が可能である。例えば、上記実施形態では、関連情報登録装置において、複数の部分区間から複数の部分音響データを抽出し、各部分音響データから部分特徴ワード群を生成するようにしたが、部分区間を１つだけ設定し、部分音響データを１つだけ抽出し、１つの部分特徴ワード群を生成するようにしても良い。
【０１２４】
また、上記実施形態では、音量判定モードとして４つのモードを選択可能としたが、上記４つのモードのうち、２つまたは３つのモードが選択可能に設定されていても良いし、１つのモードが固定的に設定されていても良い。
【産業上の利用可能性】
【０１２５】
本発明は、ＣＤ・ＤＶＤ等を用いた民生・業務用途における鑑賞用のパッケージ音楽分野、放送事業者等が商業目的で配信する放送・ネットワーク音楽配信分野における音楽著作権の保護（不正コピーの監視）および音楽属性情報の提供（楽曲タイトル検索サービス）等の産業に利用可能である。
【符号の説明】
【０１２６】
１０、１１・・・登録特徴ワード生成手段
２０、２１・・・部分特徴ワード生成手段
３０、３１・・・判定しきい値算出手段
４０、４１・・・登録手段
５０・・・音響データベース
５１ａ〜５１ｃ・・・分割音響データベース
６０、６１・・・検索特徴ワード生成手段
７０、７１ａ〜７１ｃ、７２・・・特徴ワード照合手段
８０、８１・・・情報出力手段
【図１】
0005454161.tif 000002
【図２】
0005454161.tif 000003
【図３】
0005454161.tif 000004
【図４】
0005454161.tif 000005
【図５】
0005454161.tif 000006
【図６】
0005454161.tif 000007
【図７】
0005454161.tif 000008
【図８】
0005454161.tif 000009
【図９】
0005454161.tif 000010
【図１０】
0005454161.tif 000011
【図１１】
0005454161.tif 000012
【図１２】
0005454161.tif 000013
【図１３】
0005454161.tif 000014
【図１４】
0005454161.tif 000015
【図１５】
0005454161.tif 000016