(57)【特許請求の範囲】
【請求項１】
入力された音楽情報の指す曲名及び／又はその曲の属性情報を検索する音楽情報検索装置において、
入力された音楽情報から切り出される１つの音楽片について、所定の条件を満たす音楽片上の時間的位置として定義される特徴点を検出して、その特徴点を起点とする特徴量を生成する生成手段と、
検索対象となる楽曲の持つ上記特徴量を記憶する記憶手段と、
上記記憶手段の記憶データを検索することで、上記生成手段の生成した上記特徴量に類似する上記特徴量を持つ１つ又は複数の楽曲を検索する検索手段とを備えることを、
特徴とする音楽情報検索装置。
【請求項２】
入力された音楽情報の指す曲名及び／又はその曲の属性情報を検索する音楽情報検索装置において、
入力された音楽情報から切り出される複数の音楽片のそれぞれについて、所定の条件を満たす音楽片上の時間的位置として定義される特徴点を検出して、それらの特徴点を起点とする特徴量を生成する生成手段と、
検索対象となる楽曲の持つ上記特徴量を記憶する記憶手段と、
上記記憶手段の記憶データを検索することで、上記生成手段の生成した上記特徴量毎に、それに類似する上記特徴量を持つ複数の楽曲を検索する検索手段と、
上記検索手段の検索した楽曲の中から、入力された音楽情報の指す楽曲を特定する特定手段とを備えることを、
特徴とする音楽情報検索装置。
【請求項３】
請求項２に記載の音楽情報検索装置において、
上記特定手段は、上記検索手段の検索した楽曲の持つ類似度をＯＲ演算することで、入力された音楽情報の指す楽曲を特定することを、
特徴とする音楽情報検索装置。
【請求項４】
請求項１ないし３のいずれか１項に記載の音楽情報検索装置において、
入力された音楽情報を規定の音符形態に変換する変換手段を備え、
上記生成手段は、上記変換手段の変換した音楽情報から切り出される音楽片を処理対象として特徴量を生成することを、
特徴とする音楽情報検索装置。
【請求項５】
請求項１ないし３のいずれか１項に記載の音楽情報検索装置において、
上記生成手段は、音楽片の規定の時間的位置に位置する規定長さの区間部分を特徴点の検出に用いる区間として特徴点を検出することを、
特徴とする音楽情報検索装置。
【請求項６】
請求項５に記載の音楽情報検索装置において、
上記生成手段は、特徴点に課される音の高さ又は長さについての条件を充足する音位置を検出することで、上記区間に含まれる特徴点を検出することを、
特徴とする音楽情報検索装置。
【請求項７】
請求項１ないし３のいずれか１項に記載の音楽情報検索装置において、
上記生成手段は、特徴点を起点とする規定長さの音楽片部分から特徴量を生成することを、
特徴とする音楽情報検索装置。
【請求項８】
請求項１ないし３のいずれか１項に記載の音楽情報検索装置において、
上記生成手段は、特徴点を起点とし音楽片終端を終点とする音楽片部分から特徴量を生成することを、
特徴とする音楽情報検索装置。
【請求項９】
請求項１ないし８のいずれか１項に記載の音楽情報検索装置において、
上記生成手段は、上記生成した特徴量を別の表現形式に変換することで、その特徴量に加えて、それ以外の特徴量を生成することを、
特徴とする音楽情報検索装置。
【請求項１０】
入力された音楽情報の指す曲名及び／又はその曲の属性情報を検索する音楽情報検索方法において、
入力された音楽情報から切り出される１つの音楽片について、所定の条件を満たす音楽片上の時間的位置として定義される特徴点を検出して、その特徴点を起点とする特徴量を生成する過程と、
検索対象となる楽曲の持つ上記特徴量を記憶する記憶手段の記憶データを検索することで、上記生成した上記特徴量に類似する上記特徴量を持つ１つ又は複数の楽曲を検索する過程とを備えることを、
特徴とする音楽情報検索方法。
【請求項１１】
入力された音楽情報の指す曲名及び／又はその曲の属性情報を検索する音楽情報検索方法において、
入力された音楽情報から切り出される複数の音楽片のそれぞれについて、所定の条件を満たす音楽片上の時間的位置として定義される特徴点を検出して、それらの特徴点を起点とする特徴量を生成する過程と、
検索対象となる楽曲の持つ上記特徴量を記憶する記憶手段の記憶データを検索することで、上記生成した上記特徴量毎に、それに類似する上記特徴量を持つ複数の楽曲を検索する過程と、
上記検索した楽曲の中から、入力された音楽情報の指す楽曲を特定する過程とを備えることを、
特徴とする音楽情報検索方法。
【請求項１２】
入力された音楽情報の指す曲名及び／又はその曲の属性情報を検索する音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
入力された音楽情報から切り出される１つの音楽片について、所定の条件を満たす音楽片上の時間的位置として定義される特徴点を検出して、その特徴点を起点とする特徴量を生成する処理と、
検索対象となる楽曲の持つ上記特徴量を記憶する記憶手段の記憶データを検索することで、上記生成した上記特徴量に類似する上記特徴量を持つ１つ又は複数の楽曲を検索する処理とをコンピュータに実行させる音楽情報検索用プログラムを記録したことを、
特徴とする音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１３】
入力された音楽情報の指す曲名及び／又はその曲の属性情報を検索する音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体であって、
入力された音楽情報から切り出される複数の音楽片のそれぞれについて、所定の条件を満たす音楽片上の時間的位置として定義される特徴点を検出して、それらの特徴点を起点とする特徴量を生成する処理と、
検索対象となる楽曲の持つ上記特徴量を記憶する記憶手段の記憶データを検索することで、上記生成した上記特徴量毎に、それに類似する上記特徴量を持つ複数の楽曲を検索する処理と、
上記検索した楽曲の中から、入力された音楽情報の指す楽曲を特定する処理とをコンピュータに実行させる音楽情報検索用プログラムを記録したことを、
特徴とする音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、音楽情報の持つ特徴量を用いて音楽情報を検索する音楽情報検索装置及びその方法と、その音楽情報検索方法の実現に用いられる音楽情報検索用プログラムを記録したコンピュータ読み取り可能な記録媒体とに関する。
【０００２】
【従来の技術】
マルチメディア・データベースを構築するにあたって、類似検索は欠かせない技術である。
【０００３】
例えば、リンゴの写っている画像を探す場合、検索キーとして与えたリンゴの絵や写真とまったく同じリンゴが写っている画像を探したいという要求はめったにない。ほとんどが、単にリンゴが写っている画像が欲しいという要求であり、このような場合には、「検索キーとして与えたリンゴの画像に似ている画像を探す」といった、類似検索技術が必要である。
【０００４】
このような内容検索の新たなメディアへの対応として、ハミングや口ずさんだメロディなどを使って、音楽情報データベースから曲名や歌手を検索する技術の研究が盛んに行われている。
【０００５】
このようなことを背景にして、本発明者らも、音楽から音の推移や音の分布に関する特徴量を抽出して、それを使って、音楽情報データベースを検索するシステムの研究（Ｎａｏｋｏ  Ｋｏｓｕｇｉ，Ｙｕｉｃｈｉ  Ｎｉｓｈｉｈａｒａ，Ｓｅｉｉｃｈｉ  Ｋｏｎ’ｙａ，Ｍａｓａｓｈｉ  Ｙａｍａｍｕｒｏ，ａｎｄ  Ｋａｚｕｈｉｋｏ  Ｋｕｓｈｉｍａ  ：  Ｍｕｓｉｃ  Ｒｅｔｒｉｅｖａｌ  ｂｙ  Ｈｕｍｍｉｎｇ−Ｕｓｉｎｇ  Ｓｉｍｉｌａｒｉｔｙ  Ｒｅｔｒｉｅｖａｌ  ｏｖｅｒ  Ｈｉｇｈ  Ｄｉｍｅｎｓｉｏｎａｌ  Ｆｅａｔｕｒｅ  Ｖｅｃｔｏｒ  Ｓｐａｃｅ−，  ＰＡＣＲＩＭ’９９  ｐ４０４−４０７）  を行っている。
【０００６】
この本発明者らが提案した音楽検索システムでは、人の歌唱を検索キーとして受け付けることで、曲の旋律の一部のみしか覚えていない人に、その曲の題名や歌手・演奏者などを捜し出すことができるようにすることを提供している。
【０００７】
人の歌唱によってその曲に関する情報を検索する場合、人は必ずしもサビや出たしを歌うとは限らない。そこで、本発明者らが提案した音楽検索システムでは、音楽データ（旋律データ）を細かく分割し、保持する音楽データの冗長性を増すことで、人が曲のどの部分を歌っても検索できるようにすることを実現している。
【０００８】
この構成の実現にあたって、本発明者らが提案した音楽検索システムでは、図２１に示すように、ある一定の区間ごとに音楽データを分割することで音楽片を切り出して、それらの音楽片毎に、音楽片の先頭を起点とする特徴量（特徴量ベクトル）を算出するという構成を採っている。
【０００９】
そして、そのようにして算出される特徴量を使って、音楽情報データベースを構築するとともに、そのようにして算出される特徴量を使って、人の歌唱の音楽データと音楽情報データベースに格納される音楽データとの類似度を評価するという構成を採っている。
【００１０】
このように、従来技術では、音楽片の先頭を起点として、音楽片全体から特徴量（特徴量ベクトル）を算出するという構成を採っている。
【００１１】
なお、この従来技術により算出される特徴量（特徴量ベクトル）を、音楽片全体から算出されることを考慮して、以下において「Ｅｎｔｉｒｅ  Ｆｅａｔｕｒｅ  Ｖｅｃｔｏｒ  」と称することがある。
【００１２】
【発明が解決しようとする課題】
しかしながら、このような従来技術に従っていると、検索者の歌唱部分と、分割された音楽データ（旋律データ）の先頭とが一致しない場合に、検索精度が著しく悪化するという問題点がある。
【００１３】
すなわち、従来技術では、音楽片の先頭を起点として、音楽片全体から特徴量を算出するという構成を採っていることから、検索者の歌唱部分と、分割された音楽データ（旋律データ）の先頭とが一致しない場合には、検索精度が著しく悪化するのである。
【００１４】
この問題点の解決を図るためには、音楽データをより細かく分割するという方法を用いることが考えられるが、この方法を用いると、データ量が爆発的に増大するという新たな問題点が出てくる。
【００１５】
本発明はかかる事情に鑑みてなされたものであって、人の歌唱によってその曲に関する情報を検索するシステムを構築する場合に、その検索精度の向上を実現可能にする新たな音楽情報検索技術の提供を目的とする。
【００２３】
【課題を解決するための手段】
この目的を達成するために、本発明の音楽情報検索装置は、入力された音楽情報から切り出される複数の音楽片のそれぞれについて、所定の条件を満たす音楽片上の時間的位置として定義される特徴点を検出して、それらの特徴点を起点とする特徴量を生成する生成手段と、検索対象となる楽曲の持つ特徴量（生成手段の生成対象となる特徴量）を記憶する記憶手段と、記憶手段の記憶データを検索することで、生成手段の生成した特徴量毎に、それに類似する特徴量を持つ複数の楽曲を検索する検索手段と、検索手段の検索した楽曲の中から、入力された音楽情報の指す楽曲を特定する特定手段とを備えるように構成する。
【００２４】
ここで、生成手段は、入力された音楽情報から切り出される１つの音楽片の持つ特徴点を検出して、その特徴点を起点とする特徴量を生成することがあり、このときには、特定手段については備えられずに、検索手段は、生成された特徴量に類似する特徴量を持つ１つ又は複数の楽曲を検索して、それを検索結果として出力することになる。
【００２５】
このように構成されるときにあって、入力された音楽情報を規定の音符形態に変換する変換手段（例えば、実験により検証された検索精度の向上を実現できる例えば８分音符といった規定の音符形態に変換する）を備えることがあり、この場合には、生成手段は、変換手段の変換した音楽情報から切り出される音楽片を処理対象として特徴量を生成する。
また、生成手段は、音楽片の規定の時間的位置に位置する規定長さの区間部分を特徴点の検出に用いる区間として特徴点を検出することがあり、このとき、生成手段は、特徴点に課される音の高さ又は長さについての条件を充足する音位置を検出することで、その区間に含まれる特徴点を検出することがある。
また、生成手段は、特徴点を起点とする規定長さの音楽片部分から特徴量を生成したり、特徴点を起点とし音楽片終端を終点とする音楽片部分から特徴量を生成する。
なお、本発明の音楽情報検索装置により算出される特徴量（特徴量ベクトル）を、音楽片の一部分から算出されることを考慮して、以下において「Partial Feature Vector」と称することがある。
このように構成される本発明の音楽情報検索装置では、生成手段は、入力された音楽情報から切り出される複数の音楽片の持つそれぞれの特徴点を検出して、それらの特徴点を起点とする特徴量を生成する。
【００２６】
この特徴量の生成を受けて、検索手段は、記憶手段の記憶データを検索することで、生成手段の生成した特徴量毎に、それに類似する特徴量を持つ複数の楽曲を検索し、これを受けて、特定手段は、例えば検索された楽曲の持つ類似度をＯＲ演算することで、入力された音楽情報の指す楽曲を特定する。
【００２７】
この構成を採るときにあって、検索精度の向上を図るために、生成手段は、例えば生成する時系列データ形式の特徴量を、例えばヒストグラム形式などのような別の表現形式に変換することで複数の特徴量を生成することがあり、これを受けて、データベース手段は、この表現形式の異なる複数の特徴量を管理することがある。
【００２８】
このようにして、本発明の音楽情報検索装置では、従来技術のように、音楽片全体から特徴量を算出するという構成を採るのではなくて、図１に示すように、音楽片の中に含まれる特徴点を検出する構成を採って、その特徴点を起点とするいわば音楽片の部分特徴量とも言うべき特徴量を算出するように処理する。
そして、本発明の音楽情報検索装置では、図２に示すように、検索対象となる楽曲を、それが持つそのような算出形態で算出される特徴量との対応をとりつつ管理する音楽情報データベースを構築するとともに、そのような算出形態に従って、入力された音楽情報の持つ特徴量を生成して、それを検索キーにして音楽情報データベースを検索することで、入力された音楽情報の指す楽曲を検索するように処理することから、入力された音楽情報を分割することで得た音楽片と音楽情報データベースに格納される分割された音楽片との先頭が一致しない場合にも、高い検索精度を実現できるようになる。
【００２９】
【発明の実施の形態】
以下、実施の形態に従って本発明を詳細に説明する。
【００３０】
図３に、本発明を具備する音楽情報検索装置１の一実施形態例を図示する。
【００３１】
本発明の音楽情報検索装置１は、人のハミングした曲に関する情報（曲名など）を検索する処理を行うものであって、この検索処理を実現するために、音楽情報データベース１０と、採譜部１１と、ノイズ除去部１２と、特徴量生成部１３と、検索部１４とを備える。
【００３２】
ここで、本発明の音楽情報検索装置１の備える採譜部１１やノイズ除去部１２や特徴量生成部１３や検索部１４は、具体的にはプログラムで実現されるものであり、これらのプログラムは、計算機が読み取り可能な半導体メモリなどの適当な記録媒体に格納することができる。
【００３３】
音楽情報データベース１０は、検索対象となる楽曲の音楽情報（曲名・旋律情報）と、その楽曲の持つ特徴量と、その楽曲の持つ属性情報（歌手・演奏者などの情報）とを管理する。この音楽情報データベース１０に管理される楽曲の持つ特徴量は、特徴量生成部１３により生成されて登録されるものである。
【００３４】
採譜部１１は、例えば市販の採譜ソフトにより構成されて、入力されたハミングの楽譜情報を作成する。
【００３５】
採譜部１１により作成される楽譜情報はＭＩＤＩ形式で作成されるものであって、楽譜情報を構成する相対時間にかかる情報と、その楽譜情報の演奏時間を構成する絶対時間にかかる情報とで構成されることになるが、採譜部１１は、音楽情報データベース１０の管理する特徴量（相対時間で記述されている）との時間の正規化を図るべく、この内の絶対時間に関係しない部分である楽譜情報部分をノイズ除去部１２に渡すように処理している。
【００３６】
ノイズ除去部１２は、採譜部１１から渡される音楽情報（楽譜情報）を入力として、中心となるメロディーラインを外れた音や、レコーディング開始のある区間内で、ある長さ以上の無音区間が継続するときには、その無音区間よりも前の音区間を削除することなどにより、入力するハミングに乗っているノイズを除去する処理を行う。例えば、図４に示すようなハミングを入力するときには、１番目と４番目と１４番目の音はノイズであるとして除去するように処理する。
【００３７】
特徴量生成部１３は、ノイズ除去部１２から渡される音楽情報を音楽片に分割する音楽情報分割部１３０と、分割された音楽片の持つ特徴量（旋律の特徴量）を算出する音楽特徴量算出部１３１と、算出された特徴量（旋律の特徴量）から音楽片の特徴点を選出するための区間を限定する特徴点選出区間限定部１３２と、限定された区間の中から特徴点を決定する特徴点決定部１３３と、決定された特徴点を起点とする特徴量を導出する特徴量導出部１３４とを備えることで、入力したハミングの持つ特徴量を生成して、それを検索部１４に渡す処理を実行する。
【００３８】
ここで、音楽特徴量算出部１３１の算出する音楽特徴量は旋律に１対１に対応付けられる特徴量であるのに対して、特徴量導出部１３４の導出する特徴量は本発明に特徴的な特徴量である。以下、説明の便宜上、特徴量導出部１３４の導出する特徴量を「特徴点起点音楽部分特徴ベクトル」と称することがある。
【００３９】
検索部１４は、特徴量生成部１３から渡されるハミングの持つ特徴量を検索キーにして音楽情報データベース１０を検索することで、入力したハミングの曲名などを検索する。
【００４０】
図５に、特徴量生成部１３の実行する処理フローの一実施形態例を図示する。次に、この処理フローに従って、特徴量生成部１３の実行する処理について説明する。
【００４１】
特徴量生成部１３は、ノイズ除去部１２からハミングの音楽情報が渡されることで起動されると、図５の処理フローに示すように、先ず最初に、ステップ１で、その音楽情報（検索対象となるもの）を入力する。
【００４２】
続いて、ステップ２で、その入力した音楽情報から、例えば、４拍ずつずらしながら１６拍の長さを持つ音楽片を切り出すことで、その入力した音楽情報を音楽片に分割する。この分割処理が音楽情報分割部１３０の処理に相当する。
【００４３】
続いて、ステップ３で、各音楽片の旋律の特徴量を算出する。例えば、図６に示すような音の高さを示すＭＩＤＩコードを使って音楽片の旋律の特徴量を算出する場合を具体例にして説明するならば、「６４，６４，６５，６５，６７，６７，６５，６５」という旋律の特徴量を算出したり、この６５をベーストーンとする「−１，−１，０，０，２，２，０，０」という旋律の特徴量を算出するのである。この算出処理が音楽特徴量算出部１３１の処理に相当する。
【００４４】
続いて、ステップ４で、生成した全ての音楽片を処理したのか否かを判断して、全ての音楽片を処理していないことを判断するときには、ステップ６に進んで、未処理の音楽片を１つ選択する。
【００４５】
続いて、ステップ７で、その選択した音楽片の持つ中央部分の区間を特徴点を選出するための区間として限定（抽出）する。例えば、１６拍の長さを持つ音楽片の中央の４拍を限定するのである。この限定処理が特徴点選出区間限定部１３２の処理に相当する。
【００４６】
続いて、ステップ８で、その限定した区間の中の最も高い音を特徴点として決定（選出）する。この決定処理が特徴点決定部１３３の処理に相当する。
【００４７】
続いて、ステップ９で、その決定した特徴点から音楽片の最後拍までをその音楽片の特徴量（特徴点起点音楽部分特徴ベクトル）として導出（生成）してから、次の音楽片を処理すべくステップ４に戻る。この導出処理が特徴量導出部１３４の処理に相当する。
【００４８】
そして、ステップ４で、生成した全ての音楽片を処理したことを判断するときには、ステップ５に進んで、生成した特徴量（音楽片毎に求まる）を検索部１４に渡して、処理を終了する。
【００４９】
このようにして、特徴量生成部１３は、図５の処理フローに従う場合には、入力した音楽情報から、４拍ずつずらしながら１６拍の長さを持つ音楽片を切り出して旋律の特徴量を算出すると、図７に示すように、先ず最初に、その音楽片の中央の４拍を限定し、続いて、その４拍の中の最も高い音を特徴点として決定し、続いて、その特徴点から最後拍までをその音楽片の特徴量（特徴点起点音楽部分特徴ベクトル）として導出するように処理するのである。
【００５０】
図８に、特徴量生成部１３の実行する処理フローの他の実施形態例を図示する。
【００５１】
特徴量生成部１３は、この処理フローに従う場合には、ノイズ除去部１２からハミングの音楽情報が渡されることで起動されると、先ず最初に、ステップ１で、その音楽情報を入力し、続くステップ２で、その入力した音楽情報から音楽片を切り出し、続くステップ３で、各音楽片の旋律の特徴量を算出する。
【００５２】
続いて、ステップ４で、生成した全ての音楽片を処理したのか否かを判断して、全ての音楽片を処理していないことを判断するときには、ステップ６に進んで、未処理の音楽片を１つ選択する。
【００５３】
続いて、ステップ７で、その選択した音楽片の持つ最初の４拍の区間を特徴点を選出するための区間として限定（抽出）し、続くステップ８で、最初の８拍内の最も長い音で、かつ鳴り出しがその限定した区間（最初の４拍）にある音を特徴点として決定（選出）し、続くステップ９で、その決定した特徴点から１２拍までをその音楽片の特徴量（特徴点起点音楽部分特徴ベクトル）として導出（生成）してから、次の音楽片を処理すべくステップ４に戻る。
【００５４】
そして、ステップ４で、生成した全ての音楽片を処理したことを判断するときには、ステップ５に進んで、生成した特徴量（音楽片毎に求まる）を検索部１４に渡して、処理を終了する。
【００５５】
このようにして、特徴量生成部１３は、図８の処理フローに従う場合には、入力した音楽情報から、４拍ずつずらしながら１６拍の長さを持つ音楽片を切り出して旋律の特徴量を算出すると、図９に示すように、先ず最初に、その音楽片の最初の４拍を限定し、続いて、最初の８拍内の最も長い音で、かつ鳴り出しがその最初の４拍にある音を特徴点として決定し、続いて、その特徴点から１２拍ををその音楽片の特徴量（特徴点起点音楽部分特徴ベクトル）として導出するように処理するのである。
【００５６】
このように、特徴量生成部１３は、従来技術のように、音楽片の全体から特徴量を算出するという構成を採るのではなくて、音楽片の中に含まれる特徴点を検出する構成を採って、その特徴点を起点とする特徴量（特徴点起点音楽部分特徴ベクトル）を導出するように処理している。
【００５７】
すなわち、図１０に示す音楽情報で説明するならば、１８番目の音符から切り出される音楽片について、従来技術では、その音楽片の先頭に位置する１８番目の音符を起点としつつ、その音楽片全体から「Ｅｎｔｉｒｅ  Ｆｅａｔｕｒｅ  Ｖｅｃｔｏｒ  」と表現すべき特徴量を生成するのに対して、特徴量生成部１３では、例えば、その音楽片の１９番目の音符を起点としつつ、その音楽片の一部分から「Ｐａｒｔｉａｌ  Ｆｅａｔｕｒｅ  Ｖｅｃｔｏｒ」と表現すべき特徴量を生成するのである。
【００５８】
図３では図示しなかったが、特徴点選出区間限定部１３２や特徴点決定部１３３や特徴量導出部１３４の実行する処理については、色々な処理を用意しておいて、その中から検索精度の向上を実現する最適なものを選択できるようにしておくことが望まれる。
【００５９】
このような要求に応えるために、図１１（ａ）に示すように、異なるアルゴリズムに従って特徴点の選出区間を限定する複数のルールを用意しておき、その中からユーザの設定するルールを呼び出していくことで特徴点の選出区間を限定したり、図１１（ｂ）に示すように、異なるアルゴリズムに従って特徴点を決定する複数のルールを用意しておき、その中からユーザの設定するルールを呼び出していくことで特徴点を決定したり、図１１（ｃ）に示すように、異なるアルゴリズムに従って特徴量（特徴点起点音楽部分特徴ベクトル）を導出する複数のルールを用意しておき、その中からユーザの設定するルールを呼び出していくことで特徴量を導出するという構成を用いることが好ましい。
【００６０】
また、特徴量生成部１３は、図７や図９に示したような音の高さを示すＭＩＤＩコードの時系列データで定義される図１２（ｂ）に示すような特徴点起点音楽部分特徴ベクトルを生成するときに、そのＭＩＤＩコードのヒストグラムで定義される図１２（ｂ）に示すような特徴点起点音楽部分特徴ベクトルを生成することがある。
【００６１】
後述するように、このような異なる表現形式を持つ複数の特徴点起点音楽部分特徴ベクトルを使って音楽情報データベース１０を検索すると、検索精度を向上できるようになることから、特徴量生成部１３は、図１２に示すように、時系列データで定義される特徴点起点音楽部分特徴ベクトルを生成するときに、それから、それとは表現形式の異なる別の特徴点起点音楽部分特徴ベクトルを生成するように処理することがあるのである。
【００６２】
図１３及び図１４に、検索部１４の実行する処理フローの一実施形態例を図示する。ここで、図１３は、特徴量生成部１３が１種類の特徴量を生成するときに検索部１４が実行することになる処理を図示しており、図１４は、特徴量生成部１３が異なる表現形式を持つ複数の特徴量を生成するときに検索部１４が実行することになる処理を図示している。
【００６３】
次に、これらの処理フローに従って、特徴量生成部１３の生成する特徴量（特徴点起点音楽部分特徴ベクトル）を使って実行される検索処理について説明する。
【００６４】
検索部１４は、図１３の処理フローに従う場合には、ハミングから切り出された複数の音楽片の特徴量を特徴量生成部１３から渡されることで起動されると、先ず最初に、ステップ１で、特徴量生成部１３からそれらの各音楽片の持つ１種類の特徴量を受け取る。
【００６５】
続いて、ステップ２で、全ての音楽片を選択したのか否かを判断して、未処理の音楽片が残されていることを判断するときには、ステップ３に進んで、未処理の音楽片を１つ選択する。
【００６６】
続いて、ステップ４で、その選択した音楽片の特徴量を処理対象として設定し、続くステップ５で、音楽情報データベース１０を検索することで、その処理対象の特徴量に類似する特徴量を持つ例えば上位２０曲を検索して、次の音楽片を処理すべくステップ２に戻る。
【００６７】
一方、ステップ２で、全ての音楽片を選択したことを判断するときには、ステップ６に進んで、その検索した楽曲の持つ類似度（例えば距離を使って類似度を評価するときには、距離値が小さい値ほど高い類似を示す）にＯＲ演算を施すことで、ハミングに類似する例えば上位１０曲を特定する。
【００６８】
例えば、図１５に示すように、音楽片１の特徴量から、距離０．９  の類似度を持つ楽曲Ｄ／距離１．５  の類似度を持つ楽曲Ｂ／距離１．８  の類似度を持つ楽曲Ｃ／距離５．８  の類似度を持つ楽曲Ａが検索され、音楽片２の特徴量から、距離０．３  の類似度を持つ楽曲Ａ／距離１．２  の類似度を持つ楽曲Ｂ／距離２．０  の類似度を持つ楽曲Ｃ／距離５．９  の類似度を持つ楽曲Ｄが検索され、音楽片３の特徴量から、距離１．０  の類似度を持つ楽曲Ｂ／距離１．２  の類似度を持つ楽曲Ｃ／距離１．５  の類似度を持つ楽曲Ｄ／距離６．０  の類似度を持つ楽曲Ａが検索される場合には、楽曲Ａの最小距離が０．３  で、楽曲Ｂの最小距離が１．０  で、楽曲Ｃの最小距離が１．２  で、楽曲Ｄの最小距離が０．９  であるので、ＯＲ演算に従って、ハミングに最も類似する楽曲してＡ、次に類似する楽曲としてＤ、その次に類似する楽曲としてＢ、その次に類似する楽曲としてＣを特定するのである。
【００６９】
そして、最後に、ステップ７で、その特定した例えば上位１０曲を検索結果として出力して、処理を終了する。
【００７０】
また、検索部１４は、図１４の処理フローに従う場合には、ハミングから切り出された複数の音楽片の特徴量を特徴量生成部１３から渡されることで起動されると、先ず最初に、ステップ１で、特徴量生成部１３からそれらの各音楽片の持つ複数種類の特徴量を受け取る。
【００７１】
続いて、ステップ２で、全ての音楽片を選択したのか否かを判断して、未処理の音楽片が残されていることを判断するときには、ステップ３に進んで、未処理の音楽片を１つ選択する。
【００７２】
続いて、ステップ４で、その選択した音楽片の持つ特徴量を全て処理したのか否かを判断して、未処理のものが残されていることを判断するときには、ステップ５に進んで、その選択した音楽片の持つ特徴量の中から未処理のものを選択して処理対象とし、続くステップ６で、音楽情報データベース１０を検索することで、その処理対象の特徴量に類似する特徴量を検索して、次の特徴量を処理すべくステップ４に戻る。
【００７３】
このようにして、ステップ４〜ステップ６の処理を繰り返していくことで、ステップ４で、選択した音楽片の持つ特徴量を全て処理したことを判断するときには、ステップ７に進んで、ステップ６で検索した特徴量の持つ類似度の重み付線形和を算出し、その中から例えば上位２０個の特徴量を特定して、その特徴量を持つ例えば上位２０曲を検索する。そして、次の音楽片を処理すべくステップ２に戻る。
【００７４】
一方、ステップ２で、全ての音楽片を選択したことを判断するときには、ステップ８に進んで、その検索した楽曲の持つ類似度に上述のＯＲ演算を施すことで、ハミングに類似する例えば上位１０曲を特定し、続くステップ９で、その特定した例えば上位１０曲を検索結果として出力して、処理を終了する。
【００７５】
このようにして、検索部１４は、特徴量生成部１３から、ハミングから切り出された複数の音楽片の特徴量が渡されると、それを検索キーにして音楽情報データベース１０を検索することで、ハミングに類似する例えば上位１０曲を得て、それを出力するように処理するのである。
【００７６】
図１３及び図１４の処理フローでは、特徴量生成部１３がハミングの中から複数の音楽片を切り出してその特徴量を生成し、それを検索部１４に渡す処理を行うことで説明したが、特徴量生成部１３がハミングの中から例えば真ん中に位置する１つの音楽片のみの特徴量を生成し、それを検索部１４に渡す処理を行うということもある。
【００７７】
このときには、検索部１４は、図１３の処理フローに代えて図１６（ａ）の処理フローを実行し、また、図１４の処理フローに代えて図１６（ｂ）の処理フローを実行することになる。このときには、図１５で説明したＯＲ演算は行われない。
【００７８】
次に、本発明の有効性を検証するために行った実験の結果について説明する。
【００７９】
この実験は、音楽情報データベース１０が約１０，０００件の楽曲についての情報を管理する構成を採るときにあって、２５人のユーザが自分の選んだ任意の合計１８６曲をハミングするときに、その検索結果となる１０位までの曲名を得て、その曲名をハミングした曲と照らし合わせることで行った。
【００８０】
ここで、特徴点起点音楽部分特徴ベクトルは、音楽片の最初の４拍を限定して、その４拍の中の最も高い音を特徴点として決定し、その特徴点から１２．５拍をを抽出することで得られるものを使った。
【００８１】
図１７に、本発明により得られる特徴点起点音楽部分特徴ベクトルを検索キーとする場合の実験結果と、従来技術により得られる「Ｅｎｔｉｒｅ  Ｆｅａｔｕｒｅ  Ｖｅｃｔｏｒ  」を検索キーとする場合の実験結果とを対比して示す。
【００８２】
この実験結果から分かるように、本発明により得られる特徴点起点音楽部分特徴ベクトルを検索キーとすると、ハミングした曲が１０位までに入る確率は約７５％であるのに対して、従来技術により得られる「Ｅｎｔｉｒｅ  Ｆｅａｔｕｒｅ  Ｖｅｃｔｏｒ  」を検索キーとすると、ハミングした曲が１０位までに入る確率は約６５％に止まり、これにより本発明の有効性を検証できた。
【００８３】
図１８に、ハミングから複数の音楽片を切り出して検索を行う場合の実験結果と、ハミングの真ん中に位置する１つの音楽片を切り出して検索を行う場合の実験結果とを対比して示す。前者の検索を行う場合には、図１５で説明したＯＲ演算を行うことで最終的な検索結果を得るように処理することになる。
【００８４】
この実験結果から分かるように、ハミングから複数の音楽片を切り出して検索を行う方が、１つの音楽片を切り出して検索を行うよりも検索精度を向上できることが検証できた。
【００８５】
図１９に、特徴点起点音楽部分特徴ベクトル（Ｐａｒｔｉａｌ  Ｔｏｎｅ  Ｔｒａｎｓｉｔｉｏｎ  Ｆｅａｔｕｒｅ  Ｖｅｃｔｏｒ）  を検索キーとする場合の実験結果と、特徴点起点音楽部分特徴ベクトルをヒストグラムの表現形式に変換した特徴ベクトル（Ｔｏｎｅ  Ｄｉｓｔｒｉｂｕｔｉｏｎ  Ｆｅａｔｕｒｅ  Ｖｅｃｔｏｒ）  を検索キーとする場合の実験結果と、その２つの特徴ベクトルを結合した形を検索キーとする場合の実験結果とを対比して示す。
【００８６】
この実験結果から分かるように、特徴点起点音楽部分特徴ベクトルとそれをヒストグラムの表現形式に変換した特徴ベクトルとの２つを検索キーとすると、特徴点起点音楽部分特徴ベクトルのみを検索キーとする場合よりも検索精度を向上できることが検証できた。
【００８７】
図２０に、音楽情報データベース１０の管理する特徴量を８分音符（ｑｕａｖｅｒ−ｎｏｔｅ）で記述する場合の実験結果と、４分音符（ｑｕａｔｅｒ−ｎｏｔｅ）で記述する場合の実験結果とを対比して示す。ここで、ハミングの音符形態と音楽情報データベースの音符形態とが異なる場合には、特徴量生成部１３は、ハミングの音符形態を音楽情報データベースの音符形態に変換してから、上述の処理を行う。
【００８８】
この実験結果から分かるように、本発明を８分音符の音符形態で実現する方が、４分音符の音符形態で実現するよりも検索精度を向上できることが検証できた。
【００８９】
これから、上述の実施形態例で説明しなかったが、音楽情報データベース１０の管理する特徴量を８分音符のような検索精度の向上を実現できる音符形態で構築するとともに、特徴量生成部１３がハミングの音符形態をその音楽情報データベース１０の音符形態に変換する機能を持つことが好ましい。
【００９０】
【発明の効果】
以上説明したように、本発明では、従来技術のように、音楽片全体から特徴量を算出するという構成を採るのではなくて、音楽片の中に含まれる特徴点を検出する構成を採って、その特徴点を起点とするいわば音楽片の部分特徴量とも言うべき特徴量を算出するように処理することから、入力された音楽情報に類似するものを音楽情報データベースから検索する場合に、入力された音楽情報を分割することで得た音楽片と音楽情報データベースに格納される分割された音楽片との先頭が一致しない場合にも、高い検索精度を実現できるようになる。
【図面の簡単な説明】
【図１】本発明の説明図である。
【図２】本発明の説明図である。
【図３】本発明の一実施形態例である。
【図４】ノイズ除去処理を説明するための楽譜の一例である。
【図５】特徴量生成部の実行する処理フローの一実施形態例である。
【図６】音楽片の旋律の特徴量の算出処理の説明図である。
【図７】特徴量生成部の実行する処理の説明図である。
【図８】特徴量生成部の実行する処理フローの他の実施形態例である。
【図９】特徴量生成部の実行する処理の説明図である。
【図１０】本発明を説明するための楽譜の一例である。
【図１１】特徴量生成部の構成例の説明図である。
【図１２】特徴量生成部の生成する特徴量の説明図である。
【図１３】検索部の実行する処理フローの一実施形態例である。
【図１４】検索部の実行する処理フローの一実施形態例である。
【図１５】検索結果を求めるためのＯＲ演算処理の説明図である。
【図１６】特徴量生成部の実行する処理フローの他の実施形態例である。
【図１７】本発明の有効性を検証するために行った実験結果の説明図である。
【図１８】本発明の有効性を検証するために行った実験結果の説明図である。
【図１９】本発明の有効性を検証するために行った実験結果の説明図である。
【図２０】本発明の有効性を検証するために行った実験結果の説明図である。
【図２１】従来技術の説明図である。
【符号の説明】
１      音楽情報検索装置
１０    音楽情報データベース
１１    採譜部
１２    ノイズ除去部
１３    特徴量生成部
１４    検索部
１３０  音楽情報分割部
１３１  音楽特徴量算出部
１３２  特徴点選出区間限定部
１３３  特徴点決定部
１３４  特徴量導出部
【図１】
0003612272.tif 000002
【図２】
0003612272.tif 000003
【図３】
0003612272.tif 000004
【図４】
0003612272.tif 000005
【図５】
0003612272.tif 000006
【図６】
0003612272.tif 000007
【図７】
0003612272.tif 000008
【図８】
0003612272.tif 000009
【図９】
0003612272.tif 000010
【図１０】
0003612272.tif 000011
【図１１】
0003612272.tif 000012
【図１２】
0003612272.tif 000013
【図１３】
0003612272.tif 000014
【図１４】
0003612272.tif 000015
【図１５】
0003612272.tif 000016
【図１６】
0003612272.tif 000017
【図１７】
0003612272.tif 000018
【図１８】
0003612272.tif 000019
【図１９】
0003612272.tif 000020
【図２０】
0003612272.tif 000021
【図２１】
0003612272.tif 000022