(57)【要約】【課題】  本発明は、高い分解能を実現することが可能な音楽内容検索を可能にする。【解決手段】  本発明は、曲データの一部が入力されると、該楽曲データの一部を複数の部分音楽データに分割し、該部分音楽データから複数のサブクエリを作成し、サブクエリをまとめて１つのクエリを作成し、該クエリで音楽データベースを検索し、検索結果を解析し、予め与えられている特徴が乏しい検索結果を排除し、残った検索結果を用いて作成したクエリを用いて音楽データベースの再検索を行った結果を整形加工して、最終検索結果として出力する。【選択図】  図１
2005258695.tif 000002
【特許請求の範囲】
【請求項１】
音楽データベースに格納されている音楽内容を検索する音楽内容検索装置であって、
楽曲データの一部が入力されると、該楽曲データの一部を複数の部分音楽データに分割し、該部分音楽データから複数のサブクエリを作成し、該複数のサブクエリを１つに纏めて１つのクエリを作成するサブクエリ作成手段と、
前記クエリで前記音楽データベースを検索する検索手段と、
前記検索手段で検索された検索結果を解析し、予め与えられている特徴が乏しい検索結果を排除し、残った検索結果を用いてクエリを生成する有効サブクエリ検出手段と、
前記有効サブクエリ検出手段で生成された前記クエリを用いて前記検索手段により前記音楽データベースの再検索を行った結果を整形加工して、最終検索結果として出力する最終結果整形・加工手段と、を有することを特徴とする音楽内容検索装置。
【請求項２】
前記サブクエリ作成手段は、
前記楽曲データの一部を複数の部分音楽データに分割する際に、一定間隔でずらしながら、一定の長さの部分的な音楽データを生成する手段を含む請求項１記載の音楽内容検索装置。
【請求項３】
音楽データベースに格納されている音楽内容を検索する音楽内容検索方法であって、
サブクエリ作成手段において楽曲データの一部が入力されると、該楽曲データの一部を複数の部分音楽データに分割し、該部分音楽データから複数のサブクエリを作成し、該複数のサブクエリを１つに纏めて１つのクエリを作成するするサブクエリ作成ステップと、
前記クエリで前記音楽データベースを検索する検索ステップと、
前記検索ステップで検索された検索結果を解析し、予め与えられている特徴が乏しい検索結果を排除し、残った検索結果を用いてクエリを生成する有効サブクエリ検出ステップと、
前記有効サブクエリ検出ステップで生成された前記クエリを用いて前記検索手段により前記音楽データベースの再検索を行った結果を整形加工して、最終検索結果として出力する最終結果整形・加工ステップと、を行うことを特徴とする音楽内容検索方法。
【請求項４】
前記サブクエリ作成ステップにおいて、
前記楽曲データの一部を複数の部分音楽データに分割する際に、一定間隔でずらしながら、一定の長さの部分的な音楽データを生成するステップを含む請求項３記載の音楽内容検索方法。
【請求項５】
音楽データベースに格納されている音楽内容を検索する音楽内容検索プログラムであって、
コンピュータに、
楽曲データの一部が入力されると、該楽曲データの一部を複数の部分音楽データに分割し、該部分音楽データから複数のサブクエリを作成し、該複数のサブクエリを１つに纏めて１つのクエリを作成するサブクエリ作成ステップと、
前記クエリで前記音楽データベースを検索する検索ステップと、
前記検索ステップで検索された検索結果を解析し、予め与えられている特徴が乏しい検索結果を排除し、残った検索結果を用いてクエリを生成する有効サブクエリ検出ステップと、
前記有効サブクエリ検出ステップで生成された前記クエリを用いて、前記音楽データベースの再検索を行った結果を整形加工して、最終検索結果として出力する最終結果整形・加工ステップと、を実行させることを特徴とする音楽内容検索プログラム。
【請求項６】
前記サブクエリ作成ステップにおいて、
前記楽曲データの一部を複数の部分音楽データに分割する際に、一定間隔でずらしながら、一定の長さの部分的な音楽データを生成するステップを実行させる請求項５記載の音楽内容検索プログラム。
【請求項７】
音楽データベースに格納されている音楽内容を検索する音楽内容検索プログラムを格納した記憶媒体であって、
コンピュータに、
楽曲データの一部が入力されると、該楽曲データの一部を複数の部分音楽データに分割し、該部分音楽データから複数のサブクエリを作成し、該複数のサブクエリを１つに纏めて１つのクエリを作成するサブクエリ作成ステップと、
前記クエリで前記音楽データベースを検索する検索ステップと、
前記検索ステップで検索された検索結果を解析し、予め与えられている特徴が乏しい検索結果を排除し、残った検索結果を用いてクエリを生成する有効サブクエリ検出ステップと、
前記有効サブクエリ検出ステップで生成された前記クエリを用いて、前記音楽データベースの再検索を行った結果を整形加工して、最終検索結果として出力する最終結果整形・加工ステップと、を実行させるプログラムを格納したことを特徴とする音楽内容検索プログラムを格納した記憶媒体。
【請求項８】
前記サブクエリ作成ステップにおいて、
前記楽曲データの一部を複数の部分音楽データに分割する際に、一定間隔でずらしながら、一定の長さの部分的な音楽データを生成するステップを実行させる請求項７記載の音楽内容検索プログラムを格納した記憶媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、音楽内容検索装置及び方法及び音楽内容検索プログラムおよび音楽内容検索プログラムを格納した記憶媒体に係り、特に、入力データ中の特徴部分を用いて音楽コンテンツを検索するための音楽内容検索装置及び方法及び音楽内容検索プログラムおよび音楽内容検索プログラムを格納した記憶媒体に関する。
【背景技術】
【０００２】
従来の楽曲検索は、予め楽曲を音楽片に分割して重要度を付与して蓄積しておき、楽曲の一部または全部を検索キーとして、重要度に基づいて類似する楽曲を検索する等の方法がある（例えば、特許文献１〜４、非特許文献１，２参照）。
【特許文献１】特開２００１−１０９４７１号公報「音楽検索装置、音楽検索方法及び音楽検索プログラムを記録した記憶媒体」西原、小杉、紺谷、山室
【特許文献２】特開２００２−１７５０７３号公報「演奏採取装置、演奏採取方法及び演奏採取用プログラム記録媒体」片岡、小杉、小島
【特許文献３】特開２０００−３４７６５９号公報「音楽検索装置、音楽検索方法及び音楽検索プログラムを記録した記録媒体」西原、小杉、坂田、山室、梅田、紺谷
【特許文献４】特開２００２−１２３２８７号公報「音楽特徴量生成方法及び装置と音楽情報検索装置と音楽特徴量生成用プログラムの記録媒体」小杉尚子
【非特許文献１】「大規模音楽データベースのハミング検索システム」情報処理学会論文誌２００２年２月
【非特許文献２】「Sound Compass:ハミングによる音楽検索システム」情報処理学会論文誌２００４年１月
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら、音楽内容検索では、入力データをどれだけ有効に活用できるかが重要視されている。音楽を部分的に解析すると、複数の曲で使用される、似たようなメロディが存在することもわかってきている。そのような部分は検索という観点からは、特徴に乏しく検索の分解能を低下させる原因となる。
【０００４】
本発明は、上記の点に鑑みなされたもので、高い分解能を実現することが可能な音楽内容検索装置及び方法及び音楽内容検索プログラムおよび音楽内容検索プログラムを格納した記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【０００５】
図１は、本発明の原理構成図である。
【０００６】
本発明は、音楽データベース３０に格納されている音楽内容を検索する音楽内容検索装置であって、
楽曲データの一部が入力されると、該楽曲データの一部を複数の部分音楽データに分割し、該部分音楽データから複数のサブクエリを作成し、該複数のサブクエリを１つに纏めて１つのクエリを作成するサブクエリ作成手段１０と、
クエリで音楽データベース３０を検索する検索手段２０と、
検索手段２０で検索された検索結果を解析し、予め与えられている特徴が乏しい検索結果を排除し、残った検索結果を用いてクエリを生成する有効サブクエリ検出手段４０と、
有効サブクエリ検出手段４０で生成されたクエリを用いて検索手段２０により音楽データベース３０の再検索を行った結果を整形加工して、最終検索結果として出力する最終結果整形・加工手段５０と、を有する。
【０００７】
また、本発明のサブクエリ作成手段１０は、楽曲データの一部を複数の部分音楽データに分割する際に、一定間隔でずらしながら、一定の長さの部分的な音楽データを生成する手段を含む。
【０００８】
図２は、本発明の原理を説明するための図である。
【０００９】
本発明は、音楽データベースに格納されている音楽内容を検索する音楽内容検索方法であって、
サブクエリ作成手段において楽曲データの一部が入力されると（ステップ１）、該楽曲データの一部を複数の部分音楽データに分割し（ステップ２）、該部分音楽データから複数のサブクエリを作成し、該複数のサブクエリを１つに纏めて１つのクエリを作成する（ステップ３）サブクエリ作成ステップと、
クエリで音楽データベースを検索する検索ステップと（ステップ４）、
検索ステップで検索された検索結果を解析し、予め与えられている特徴が乏しい検索結果を排除し、残った検索結果を用いてクエリを生成する有効サブクエリ検出ステップと（ステップ５）、
有効サブクエリ検出ステップで生成されたクエリを用いて検索手段により音楽データベースの再検索を行い（ステップ６）、その結果を整形加工して、最終検索結果として出力する最終結果整形・加工ステップと（ステップ７）、を行う。
【００１０】
また、本発明のサブクエリ作成ステップにおいて、楽曲データの一部を複数の部分音楽データに分割する際に、一定間隔でずらしながら、一定の長さの部分的な音楽データを生成するステップを含む。
【００１１】
本発明は、音楽データベースに格納されている音楽内容を検索する音楽内容検索プログラムであって、
コンピュータに、
楽曲データの一部が入力されると、該楽曲データの一部を複数の部分音楽データに分割し、該部分音楽データから複数のサブクエリを作成し、該複数のサブクエリを１つに纏めて１つのクエリを作成するサブクエリ作成ステップと、
クエリで音楽データベースを検索する検索ステップと、
検索ステップで検索された検索結果を解析し、予め与えられている特徴が乏しい検索結果を排除し、残った検索結果を用いてクエリを生成する有効サブクエリ検出ステップと、
有効サブクエリ検出ステップで生成されたクエリを用いて、音楽データベースの再検索を行った結果を整形加工して、最終検索結果として出力する最終結果整形・加工ステップと、を実行させる。
【００１２】
本発明は、サブクエリ作成ステップにおいて、
楽曲データの一部を複数の部分音楽データに分割する際に、一定間隔でずらしながら、一定の長さの部分的な音楽データを生成するステップを実行させる。
【００１３】
本発明は、音楽データベースに格納されている音楽内容を検索する音楽内容検索プログラムを格納した記憶媒体であって、
コンピュータに、
楽曲データの一部が入力されると、該楽曲データの一部を複数の部分音楽データに分割し、該部分音楽データから複数のサブクエリを作成し、該複数のサブクエリを１つに纏めて１つのクエリを作成するサブクエリ作成ステップと、
クエリで音楽データベースを検索する検索ステップと、
検索ステップで検索された検索結果を解析し、予め与えられている特徴が乏しい検索結果を排除し、残った検索結果を用いてクエリを生成する有効サブクエリ検出ステップと、
有効サブクエリ検出ステップで生成されたクエリを用いて、音楽データベースの再検索を行った結果を整形加工して、最終検索結果として出力する最終結果整形・加工ステップと、を実行させる音楽内容検索プログラムを格納した記憶媒体である。
【００１４】
また、本発明の音楽内容検索プログラムを格納した記憶媒体では、サブクエリ作成ステップにおいて、楽曲データの一部を複数の部分音楽データに分割する際に、一定間隔でずらしながら、一定の長さの部分的な音楽データを生成するステップを実行させる。
【００１５】
上記のように、本発明は、入力データの中から特徴の乏しい部分を検出し、その部分を検索には使用しないこととするものであり、詳しくは、問い合わせ楽曲データから部分に基づく複数のサブクエリを作成し、一度それらのサブクエリからなるクエリで音楽データベースを検索し、それらのサブクエリによる検索結果を解析し、検索に有効であると考えられるサブクエリを検出し、それらのみからなるクエリを用いて再度音楽データベースを検索し、その結果を整形加工してその内容の最終結果とする。
【００１６】
具体的には、例えば、入力されたハミングデータの中で、より特徴的である部分を中心に検索を行うことを特徴としており、１つの曲の中には極めて特徴的なメロディで構成される部分（“さび”等）と、比較的どの曲でもよく用いられるメロディで構成される部分(曲の終わり等)とが混在している場合に、ハミング検索において、ハミングの中に、複数の曲で使われるようなメロディが含まれていた場合、その部分を用いて検索すると、沢山の曲が正解であると言う検索結果が出力されてしまい、ハミングしたのは、本当はどの曲なのかを限定することができなくなる。本発明では、検索にはそのような特徴の乏しい部分を排除した検索を行うことにより、より正確にハミングした曲を限定するものである。
【発明の効果】
【００１７】
本発明によれば、入力された人の歌声（タタタ歌い、または歌詞などでの歌唱）の音響信号とテンポ情報から音高と音価を自動的に決定することが可能となる。また、周波数解析前に前処理を施して、時間のかかる周波数解析の要／不要を決定することで、処理の高速化を図ることができる。
【発明を実施するための最良の形態】
【００１８】
以下、図面と共に本発明の実施の形態を説明する。
【００１９】
図３は、本発明の一実施の形態における音楽内容検索装置の構成を示す。
【００２０】
同図に示す音楽内容検索装置は、サブクエリ作成部１０、検索部２０、音楽データベース（ＤＢ）３０，有効サブクエリ検出部４０、最終結果整形加工部５０から構成される。
【００２１】
サブクエリ作成部１０は、入力情報として楽曲データの一部が入力されると、当該楽曲データの一部を複数のサブデータに分割し、分割した各々のサブデータからサブクエリを作成し、サブクエリを纏めて１つのクエリを作成し、検索部２０に渡す。
【００２２】
検索部２０は、サブクエリ作成部１０で作成されたサブクエリで音楽ＤＢ３０を検索し、検索結果を有効サブクエリ検出部４０に送る。また、有効サブクエリ検出部４０から取得したクエリを用いて再度音楽ＤＢ３０を検索し、その検索結果を最終結果整形加工部５０に送る。
【００２３】
有効サブクエリ検出部４０は、検索部２０から取得した検索結果を解析し、有効なサブクエリを検出し、有効なサブクエリのみを用いて、クエリを作成し、検索部２０に返却する。
【００２４】
最終結果整形加工部５０は、検索部２０においてクエリで再検索された検索結果を整形・加工し、最終結果として出力する。
【００２５】
次に、上記の構成における動作を説明する。
【００２６】
図４は、本発明の一実施の形態における一連の動作のフローチャートである。
【００２７】
ステップ１０１）  音楽データが入力されると、サブクエリ作成部１０において、当該音楽データを部分毎に分割して、部分音楽データを生成する。このとき、図５に示すように、一定間隔(スライド幅)でずらしながら、行っていの長さ（ウィンド長）の部分的な音楽データを複数切り出す。このような方法として、スライディング・ウィンドウ方式（C. faloutsos, M. Ranganathan, and Y. Manolopoulos. Fast Subsequence Matching in Time-Series Database. In Proceedings of the ACM SIGMOD, International Conference on management of Data, pp.419-429, 1994）がある。
【００２８】
ステップ１０２）  サブクエリ作成部１０は、部分音楽データからサブクエリを作成する。このとき、特徴データ(例えば、特徴ベクトル)を抽出し、サブクエリとする。例えば、特徴データとしては、一定の時間間隔毎に音楽データを区切ったとき、その各区切りの中で最も長い間再生される音の高さなどを抽出する。例えば、特徴ベクトルを抽出する方法として、「N. Kosugi, Y. Nishihara, T. Sakata, M. Yamamuro, and K. Kushima, A Practical Query-By-Humming System for a Large Music Database.  In Proc, of the 8th ACM International Conference on Multimedia, pp. 333-342, 2000」を用いることが可能である。
【００２９】
ステップ１０３）  サブクエリサ作成部１０は、サブクエリから１つのクエリ（例えば、ＳＱＬ文）にまとめる。
【００３０】
ステップ１０４）  検索部２０において、ステップ１０３で作成されたクエリを用いて音楽ＤＢ３０を検索する。検索は類似検索(例えば、小杉尚子、櫻井保志、山室雅司、串間和彦、Sound Compass:「ハミングによる音楽検索システム」情報処理学会論文誌、Vol.45, No.1, Jan,2004)を行う。類似検索とは、例えば、ある数値列が入力されたとき、その数値列とデータベース内の各数値列との距離を計算し、その距離が近いものの上位数件を検索結果とするようなものである。検索結果として、曲名とその類似度を取得し、有効サブクエリ検出部４０に転送する。
【００３１】
ステップ１０５）  有効サブクエリ検出部４０は、取得した曲名とその類似度からなる検索結果が予め設定されている条件に合致するものがあるかどうかを判定する。ある場合には、ステップ１０６に移行し、ない場合には、ステップ１０７に移行する。
【００３２】
ステップ１０６）  有効サブクエリ検出部４０は、条件に当てはまるサブクエリがある場合には、そのサブクエリを除外し、残りのサブクエリ１つのクエリ（例えば、ＳＱＬ文）をまとめる。例えば、１つのハミングから４つのサブクエリを作成し、４番目のサブクエリが条件に当てはまった場合、１〜３のサブクエリのみを用いてクエリを作成し、検索部２０に渡し、ステップ１０４に移行する。
【００３３】
ステップ１０７）  ステップ１０５において、条件に当てはまるサブクエリがない場合には、最終結果整形加工部５０において、検索結果を整形・加工する。例えば、図６に示すように、ＷＷＷブラウザの場合は、ＨＴＭＬ形式に加工する。整形・加工された結果、例えば、類似度順に並べられた曲名のリストと各局の類似度が最終検索結果として出力される。
【００３４】
次に、上記のステップ１０５における有効サブクエリ検出部４０の動作を詳細に説明する。
【００３５】
例えば、曲ａｋ（１≦ｋ）を保持する音楽ＤＢ３０に対して、音楽データｈを入力して、類似度の高い上位ｎ曲の曲目リストを最終検索結果として出力する音楽内容検索を行うとする。
【００３６】
入力音楽データｈから作成する部分音楽データ数をｍ、曲ａｋの部分音楽データ数をｐとする。曲ａｋのｉ番目の部分音楽データと入力音楽データのｊ番目の部分音楽データとの距離を
【００３７】
【数１】
2005258695.tif 000003
としたとき、曲ａｋと入力音楽データｈとの距離Ｄ（ａｋ，ｈ）を、
【００３８】
【数２】
2005258695.tif 000004
とする。このとき、Ｄ（ａｋ，ｈ）の値が小さい上位ｎ件が最終結果となるが、ｎ個のＤ（ａｋ，ｈ）を算出したｈｊのそれぞれの比率を、そのｈｊの最終結果決定率
【００３９】
【数３】
2005258695.tif 000005
と定義し以下の式で算出する。
【００４０】
【数４】
2005258695.tif 000006
ここで、
【００４１】
【数５】
2005258695.tif 000007
がある閾値を越えて大きかった場合（例えばｘ％を越えた場合）、ｈｊは入力音楽データの中で特徴が乏しい部分であると判断する。
【００４２】
従って例えば、条件としては、
「最終結果決定率がｘ％を越える」
とすることができる。ｘは例えば、『８０』などとすることができる。
【００４３】
上記の動作を図７に示す。
【００４４】
上記のように、一度クエリで音楽データベース３０を検索し、その検索結果を解析し、その中に特徴の乏しい部分が含まれていればその部分を排除したクエリを生成して再度検索を行い、その結果を最終検索結果とすることで、高い分解能を実現することができる。
【００４５】
なお、上記の実施の形態における図４、図７に示す動作をプログラムとして構築し、音楽内容検索装置として利用されるコンピュータにインストールし、ＣＰＵ等の制御手段により実行させる、または、ネットワーク介して流通させ、コンピュータにインストールすることも可能である。
【００４６】
また、構築されたプログラムを、音楽内容検索装置として利用されるコンピュータに接続されるハードディスクや、ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、コンピュータにインストールすることも可能である。
【００４７】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００４８】
本発明は、音楽コンテンツ等や楽曲の検索に適用可能である。
【図面の簡単な説明】
【００４９】
【図１】本発明の原理構成図である。
【図２】本発明の原理を説明するための図である。
【図３】本発明の一実施の形態における音楽内容検索装置の構成図である。
【図４】本発明の一実施の形態における一連の動作のフローチャートである。
【図５】本発明の一実施の形態における入力された音楽データを部分に基づいて分割する図である。
【図６】本発明の一実施の形態における最終検索結果の整形・加工の例である。
【図７】本発明の一実施の形態における検索結果解析処理のフローチャートである。
【符号の説明】
【００５０】
１０  サブクエリ作成手段、サブクエリ作成部
２０  検索手段、検索部
３０  音楽ＤＢ（データベース）
４０  有効サブクエリ検出手段、有効サブクエリ検出部
５０  最終結果整形・加工手段、最終結果整形・加工部
【図１】
2005258695.tif 000008
【図２】
2005258695.tif 000009
【図３】
2005258695.tif 000010
【図４】
2005258695.tif 000011
【図５】
2005258695.tif 000012
【図６】
2005258695.tif 000013
【図７】
2005258695.tif 000014