(57)【要約】【課題】スムーズにハミングから映像シーンを検索できるようにする。【解決手段】本発明は、ユーザから楽曲のメロディにあたるハミングが映像蓄積・検索装置に入力されると、映像蓄積・検索装置は、楽曲検索サーバに対して当該ハミングを送信することにより、検索を要求し、映像蓄積・検索装置は、楽曲検索サーバから、ハミングに基づいて検索されたハミングに対応する楽曲、楽曲中の当該ハミングとマッチした区間、当該ハミングと楽曲との類似度からなるデータを受け取り、それらを用いた内部処理の後、ユーザへ検索結果の映像一覧を返す。【選択図】図１
2007172050.tif 000002
【特許請求の範囲】
【請求項１】
映像と関連する音楽メロディを覚えているユーザに対して、音楽メロディ（ハミング）を入力させ、該ハミングと関連する映像シーンを検索する映像検索方法であって、
映像収集手段が、ユーザ端末内のデータ記憶手段に保存された映像データを収集し、映像データベースに格納する映像収集ステップと、
楽曲検出手段が、前記映像データベースに格納された前記映像データに含まれる音楽データを有する映像区間を検出する楽曲検出ステップと、
映像インデックス管理手段が、前記音楽データが楽曲データベースに格納されている楽曲データのどの区間に含まれているか、及び該音楽データと該楽曲データの区間のデータとの類似度を楽曲検索サーバに要求し、その結果として、少なくとも、前記楽曲検出ステップで検出された前記映像区間、該映像区間に対応する楽曲データ、該楽曲データの区間、類似度、及び該映像区間に該当する映像ＩＤを取得して、映像インデックス情報データベースに格納する映像インデックス管理ステップと、
音楽ハミング入力手段が、ユーザから入力されたハミングを取得すると、該ハミングに基づいて、前記楽曲検索サーバに検索要求し、その結果として、該ハミングを含む楽曲ＩＤ、該楽曲の対応区間、該ハミングと楽曲メロディとのハミング類似度を取得するメロディ検索ステップと、
前記映像インデックス管理手段が、前記楽曲ＩＤ及び前記楽曲の対応区間に基づいて、前記映像インデックス情報データベースから楽曲区間を抽出し、該楽曲区間を含む映像の映像ＩＤ、映像区間、前記ハミング類似度及び前記類似度を取得し、検索された楽曲区間と一致する映像区間を、前記ハミング類似度と該類似度を掛けた統合類似度の高い順にソートし、その結果を検索結果とするソートステップと、
映像検索結果出力手段が、ソートされた前記検索結果に基づいて、映像一覧を生成し、出力する映像検索結果出力ステップと、
を行うことを特徴とする映像検索方法。
【請求項２】
前記検索結果の映像データから表示順を計算した結果から所定の閾値分のデータを抽出し、映像を閲覧するためのダイジェスト映像用プレイリストを生成するステップを行う、請求項１記載の映像検索方法。
【請求項３】
前記映像検索結果出力ステップにおいて、
入力音声メロディ、音声メロディ長、類似楽曲、類似楽曲区間、メロディと楽曲の類似度、メロディを含む映像、その映像区間、入力メロディの長さが映像に含まれる楽曲の長さの比率、映像に含まれる音楽と楽曲メロディの類似度、映像区間検索頻度、検索日時を検索結果として、記憶手段に格納するステップを行う、
請求項１記載の映像検索方法。
【請求項４】
映像と関連する音楽メロディを覚えているユーザに対して、音楽メロディ（ハミング）を入力させ、該ハミングと関連する映像シーンを検索する映像検索装置であって、
ユーザ端末内のデータ記憶手段に保存された映像データを収集し、映像データベースに格納する映像収集手段と、
前記映像データベースに格納された前記映像データから音楽データを有する映像区間を検出する楽曲検出手段と、
前記音楽データが、楽曲データベースに格納されているどの楽曲データのどの区間に含まれているか、及び、該音楽データと該楽曲データの区間のデータとの類似度を楽曲検索サーバに要求し、その結果として、少なくとも、前記楽曲検出手段で検出された前記映像区間、該映像区間に対応する楽曲データ、該楽曲データの区間、類似度、及び該映像区間に該当する映像ＩＤを取得して、映像インデックス情報データベースに格納する第１の映像インデックス管理手段と、
ユーザから入力されたハミングを取得すると、該ハミングに基づいて、前記楽曲検索サーバに検索要求し、その結果として、該ハミングを含む楽曲ＩＤ、該楽曲の対応区間、該ハミングと楽曲メロディのハミング類似度を取得する音楽入力手段と、
前記楽曲ＩＤ及び前記楽曲の対応区間に基づいて、前記映像インデックス情報データベースから楽曲区間を抽出し、該楽曲区間を含む映像の映像ＩＤ、映像区間、前記ハミング類似度及び、前記類似度を取得し、検索された楽曲区間と一致する映像区間を、該類似度と該ハミング類似度を掛けた統合類似度の高い順にソートし、その結果を検索結果とする第２の映像インデックス管理手段と、
ソートされた前記検索結果に基づいて、映像一覧を生成し、出力する映像検索結果出力手段と、
を有することを特徴とする映像検索装置。
【請求項５】
前記検索結果の映像データから表示順を計算した結果から所定の閾値分のデータを抽出し、映像を閲覧するためのダイジェスト映像用プレイリストを生成する手段をさらに有する、請求項４記載の映像検索装置。
【請求項６】
前記映像検索結果出力手段は、
入力音声メロディ、音声メロディ長、類似楽曲、類似楽曲区間、メロディと楽曲の類似度、メロディを含む映像、その映像区間、入力メロディの長さが映像に含まれる楽曲の長さの比率、映像に含まれる音楽と楽曲メロディの類似度、映像区間検索頻度、検索日時を、検索結果として、記憶手段に格納する手段を含む、
請求項４記載の映像検索装置。
【請求項７】
コンピュータを、
請求項４乃至６記載の映像検索装置として機能させることを特徴とする映像検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像検索方法及び装置及びプログラムに係り、特に、映像に含まれる音楽情報と音楽単体の検索装置を用いて、音楽メロディ（ハミング）データ入力による映像のシーンを検索するための映像検索方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
従来、映像検索において、ユーザは映像に関係しそうな明確なキーワードにより検索キーを入力し、検索を行う手法が殆どである。しかし、映像が大量に蓄積できる現状において、映像に関連する情報として、ユーザは明確なキーワードではなく、映像に関連する音楽メロディの方を鮮明に覚えているケースがある。そういった場合、従来技術としては、そのメロディに関する音楽タイトルや演奏者、著作者などの情報を調べ、そういった映像の中の明示的なテキストの音楽情報による検索を行う方法があるが、映像と直接連想できる音楽メロディで映像検索を行うことはできなかった。
【０００３】
また、音声、音楽データ部分を抽出して映像分類する技術（例えば、特許文献１参照）や、音楽データ全体の中からメロディラインで音楽データを検索できる手法（例えば、特許文献２参照）、音楽データの一部分から音楽データを検索する方法（例えば、非特許文献１参照）はあるが、映像検索をメロディラインで検索するには、各検索結果をタイトル等の明確なメタデータに人手で直し、複数段階を人手によるサポートで実現するしかない。
【特許文献１】特許３４７５３１７号公報
【特許文献２】特許３４３４２２３号公報
【非特許文献１】黒住隆行、柏野邦夫、村瀬洋、“携帯電話で受音した音楽をキーとする高速音響信号探索”信学会総合大会  情報システム2.p.224, Mar.2001
【発明の開示】
【発明が解決しようとする課題】
【０００４】
上記の従来技術においては、以下のような問題がある。
【０００５】
（１）映像のメタデータとして属性が、タイトル、作者等の明確な名詞となるキーワードでしか映像検索できない。
【０００６】
（２）音楽データのメロディラインでの検索手法で検索した楽曲タイトルを検索し、その検索結果の楽曲のタイトル等のメタデータから映像検索する２段階の映像検索でしか検索ができない。また、音楽データのメロディラインでの検索手法で検索して楽曲タイトルを得て、そのタイトルで検索すると、ユーザが入力したメロディラインではない部分を引用して映像中の音楽として利用しているものも検索結果として冗長に検索されてしまう（ユーザの期待と異なるハミングのサビを使った映像が検索されてしまう）。
【０００７】
本発明は、上記の点に鑑みなされたもので、映像の盛り上がりシーンでの音楽メロディの一部分は覚えているが、それを使って映像検索する手順的に多くかかってしまう現状を解決し、ハミングからスムーズに映像シーンを検索する手法を実現できる映像検索方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
図１は、本発明の原理を説明するための図である。
【０００９】
本発明（請求項１）は、映像と関連する音楽メロディを覚えているユーザに対して、音楽メロディ（ハミング）を入力させ、該ハミングと関連する映像シーンを検索する映像検索方法であって、
映像収集手段が、ユーザ端末内のデータ記憶手段に保存された映像データを収集し、映像データベースに格納する映像収集ステップ（ステップ１）と、
楽曲検出手段が、映像データベースに格納された映像データに含まれる音楽データを有する映像区間を検出する楽曲検出ステップ（ステップ２）と、
映像インデックス管理手段が、音楽データが楽曲データベースに格納されている楽曲データのどの区間に含まれているか、及び該音楽データと該楽曲データの区間のデータとの類似度を楽曲検索サーバに要求し（ステップ３）、その結果として、少なくとも、楽曲検出ステップで検出された映像区間、該映像区間に対応する楽曲データ、該楽曲データの区間、類似度、及び該映像区間に該当する映像ＩＤを取得して、映像インデックス情報データベースに格納する映像インデックス管理ステップ（ステップ４）と、
音楽ハミング入力手段が、ユーザから入力されたハミングを取得すると（ステップ５）、該ハミングに基づいて、楽曲検索サーバに検索要求し（ステップ６）、その結果として、該ハミングを含む楽曲ＩＤ、該楽曲の対応区間、該ハミングと楽曲メロディとのハミング類似度を取得するメロディ検索ステップ（ステップ７）と、
映像インデックス管理手段が、楽曲ＩＤ及び楽曲の対応区間に基づいて、映像インデックス情報データベースから楽曲区間を抽出し（ステップ８）、該楽曲区間を含む映像の映像ＩＤ、映像区間、ハミング類似度及び類似度を取得し（ステップ９）、検索された楽曲区間と一致する映像区間を、ハミング類似度と該類似度を掛けた統合類似度の高い順にソートし、その結果を検索結果とするソートステップ（ステップ１０）と、
映像検索結果出力手段が、ソートされた検索結果に基づいて、映像一覧を生成し、出力する映像検索結果出力ステップ（ステップ１１）と、を行う。
【００１０】
また、本発明（請求項２）は、検索結果の映像データから表示順を計算した結果から所定の閾値分のデータを抽出し、映像を閲覧するためのダイジェスト映像用プレイリストを生成するステップを行う。
【００１１】
また、本発明（請求項３）は、映像検索結果出力ステップにおいて、
入力音声メロディ、音声メロディ長、類似楽曲、類似楽曲区間、メロディと楽曲の類似度、メロディを含む映像、その映像区間、入力メロディの長さが映像に含まれる楽曲の長さの比率、映像に含まれる音楽と楽曲メロディの類似度、映像区間検索頻度、検索日時を検索結果として、記憶手段に格納するステップを行う。
【００１２】
図２は、本発明の原理構成図である。
【００１３】
本発明（請求項４）は、映像と関連する音楽メロディを覚えているユーザに対して、音楽メロディ（ハミング）を入力させ、該ハミングと関連する映像シーンを検索する映像検索装置であって、
ユーザ端末内のデータ記憶手段に保存された映像データを収集し、映像データベースに格納する映像収集手段２１と、
映像データベース１１に格納された映像データから音楽データを有する映像区間を検出する楽曲検出手段２２と、
音楽データが、楽曲データベース１３に格納されているどの楽曲データのどの区間に含まれているか、及び、該音楽データと該楽曲データの区間のデータとの類似度を楽曲検索サーバに要求し、その結果として、少なくとも、楽曲検出手段２２で検出された映像区間、該映像区間に対応する楽曲データ、該楽曲データの区間、類似度、及び該映像区間に該当する映像ＩＤを取得して、映像インデックス情報データベース１２に格納する第１の映像インデックス管理手段２３−１と、
ユーザから入力されたハミングを取得すると、該ハミングに基づいて、楽曲検索サーバに検索要求し、その結果として、該ハミングを含む楽曲ＩＤ、該楽曲の対応区間、該ハミングと楽曲メロディのハミング類似度を取得する音楽入力手段２６と、
楽曲ＩＤ及び楽曲の対応区間に基づいて、映像インデックス情報データベース１２から楽曲区間を抽出し、該楽曲区間を含む映像の映像ＩＤ、映像区間、ハミング類似度及び、類似度を取得し、検索された楽曲区間と一致する映像区間を、該類似度と該ハミング類似度を掛けた統合類似度の高い順にソートし、その結果を検索結果とする第２の映像インデックス管理手段２３−２と、
ソートされた検索結果に基づいて、映像一覧を生成し、出力する映像検索結果出力手段２５と、を有する。
【００１４】
また、本発明（請求項５）は、検索結果の映像データから表示順を計算した結果から所定の閾値分のデータを抽出し、映像を閲覧するためのダイジェスト映像用プレイリストを生成する手段を更に有する。
【００１５】
また、本発明（請求項６）は、映像検索結果出力手段において、
入力音声メロディ、音声メロディ長、類似楽曲、類似楽曲区間、メロディと楽曲の類似度、メロディを含む映像、その映像区間、入力メロディの長さが映像に含まれる楽曲の長さの比率、映像に含まれる音楽と楽曲メロディの類似度、映像区間検索頻度、検索日時を検索結果として、記憶手段に格納する手段を含む。
【００１６】
本発明（請求項７）は、コンピュータを、請求項４乃至６記載の映像検索装置として機能させる映像検索プログラムである。
【発明の効果】
【００１７】
上記のように本発明によれば、ユーザから入力された音楽メロディ（ハミング）から映像シーンを容易に検索することが可能となる。
【発明を実施するための最良の形態】
【００１８】
以下、図面と共に本発明の実施の形態を説明する。
【００１９】
図３は、本発明の一実施の形態における全体の処理概要を示す図である。
【００２０】
同図では、ユーザの音声メロディ入力（以下、ハミングと記す）から映像検索結果までの映像検索時の流れと、蓄積された映像データのインデクシング処理の流れを示している。
【００２１】
本発明は、音楽ハミング入力装置３から楽曲のメロディにあたるユーザからのハミングが映像蓄積・検索装置２に入力されると、映像蓄積・検索装置２は、楽曲検索サーバ１に対して当該ハミングを送信することにより、検索を要求する。これにより、映像蓄積・検索装置２は、楽曲検索サーバ１から、ハミングに基づいて検索されたハミングに対応する楽曲、楽曲中の当該ハミングとマッチした区間、当該ハミングと楽曲との類似度からなるデータを受け取り、内部処理の後、ユーザへ検索結果の映像一覧を返すものである。
【００２２】
図４は、本発明の一実施の形態におけるシステム構成図である。
【００２３】
同図に示すシステムは、楽曲検索サーバ１、ユーザのハミングを入力するための音楽ハミング入力装置３、楽曲ＤＢ１３、映像蓄積・検索装置２、ユーザＰＣ（パーソナルコンピュータ）４及び通信網３０から構成される。ここで、音楽ハミング入力装置３とＰＣ４が独立して記載されているが、１つの装置で構成されていてもよい。
【００２４】
楽曲検索サーバ１は、ハミングによる楽曲検索及び音楽断片データによる楽曲検索をする機能を持つサーバであり、ハミング入力に対して、インデックス化された楽曲と音楽データの特徴量ヒストグラムのデータを蓄積した楽曲ＤＢ１３が接続され、ハミング入力、映像に含まれるハミング入力に対して、楽曲の特徴量ヒストグラムベースのデータを用いた時系列アクティブ探索による楽曲検索を行い、その結果として、楽曲ＩＤ、楽曲区間、ハミングと楽曲との類似度を返却することができる。
【００２５】
楽曲ＤＢ１３は、各楽曲データ毎に、midi（楽譜的な音楽情報）ベースの音楽特徴量データと、wavなどの音楽データをベースとしたヒストグラム特徴量データの両方を有する。ここで、midi系の特徴量は、ユーザのハミング入力からの楽曲検索時に利用される。また、wavなどのヒストグラム特徴量データは、映像の中の音楽断片データから楽曲データの検索を行うときに利用される。
【００２６】
映像蓄積・検索装置２は、映像ＤＢ１１、映像インデックス情報ＤＢ１２、映像収集部２１、楽曲検出部２２、映像インデックス管理部２３、映像音楽判定部２４、映像検索結果表示部２５、音楽入力部２６から構成される。
【００２７】
映像収集部１は、ユーザのＰＣ４内部に蓄積された映像を収集し、映像ＤＢ１１に格納する。
【００２８】
映像ＤＢ１１は、映像ＩＤ、映像ファイル名、ファイルサイズ、ファイル作成日、ファイル更新日、ステータス、映像ファイル拡張子、探索処理ディレクトリ、探索開始日時の各項目から構成される。ここで、ステータスとは、「インデクシング待ち“１”」「楽曲登録待ち“２”」「インデクシング完了“３”」「削除待ち“４”」「エラー“５”」を示す。
【００２９】
楽曲検出部２２は、映像ＤＢ１１に蓄積された映像データに音楽データが含まれるかを判定し、含まれる場合には、当該音楽データの区間を検出し、当該区間毎に楽曲区間ＩＤを付与して、映像インデックス情報ＤＢ１２に登録する。
【００３０】
映像インデックス管理部２３は、楽曲検出部２２で検出された映像の映像ＩＤと検出された楽曲区間ＩＤに基づいて曲のどの区間のデータであるかを映像インデックス情報ＤＢ１２に格納することにより管理する処理と、楽曲検索サーバ１から取得したハミングに対応する楽曲の楽曲ＩＤ、楽曲区間、ハミングと楽曲との類似度を用いて、当該楽曲がどの映像に含まれ、また、どの映像区間であるかを判定し、類似度の高い順にソートする処理を行う。
【００３１】
映像音楽判定部２４は、ソート結果及び類似度に基づいてユーザに映像検索結果としてどの程度相応しいかを判定する。
【００３２】
映像検索結果表示部２５は、映像音楽判定部２４の結果に基づいて、ユーザに提供するプレイリストを作成し、表示手段に提示する。
【００３３】
音楽入力部２６は、音楽ハミング入力装置３から入力されたハミング並びに楽曲区間データを入力する。
【００３４】
図５は、本発明の一実施の形態における動作を説明するための図であり、映像インデックス時の処理と、ユーザがハミングによる映像検索時の処理を示している。
【００３５】
最初に、映像収集部２１について説明する。
【００３６】
図６は、本発明の一実施の形態における映像収集部の処理のフローチャートである。
【００３７】
映像インデックス時の最初の処理にあたる、映像収集部２１では、まずＰＣ４内の全てのフォルダを対象に設定された映像ファイル拡張子のファイルを全て検出する（ステップ１０１）。映像収集部２１では、ファイルを全て検出する間、図６のステップ１１１からステップ１１５（リピート１処理）を繰り返す。ここで、“リピート１”処理を説明する。
【００３８】
ステップ１１１）  映像収集部２１は、ＰＣ４内の記憶手段（図示せず）から対象ディレクトリに存在する設定された映像ファイル拡張子と一致するファイルを抽出する。
【００３９】
ステップ１１２）  映像ＤＢ１１の「ファイル作成日」に基づいて、見つかったファイルの作成日時が前回の探索日時より進んでいるかを判定する。Ｙｅｓならばステップ１１３に移行し、Ｎｏであればステップ１１４に移行する。
【００４０】
ステップ１１３）  映像ＤＢ１１に対して、映像ＩＤを新たに追加し、映像ファイル名、ファイルサイズ、ファイル作成日時、更新日時、ステータスに“１”（インデクシング処理待ち）を登録する。次にステップ１１６に移行する。
【００４１】
ステップ１１４）  ステップ１１２においてＮｏである場合には、映像ＤＢ１１の「探索開始日時」を参照して、そのファイルの更新日は、前回ディレクトリ探索開始時間より進んでいるかを判定する。Ｙｅｓの場合にはステップ１１５に移行し、Ｎｏである場合にはステップ１１６に移行する。
【００４２】
ステップ１１５）  対象ファイルが、映像ＤＢ１１に存在し、対象となる映像ＩＤと関連付けられた、映像ファイル名、ファイルサイズ、ファイル作成日時、更新日時、ステータスに“１”（インデクシング処理待ち）のデータをアップデートする。
【００４３】
ステップ１１６）  ステップ１１１で抽出したファイルが存在する限りステップ１１２の処理を行う。ステップ１１１で抽出したファイルが存在しなくなった場合には、ステップ１２１の“リピート２”の処理に移行する。
【００４４】
ステップ１２１）  前回映像収集部２１が利用された以降に映像ファイルが削除された場合の処理で、映像ＤＢ１１に存在しているが、ＰＣ４内の対象ディレクトリに映像ファイルが存在しないものを抽出する。
【００４５】
ステップ１２２）  ステップ１２１で見つかっている間は、映像ＤＢ１１の対象映像ＩＤのものに対して、ステータス“４”（削除待ち）を設定する処理を繰り返す。繰り返しが全て完了すると処理が終了する。
【００４６】
その処理結果、映像ＩＤ、映像ファイル名（ファイルのフルパス）、ファイルサイズ、ファイル作成日、更新日、ステータスを映像ＤＢ１１に蓄積する。
【００４７】
楽曲検出部２２は、図７に示す映像ＤＢ１１に蓄積された映像でかつ、ステータスが“１”（インデクシング処理待ち）のものに対して、映像内の楽曲区間に関するデータを検出し、音楽データを抽出し、抽出した音楽ファイルのパス、検出された楽曲がどの映像区間（開始点、終了点）にあたるかと、映像ＩＤに対応する項目を図８に示す映像インデックスＤＢ１２に登録する。その詳細を以下に示す。
【００４８】
図９は、本発明の一実施の形態における楽曲検索部の処理のフローチャートである。
【００４９】
ステップ２０１）  楽曲検索部２２は、映像ＤＢ１１のステータスが“１”（インデクシング待ち）の映像コンテンツに音楽データ断片が含まれるかを判定する。判定の結果Ｙｅｓであればステップ２０２に移行し、Ｎｏであればステップ２０６に移行する。
【００５０】
ステップ２０２）  映像ＤＢ１１のステータス“１”（インデクシング処理待ち）の映像コンテンツに対して映像の最初から音楽データ断片を検出する。
【００５１】
ステップ２０３）  ステップ２０２の処理が終了すると、検出された全ての音楽断片データについて、検出結果である断片毎に楽曲区間ＩＤを付与し、検出中の対象映像ＩＤ、音楽データ断片の開始点・終了点を開始時間・終了時間として、楽曲区間ＩＤ、映像ＩＤと共に映像インデックスＤＢ１２に登録する。
【００５２】
ステップ２０４）  ステップ２０３の処理が終了すると、抽出した音楽断片データをデータファイルとして、当該映像蓄積・検索装置２内のメモリ（図示せず）に保存し、そのデータファイルパスを映像インデックスＤＢ１２の楽曲区間データファイルパスの欄に登録する。
【００５３】
ステップ２０５）  ステップ２０４の処理が終了すると、抽出した音楽データ断片の開始時間にあたる時間の映像フレームを映像ＤＢ１１から検出し、代表サムネイルとしてサムネイルをメモリ等の記憶手段（図示せず）に保存し、そのパスを映像インデックスＤＢ１２の対象となる楽曲区間ＩＤに対応するサムネイルファイルパスの欄に登録すると共に、映像ＤＢ１１のステータスを“２”（楽曲登録待ち）にする。
【００５４】
ステップ２０６）  一方、ステップ２０１で映像ＤＢ１１のステータスが“１”（インデクシング処理待ち）の映像コンテンツで、音楽断片が見つからないデータについては、映像ＤＢ１１のステータスを“３”（インデクシング完了）という状態にする。
【００５５】
次に、映像インデックス管理部２３について説明する。
【００５６】
映像インデックス管理部２３は、楽曲検索部２２が処理した結果が格納されている映像インデックスＤＢ１２から抽出した楽曲区間ＩＤに基づいて、音楽入力部２６を介して、楽曲検索サーバ１に検索依頼し、その結果として返却された楽曲ＩＤ、楽曲区間、類似度と対象となる楽曲区間ＩＤの図８（Ｂ）にあたるデータを映像インデックス情報ＤＢ１２に登録する。
【００５７】
図１０は、本発明の一実施の形態における映像インデックス管理部の処理のフローチャート（インデクシング時）である。
【００５８】
ステップ３０１）  映像インデックス管理部２３は、まず、映像ＤＢ１１のステータスが“２”（楽曲の登録待ち）の映像ＩＤを抽出する。
【００５９】
ステップ３０２・３０３）  抽出された映像ＩＤの数の分だけ、後述するステップ３１１〜３１３の処理を繰り返す。
【００６０】
［リピート処理］
ステップ３１１）  リピート処理として、映像インデックス管理部２３は、抽出された映像ＩＤと一致する楽曲区間データファイルパスを映像インデックスＤＢ１２から検索する。
【００６１】
ステップ３１２）  検索された楽曲区間データファイルパスに基づいて、楽曲区間データファイルの検索を、音楽入力部２６を介して楽曲検索サーバ１に依頼する。
【００６２】
ステップ３１３）  映像インデックス管理部２３は、音楽入力部２６を介して楽曲検索サーバ１からの検索結果である楽曲検索結果データを受け取り、そのデータを映像インデックスＤＢ１２（図７（Ｂ））に登録する。
【００６３】
また、ステップ３１２とステップ３１３の間において、予め、ハミング検索に必要な楽曲情報から抽出された特徴量をインデックス化したデータと、音楽データから特徴量ヒストグラムデータなどを蓄積した楽曲ＤＢ１３を構築しておくものとする。音楽入力部２６は、映像インデックス管理部２３から検索依頼を取得すると、ハミング入力や楽曲区間の音楽ファイル入力を計算機で検索できる形の音楽データに変換し、楽曲検索サーバ１に検索を依頼する。これにより、楽曲検索サーバ１は、楽曲ＤＢ１３を検索し、その検索結果として、楽曲ＩＤ、楽曲区間、音楽データと楽曲ＤＢ１３から取得した楽曲データとの類似度を音楽入力部２６に返却する。
【００６４】
音楽入力部２６は、ハミングによる映像検索時の処理として、音楽ハミング入力装置３からユーザからの入力であるハミングデータを受け付け、当該ハミングデータに基づいて、楽曲検索サーバ１に検索を依頼する。
【００６５】
ここで、インデクシング時の音楽入力部２６の動作を説明する。
【００６６】
図１１は、本発明の一実施の形態における音楽入力部の処理のフローチャート（インデクシング時）である。
【００６７】
ステップ４０１）  音楽入力部２６は、楽曲断片データを楽曲検索サーバ１に送信し、楽曲検索処理を依頼する。
【００６８】
ステップ４０２）  楽曲検索結果として、楽曲検索サーバ１から楽曲ＩＤ、楽曲の開始時間・終了時間、当該楽曲ＤＢ１３から検索された楽曲データとステップ４０１で楽曲検索サーバ１に送信した楽曲断片データとの類似度の組を受け取る。
【００６９】
ステップ４０３）  特徴量ヒストグラム検索結果として、結果の組を映像インデックス情報管理部２３に転送する。
【００７０】
次に、音楽入力部２６のハミング検索時の動作を説明する。
【００７１】
図１２は、本発明の一実施の形態における音楽入力部の処理のフローチャート（検索時）である。
【００７２】
ステップ５０１）  音楽入力部２６は、音楽ハミング入力装置３からユーザから入力された音楽入力データ（ハミング）を取得すると、当該ハミングを楽曲検索サーバ１に送信し、楽曲検索処理を依頼する。
【００７３】
ステップ５０２）  音楽入力部２６は、楽曲検索サーバ１から楽曲検索結果として、楽曲ＩＤ、楽曲の開始時間、終了時間、当該楽曲ＤＢ１３の楽曲データとハミングとの類似度の組を受け取る。
【００７４】
ステップ５０３）  ハミング検索結果として楽曲データとハミングとの類似度を“ハミング類似度”とし、楽曲検索結果の組を映像インデックス管理部２３に送信する。
【００７５】
これにより、映像インデックス管理部２３は、ハミングによる映像検索時には、音楽入力部２６を介して、検索結果である楽曲ＩＤ、楽曲区間（開始点・終了点）、ハミング類似度、楽曲総時間の組データを受け取り、楽曲ＩＤ及び楽曲区間から図８（Ｂ）の映像インデックスＤＢ１２から楽曲区間ＩＤを抽出し、対象の楽曲区間ＩＤが検出される限り、楽曲区間ＩＤを内包する形、一部前後で図７の開始点・終了点を持つ映像ＩＤ、映像区間、ハミング類似度、類似度の組を映像音楽判定部２４に転送する。
【００７６】
以下に、映像インデックス管理部２３のハミングによる映像検索時の動作を説明する。
【００７７】
図１３は、本発明の一実施の形態における映像インデックス管理部の動作のフローチャート（検索時）である。
【００７８】
ステップ６０１）  映像インデックス管理部２３は、映像インデックス情報ＤＢ１２から音楽入力部２６から取得した検索結果の楽曲ＩＤと一致する楽曲区間ＩＤを全て抽出する。
【００７９】
ステップ６０２）  楽曲区間ＩＤが見つかるかを判定し、見つかっている間ステップ６０３の処理を繰り返す。
【００８０】
ステップ６０３）  検索結果の楽曲区間を完全に含む（検索結果の楽曲開始時間≧映像インデックス情報ＤＢ１２の楽曲での開始時間かつ検索結果の楽曲終了時間≦映像インデックス情報ＤＢ１２の楽曲での終了時間）ものの楽曲区間ＩＤ、類似度、ハミング類似度を検索結果としてメモリ（図示せず）に追加する処理を行う。
【００８１】
ステップ６０４）  ステップ６０２で楽曲区間ＩＤが見つかる間、ステップ６０３の処理を繰り返す。
【００８２】
次に、映像音楽判定部２４は、ハミング類似度、類似度を掛け合わせて統合した統合類似度ηをある閾値ａを超えるもののうち、統合類似度ηが大きい順にメモリ（図示せず）に格納されている検索結果の楽曲区間と一致する映像区間をソートする。また、ソートした結果で、ソート結果｜１｜、ソート結果｜１，２｜、ソート結果｜１，２，３｜といった全組み合わせで映像プレイリストをメモリ（図示せず）上に作成する。具体例として、図１４に示すように、映像ＩＤ以下４項目を繰り返す形でそれらを順に再生できるプレイリストデータのパスを映像インデックス情報ＤＢ１２に登録する。
【００８３】
映像音楽判定部２４の処理を以下に詳細に説明する。
【００８４】
図１５は、本発明の一実施の形態における映像音楽判定部の処理のフローチャートである。
【００８５】
ステップ７０１）  映像音楽判定部２４は、映像インデックス管理部２３から受け取った結果があるかを判定し、ある間は以下のステップ７０２、７０３の処理を繰り返す。
【００８６】
ステップ７０２）  ハミング類似度×類似度の統合類似度ηが、所定の閾値ａを超えるかを判定し、超える場合には、ステップ７０３に移行し、超えない場合はステップ７０１に戻る。
【００８７】
ステップ７０３）  統合類似度ηが閾値を超える場合には、当該統合類似度ηに対応する映像区間を結果リストに追加する。
【００８８】
ステップ７０４）  繰り返しを終了する。
【００８９】
ステップ７０５）  繰り返しが終了すると、結果リストが出来上がるため、統合類似度ηニ基づいて映像区間を降順にソートし、映像検索結果表示部２５に転送する。
【００９０】
映像検索結果表示部２５に統合類似度でソートした結果データとプレイリストＩＤの組が送られると、最後に映像検索結果表示部２５は、検索結果での所定のプレイリスト再生時間閾値ｂを超えずに、一番再生時間の近いプレイリストデータ、検索結果詳細として、統合類似度ηが大きい順に表示する。検索結果の表示例を図１６に示す。
【００９１】
また、本発明は、上記の映像蓄積・検索装置２の動作をプログラムとして構築し、コンピュータにインストールして実行させる、または、ネットワークを介して流通させることも可能である。
【００９２】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００９３】
本発明は、映像データ（動画及び音楽データを含む）の検索技術に適用可能である。
【図面の簡単な説明】
【００９４】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の一実施の形態における全体の処理概要を示す図である。
【図４】本発明の一実施の形態におけるシステム構成図である。
【図５】本発明の一実施の形態における動作を説明するための図である。
【図６】本発明の一実施の形態における映像収集部の動作のフローチャートである。
【図７】本発明の一実施の形態における映像ＤＢ項目を示す図である。
【図８】本発明の一実施の形態における映像インデックス情報ＤＢ項目を示す図である。
【図９】本発明の一実施の形態における楽曲検索部の処理のフローチャートである。
【図１０】本発明の一実施の形態における映像インデックス管理部の処理のフローチャート（インデクシング時）である。
【図１１】本発明の一実施の形態における音楽入力部の処理のフローチャート（インデクシング時）である。
【図１２】本発明の一実施の形態における音楽入力部の処理のフローチャート（検索時）である。
【図１３】本発明の一実施の形態における映像インデックス管理部の処理のフローチャート（検索時）である。
【図１４】本発明の一実施の形態におけるプレイリストデータ例である。
【図１５】本発明の一実施の形態における映像音楽判定部の処理のフローチャートである。
【図１６】本発明の一実施の形態における検索結果表示例である。
【符号の説明】
【００９５】
１  楽曲検索サーバ
２  映像蓄積・検索装置
３  ハミング（ハミング）入力装置
４  ユーザＰＣ（パーソナルコンピュータ）
１１  映像ＤＢ（データベース）
１２  映像インデックス情報ＤＢ（データベース）
１３  楽曲ＤＢ（データベース）
２１  映像収集手段、映像収集部
２２  楽曲検出手段、楽曲検出部
２３  映像インデックス管理部
２３−１  第１の映像インデックス管理手段
２３−２  第２の映像インデックス管理手段
２４  映像音楽判定部
２５  映像検索結果出力手段、映像検索結果表示部
２６  音楽入力手段、音楽入力部
３０  通信網
【図１】
2007172050.tif 000003
【図２】
2007172050.tif 000004
【図３】
2007172050.tif 000005
【図４】
2007172050.tif 000006
【図５】
2007172050.tif 000007
【図６】
2007172050.tif 000008
【図７】
2007172050.tif 000009
【図８】
2007172050.tif 000010
【図９】
2007172050.tif 000011
【図１０】
2007172050.tif 000012
【図１１】
2007172050.tif 000013
【図１２】
2007172050.tif 000014
【図１３】
2007172050.tif 000015
【図１４】
2007172050.tif 000016
【図１５】
2007172050.tif 000017
【図１６】
2007172050.tif 000018