(57)【特許請求の範囲】
【請求項１】
コンピュータをコンテンツ特徴量データベース、領域分割手段、特徴量抽出手段、コンテンツ特徴量登録手段、同一性判定手段、再同一性判定手段、適合分解能レベル決定手段、適合分解レベル登録手段を有するコンテンツ特徴量登録装置として機能させるコンテンツ特徴量登録方法であって、
前記領域分割手段が、入力されたコンテンツを一定領域に分割する領域分割ステップと、
前記特徴量抽出手段が、分割された領域毎に特徴量を抽出する特徴量抽出ステップと、
前記コンテンツ特徴量登録手段が、設定された分解能レベル毎に特徴量を抽出して、前記コンテンツと各分解能レベルの特徴量を関連付けて前記コンテンツ特徴量データベースのコンテンツ特徴量領域に登録するコンテンツ特徴量登録ステップと、
前記同一性判定手段が、前記コンテンツの特徴量を検索クエリとして、前記コンテンツ特徴量データベース内に既に登録されている特徴量と比較し、コンテンツの同一性を判定する同一性判定ステップと、
前記再同一性判定手段が、最低分解能レベルの特徴量から順に前記コンテンツの同一性判定を実行し、同一と判定されるコンテンツが存在する場合には、前記分解能レベルを上げて該コンテンツの同一性判定を行う再同一性判定ステップと、
同一と判定されるコンテンツが存在しない場合には、前記適合分解能レベル決定手段が、前記分解能レベルを適合分解能レベルとして決定する適合分解能レベル決定ステップと、
前記適合分解レベル登録手段が、前記検索クエリとした特徴量を、前記コンテンツ特徴量データベースの、抽出したコンテンツに対して最も高い分解能レベルで同一と判定されたコンテンツの分解能テーブルに記録する適合分解能レベル登録ステップと、
を行うことを特徴とするコンテンツ特徴量登録方法。
【請求項２】
前記コンテンツ特徴量登録装置は分割領域同一性判定手段を更に有し、
前記適合分解能レベル決定ステップにおいて、前記適合分解能レベル決定手段が、適合分解能レベルを決定した後に、
前記分割領域同一性判定手段が、
前記検索クエリとしたコンテンツと、該検索クエリと最も高い分解能レベルで同一と判定され、前記コンテンツ特徴量データベースに既に登録されているコンテンツとにおいて、前記領域分割ステップで分割された分割領域毎に、前記適合分解能レベルで特徴量の同一性判定を行うステップと、
前記分割領域同一性判定手段が、
同一でないと判定される分割領域の、領域を特定する分割領域識別情報を前記コンテンツ特徴量データベースの前記分解能テーブルに記録するステップと、
を行う、請求項１記載のコンテンツ特徴量登録方法。
【請求項３】
コンピュータをコンテンツ分割手段、特徴量抽出手段、同一性判定手段、再抽出手段、コンテンツ特徴量データベースを有するコンテンツ検索装置として機能させ、請求項１記載のコンテンツ特徴量登録方法により登録された、コンテンツ特徴量と、適合分解能レベルを有する分解能テーブルとを有する該コンテンツ特徴量データベースから、コンテンツの特徴量を検索クエリとして、同一のコンテンツを検索するコンテンツ検索方法であって、
前記コンテンツ分割手段が、入力されたコンテンツを一定領域に分割するコンテンツ分割ステップと、
前記特徴量抽出手段が、識別分解能に基づく分解能レベルで、特徴量を多段階に分離して領域毎に抽出する特徴量抽出手法により、検索クエリのコンテンツの最低分解能レベルの特徴量を抽出する特徴量抽出ステップと、
前記同一性判定手段が、前記特徴量で、前記コンテンツ特徴量データベースに既に登録されている特徴量と比較を行い、同一性を判定し、同一のコンテンツが１つの場合には該同一のコンテンツを出力する同一性判定ステップと、
前記同一性判定ステップで同一のコンテンツが複数ある場合には、前記再抽出手段が、前記コンテンツ特徴量データベースから、前記同一性判定ステップで同一と判定される全てのコンテンツの分解能テーブルの適合分解能レベルを読み出して、その中で最も高い適合分解能レベルで、前記検索クエリのコンテンツの特徴量を抽出して、同一と判定されたコンテンツの特徴量と比較して同一性を判定し、同一のコンテンツを抽出し、出力する、再抽出ステップと、
を行うことを特徴とするコンテンツ検索方法。
【請求項４】
コンピュータをコンテンツ分割手段、特徴量抽出手段、同一性判定手段、再抽出手段、コンテンツ特徴量データベースを有するコンテンツ検索装置として機能させ、請求項１及び、請求項２記載のコンテンツ特徴量登録方法により登録された、コンテンツ特徴量と、適合分解能レベルと特徴量領域を特定する分割領域識別情報からなる分解能テーブルを有するコンテンツ特徴量データベースから、コンテンツの特徴量を検索クエリとして、同一のコンテンツを検索するコンテンツ検索方法であって、
前記コンテンツ分割手段が、入力されたコンテンツを一定領域に分割するコンテンツ分割ステップと、
前記特徴量抽出手段が、識別分解能に基づく分解能レベルで、特徴量を多段階に分離して領域毎に抽出する特徴量抽出手法により、最低分解能レベルの特徴量を抽出する特徴量抽出ステップと、
前記同一性判定手段が、抽出された前記特徴量と、前記コンテンツ特徴量データベースに既に登録されている特徴量との比較を行い、同一性を判定し、同一と判定される特徴量一次一致コンテンツが１つの場合には、該コンテンツを出力する同一性判定ステップと、
前記再抽出手段が、前記特徴量一次一致コンテンツが複数存在する場合には、前記コンテンツ特徴量データベースの、全ての特徴量一次一致コンテンツの分解能テーブルより適合分解能レベルと分割領域識別情報を読み出し、前記検索クエリのコンテンツの分割領域識別情報の示す領域の適合分解能レベルの特徴量を抽出し、該特徴量一次一致コンテンツに相当する分割領域、分解能レベルの特徴量とで、同一性を判定し、同一のコンテンツを抽出し出力する、再抽出ステップと、
を行うことを特徴とするコンテンツ検索方法。
【請求項５】
コンテンツの特徴量をデータベースに記録するコンテンツ特徴量登録装置であって、
入力されたコンテンツを一定領域に分割する領域分割手段と、
分割された領域毎に特徴量を抽出する特徴量抽出手段と、
設定された分解能レベル毎に特徴量を抽出して、前記コンテンツと各分解能レベルの特徴量を関連付けてコンテンツ特徴量データベースのコンテンツ特徴量領域に登録するコンテンツ特徴量登録手段と、
前記コンテンツの特徴量を検索クエリとして、前記コンテンツ特徴量データベース内に既に登録されている特徴量と比較し、コンテンツの同一性を判定する同一性判定手段と、
最低分解能レベルの特徴量から順に前記コンテンツの同一性判定を実行し、同一と判定されるコンテンツが存在する場合には、前記分解能レベルを上げて該コンテンツの同一性判定を行う再同一性判定手段と、
同一と判定されるコンテンツが存在しない場合には、前記分解能レベルを適合分解能レベルとして決定する適合分解能レベル決定手段と、
前記検索クエリとした特徴量を、前記コンテンツ特徴量データベースの、抽出したコンテンツに対して最も高い分解能レベルで同一と判定されたコンテンツの分解能テーブルに記録する適合分解能レベル登録手段と、
を有することを特徴とするコンテンツ特徴量登録装置。
【請求項６】
前記適合分解能レベル決定手段において、適合分解能レベルを決定した後に、
前記検索クエリとしたコンテンツと、該検索クエリと最も高い分解能レベルで同一と判定され、前記コンテンツ特徴量データベースに既に登録されているコンテンツとにおいて、前記領域分割手段で分割された分割領域毎に、前記適合分解能レベルで特徴量の同一性判定を行う手段と、
同一でないと判定される分割領域の、領域を特定する分割領域識別情報を前記コンテンツ特徴量データベースの前記分解能テーブルに記録する手段と、
を有する、請求項５記載のコンテンツ特徴量登録装置。
【請求項７】
請求項５記載のコンテンツ特徴量登録装置により登録された、コンテンツ特徴量と、適合分解能レベルを有する分解能テーブルとを有するコンテンツ特徴量データベースから、コンテンツの特徴量を検索クエリとして、同一のコンテンツを検索するコンテンツ検索装置であって、
入力されたコンテンツを一定領域に分割するコンテンツ分割手段と、
識別分解能に基づく分解能レベルで、特徴量を多段階に分離して領域毎に抽出する特徴量抽出手法により、検索クエリのコンテンツの最低分解能レベルの特徴量を抽出する特徴量抽出手段と、
前記特徴量で、前記コンテンツ特徴量データベースに既に登録されている特徴量と比較を行い、同一性を判定し、同一のコンテンツを出力する同一性判定手段と、
前記コンテンツ特徴量データベースから、前記同一性判定手段で同一と判定される全てのコンテンツの分解能テーブルの適合分解能レベルを読み出して、その中で最も高い適合分解能レベルで、前記検索クエリのコンテンツの特徴量を抽出して、同一と判定されたコンテンツの特徴量と比較して同一性を判定し、同一のコンテンツを抽出し、出力する、再抽出手段と、
を有することを特徴とするコンテンツ検索装置。
【請求項８】
請求項５及び、請求項６記載のコンテンツ特徴量登録装置により登録された、コンテンツ特徴量と、適合分解能レベルと特徴量領域を特定する分割領域識別情報からなる分解能テーブルを有するコンテンツ特徴量データベースから、コンテンツの特徴量を検索クエリとして、同一のコンテンツを検索するコンテンツ検索装置であって、
入力されたコンテンツを一定領域に分割するコンテンツ分割手段と、
識別分解能に基づく分解能レベルで、特徴量を多段階に分離して領域毎に抽出する特徴量抽出手法により、最低分解能レベルの特徴量を抽出する特徴量抽出手段と、
抽出された前記特徴量と、前記コンテンツ特徴量データベースに既に登録されている特徴量と比較を行い、同一性を判定し、同一と判定される特徴量一次一致コンテンツが１つの場合には、該コンテンツを出力する同一性判定手段と、
前記特徴量一次一致コンテンツが複数存在する場合には、前記コンテンツ特徴量データベースの、全ての特徴量一次一致コンテンツの分解能テーブルより適合分解能レベルと分割領域識別情報を読み出し、前記検索クエリのコンテンツの分割領域識別情報の示す領域の適合分解能レベルの特徴量を抽出し、該特徴量一次一致コンテンツに相当する分割領域、分解能レベルの特徴量とで、同一性を判定し、同一のコンテンツを抽出し出力する、再抽出手段と、
を有することを特徴とするコンテンツ検索装置。
【請求項９】
コンピュータに、
請求項１または、２記載のコンテンツ特徴量登録方法の各ステップを実行させることを特徴とするコンテンツ特徴量登録プログラムである。
【請求項１０】
コンピュータに、
請求項３または、４記載のコンテンツ検索方法の各ステップを実行させることを特徴とするコンテンツ検索プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、コンテンツ特徴量登録方法及びコンテンツ検索方法及び装置及びプログラムに係り、特に、動画像、静止画像、音声、テキスト情報などのディジタルコンテンツの特徴量をデータベースに登録し、当該データベースに登録されたコンテンツの特徴量を用いて、指定したコンテンツと同一性のあるコンテンツを選び出し、提示するコンテンツ特徴量登録方法及びコンテンツ検索方法及び装置及びプログラムに関する。
【背景技術】
【０００２】
大量のコンテンツ情報の中から同一性を識別し、必要な情報を検索する方法が求められている。コンテンツの検索方法には、利用者が検索クエリとして、キーワードなどコンテンツに関連するテキスト情報（メタ情報）を入力し検索する方法と、コンテンツ自体の特徴量を検索クエリとして利用する方法がある。コンテンツ自体の特徴量を利用して検索を行う方法では、例えば、画像であれば、コンテンツの色の分布や形状などの特徴量を基にコンテンツに固有の特徴量を抽出し、それらの特徴量のマッチングにより識別する方法がある（例えば、非特許文献１、非特許文献２参照）。
【０００３】
コンテンツを検索クエリとすると、所有するコンテンツと同一の内容で別の品質のコンテンツや、タイトル、作者、ラインセンス情報などの関連するメタ情報を調べることができる。
【０００４】
また、提供者が意図しない利用条件で配布されている不正利用コンテンツの所在を確認できる。
【０００５】
コンテンツの特徴量を利用した検索では、あるコンテンツ集団の特徴量を予め抽出してデータベースに蓄積しておき、検索したいクエリとなるコンテンツから特徴を抽出し、それらデータベースの情報と特徴量を比較して同等のコンテンツを識別し、結果を提示する。
【非特許文献１】「オブジェクトに基づく高速画像検索システム：ExSight」串間和彦他、情報処理学会論文誌、Vol.40, No.2, pp732-741,(1999)
【非特許文献２】“The MPEG-7 color layout descriptor: a compact image feature description for high-speed image/video segment retrieval”, E. Kasutani, A. Yamada, IEEE Proc. of International Conference on Image Processing (ICIP 2001), vol. I, pp. 674-677, October 2001.
【発明の開示】
【発明が解決しようとする課題】
【０００６】
前述のコンテンツ特徴量を検索クエリとするコンテンツ検索においては、コンテンツをある精度で特徴付けした特徴量を利用する。例えば、上記の非特許文献２のような静止画コンテンツを縦横複数の矩形領域に分割し、領域毎の代表的色情報の組み合わせによって特徴量を取得する方法では、領域の分割サイズによってコンテンツの特徴量の精度が異なり、同一性を比較する際の識別分解能を低くした比較でも十分であり、画像の一部のみが微妙に変化する。例えば、固定カメラによる連続写真のような複数のコンテンツを見分けるには、分割する領域を小さくして詳細な部分的変化を識別可能にする高い分解能である必要がある。しかしながら、分割領域を小さくすることにより領域数が増加し、抽出する特徴量の数及び特徴量の比較回数が増加する。演算性能や通信性能に限度があり、特徴量の抽出・送受信のコストを可能な限り低くしたいと考える場合は、このような特徴量の増加は大きな負担となる。
【０００７】
本発明は、上記の点に鑑みなされたもので、検索クエリとするコンテンツの特徴量抽出と同一性識別のためのデータの授受をできるだけ抑え、高い分解能によるコンテンツの識別を、効率よく低コストで行うことが可能な、コンテンツ特徴量登録・検索方法及び装置及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
図１は、本発明の原理を説明するための図である。
【０００９】
本発明（請求項１）は、コンピュータをコンテンツ特徴量データベース、領域分割手段、特徴量抽出手段、コンテンツ特徴量登録手段、同一性判定手段、再同一性判定手段、適合分解能レベル決定手段、適合分解レベル登録手段を有するコンテンツ特徴量登録装置として機能させるコンテンツ特徴量登録方法であって、
領域分割手段が、入力されたコンテンツを一定領域に分割する領域分割ステップ（ステップ１）と、
特徴量抽出手段が、分割された領域毎に特徴量を抽出する特徴量抽出ステップ（ステップ２）と、
コンテンツ特徴量登録手段が、設定された分解能レベル毎に特徴量を抽出して、コンテンツと各分解能レベルの特徴量を関連付けてコンテンツ特徴量データベースのコンテンツ特徴量領域に登録するコンテンツ特徴量登録ステップ（ステップ３）と、
同一性判定手段が、コンテンツの特徴量を検索クエリとして、コンテンツ特徴量データベース内に既に登録されている特徴量と比較し、コンテンツの同一性を判定する同一性判定ステップ（ステップ４）と、
再同一性判定手段が、最低分解能レベルの特徴量から順にコンテンツの同一性判定を実行し、同一と判定されるコンテンツが存在する場合には、分解能レベルを上げて該コンテンツの同一性判定を行う再同一性判定ステップ（ステップ５）と、
同一と判定されるコンテンツが存在しない場合には、適合分解能レベル決定手段が、分解能レベルを適合分解能レベルとして決定する適合分解能レベル決定ステップ（ステップ６）と、
適合分解レベル登録手段が、検索クエリとした特徴量を、コンテンツ特徴量データベースの、抽出したコンテンツに対して最も高い分解能レベルで同一と判定されたコンテンツの分解能テーブルに記録する適合分解能レベル登録ステップ（ステップ７）と、を行う。
【００１０】
また、本発明（請求項２）は、コンテンツ特徴量登録装置は分割領域同一性判定手段を更に有し、
適合分解能レベル決定ステップにおいて、適合分解能レベル決定手段が、適合分解能レベルを決定した後に、
分割領域同一性判定手段が、
検索クエリとしたコンテンツと、該検索クエリと最も高い分解能レベルで同一と判定され、コンテンツ特徴量データベースに既に登録されているコンテンツとにおいて、領域分割ステップで分割された分割領域毎に、適合分解能レベルで特徴量の同一性判定を行うステップと、
分割領域同一性判定手段が、
同一でないと判定される分割領域の、領域を特定する分割領域識別情報をコンテンツ特徴量データベースの分解能テーブルに記録するステップと、を行う。
【００１１】
本発明（請求項３）は、コンピュータをコンテンツ分割手段、特徴量抽出手段、同一性判定手段、再抽出手段、コンテンツ特徴量データベースを有するコンテンツ検索装置として機能させ、請求項１記載のコンテンツ特徴量登録方法により登録された、コンテンツ特徴量と、適合分解能レベルを有する分解能テーブルとを有する該コンテンツ特徴量データベースから、コンテンツの特徴量を検索クエリとして、同一のコンテンツを検索するコンテンツ検索方法であって、
コンテンツ分割手段が、入力されたコンテンツを一定領域に分割するコンテンツ分割ステップと、
特徴量抽出手段が、識別分解能に基づく分解能レベルで、特徴量を多段階に分離して領域毎に抽出する特徴量抽出手法により、検索クエリのコンテンツの最低分解能レベルの特徴量を抽出する特徴量抽出ステップと、
同一性判定手段が、特徴量で、コンテンツ特徴量データベースに既に登録されている特徴量と比較を行い、同一性を判定し、同一のコンテンツが１つの場合には該同一のコンテンツを出力する同一性判定ステップと、
同一性判定ステップで同一のコンテンツが複数ある場合には、再抽出手段が、コンテンツ特徴量データベースから、同一性判定ステップで同一と判定される全てのコンテンツの分解能テーブルの適合分解能レベルを読み出して、その中で最も高い適合分解能レベルで、検索クエリのコンテンツの特徴量を抽出して、同一と判定されたコンテンツの特徴量と比較して同一性を判定し、同一のコンテンツを抽出し、出力する、再抽出ステップと、を行う。
【００１２】
本発明（請求項４）は、コンピュータをコンテンツ分割手段、特徴量抽出手段、同一性判定手段、再抽出手段、コンテンツ特徴量データベースを有するコンテンツ検索装置として機能させ、請求項１及び、請求項２記載のコンテンツ特徴量登録方法により登録された、コンテンツ特徴量と、適合分解能レベルと特徴量領域を特定する分割領域識別情報からなる分解能テーブルを有するコンテンツ特徴量データベースから、コンテンツの特徴量を検索クエリとして、同一のコンテンツを検索するコンテンツ検索方法であって、
コンテンツ分割手段が、入力されたコンテンツを一定領域に分割するコンテンツ分割ステップと、
特徴量抽出手段が、識別分解能に基づく分解能レベルで、特徴量を多段階に分離して領域毎に抽出する特徴量抽出手法により、最低分解能レベルの特徴量を抽出する特徴量抽出ステップと、
同一性判定手段が、抽出された特徴量と、コンテンツ特徴量データベースに既に登録されている特徴量との比較を行い、同一性を判定し、同一と判定される特徴量一次一致コンテンツが１つの場合には、該コンテンツを出力する同一性判定ステップと、
再抽出手段が、特徴量一次一致コンテンツが複数存在する場合には、コンテンツ特徴量データベースの、全ての特徴量一次一致コンテンツの分解能テーブルより適合分解能レベルと分割領域識別情報を読み出し、検索クエリのコンテンツの分割領域識別情報の示す領域の適合分解能レベルの特徴量を抽出し、該特徴量一次一致コンテンツに相当する分割領域、分解能レベルの特徴量とで、同一性を判定し、同一のコンテンツを抽出し出力する、再抽出ステップと、を行う。
【００１３】
図２は、本発明は原理構成図である。
【００１４】
本発明（請求項５）は、コンテンツの特徴量をデータベースに記録するコンテンツ特徴量登録装置であって、
入力されたコンテンツを一定領域に分割する領域分割手段２０と、
分割された領域毎に特徴量を抽出する特徴量抽出手段３０と、
設定された分解能レベル毎に特徴量を抽出して、コンテンツと各分解能レベルの特徴量を関連付けてコンテンツ特徴量データベース８０のコンテンツ特徴量領域に登録するコンテンツ特徴量登録手段４０と、
コンテンツの特徴量を検索クエリとして、コンテンツ特徴量データベース８０内に既に登録されている特徴量と比較し、コンテンツの同一性を判定する同一性判定手段５０と、
最低分解能レベルの特徴量から順にコンテンツの同一性判定を実行し、同一と判定されるコンテンツが存在する場合には、分解能レベルを上げて該コンテンツの同一性判定を行う再同一性判定手段５５と、
同一と判定されるコンテンツが存在しない場合には、分解能レベルを適合分解能レベルとして決定する適合分解能レベル決定手段６０と、
検索クエリとした特徴量を、コンテンツ特徴量データベース８０の、抽出したコンテンツに対して最も高い分解能レベルで同一と判定されたコンテンツの分解能テーブルに記録する適合分解能レベル登録手段７０と、を有する。
【００１５】
また、本発明（請求項６）は、適合分解能レベル決定手段において、適合分解能レベルを決定した後に、
検索クエリとしたコンテンツと、該検索クエリと最も高い分解能レベルで同一と判定され、コンテンツ特徴量データベースに既に登録されているコンテンツとにおいて、領域分割手段で分割された分割領域毎に、適合分解能レベルで特徴量の同一性判定を行う手段と、
同一でないと判定される分割領域の、領域を特定する分割領域識別情報をコンテンツ特徴量データベースの分解能テーブルに記録する手段と、を有する。
【００１６】
本発明（請求項７）は、請求項５記載のコンテンツ特徴量登録装置により登録された、コンテンツ特徴量と、適合分解能レベルを有する分解能テーブルとを有するコンテンツ特徴量データベースから、コンテンツの特徴量を検索クエリとして、同一のコンテンツを検索するコンテンツ検索装置であって、
入力されたコンテンツを一定領域に分割するコンテンツ分割手段１２０と、
識別分解能に基づく分解能レベルで、特徴量を多段階に分離して領域毎に抽出する特徴量抽出手法により、検索クエリのコンテンツの最低分解能レベルの特徴量を抽出する特徴量抽出手段１３０と、
特徴量で、コンテンツ特徴量データベース８０に既に登録されている特徴量と比較を行い、同一性を判定し、同一のコンテンツを出力する同一性判定手段１４０と、
コンテンツ特徴量データベース８０から、同一性判定手段１４０で同一と判定される全てのコンテンツの分解能テーブルの適合分解能レベルを読み出して、その中で最も高い適合分解能レベルで、検索クエリのコンテンツの特徴量を抽出して、同一と判定されたコンテンツの特徴量と比較して同一性を判定し、同一のコンテンツを抽出し、出力する、再抽出手段１５０と、を有する。
【００１７】
本発明（請求項８）は、請求項５及び、請求項６記載のコンテンツ特徴量登録装置により登録された、コンテンツ特徴量と、適合分解能レベルと特徴量領域を特定する分割領域識別情報からなる分解能テーブルを有するコンテンツ特徴量データベースから、コンテンツの特徴量を検索クエリとして、同一のコンテンツを検索するコンテンツ検索装置であって、
入力されたコンテンツを一定領域に分割するコンテンツ分割手段と、
識別分解能に基づく分解能レベルで、特徴量を多段階に分離して領域毎に抽出する特徴量抽出手法により、最低分解能レベルの特徴量を抽出する特徴量抽出手段と、
抽出された特徴量と、コンテンツ特徴量データベースに既に登録されている特徴量と比較を行い、同一性を判定し、同一と判定される特徴量一次一致コンテンツが１つの場合には、該コンテンツを出力する同一性判定手段と、
特徴量一次一致コンテンツが複数存在する場合には、コンテンツ特徴量データベースの、全ての特徴量一次一致コンテンツの分解能テーブルより適合分解能レベルと分割領域識別情報を読み出し、検索クエリのコンテンツの分割領域識別情報の示す領域の適合分解能レベルの特徴量を抽出し、該特徴量一次一致コンテンツに相当する分割領域、分解能レベルの特徴量とで、同一性を判定し、同一のコンテンツを抽出し出力する、再抽出手段と、を有する。
【００１８】
本発明（請求項９）は、コンピュータに、請求項１または、２記載のコンテンツ特徴量登録方法の各ステップを実行させるコンテンツ特徴量登録プログラムである。
【００１９】
本発明（請求項１０）は、コンピュータに、請求項３または、４記載のコンテンツ検索方法の各ステップを実行させるコンテンツ検索プログラムである。
【発明の効果】
【００２０】
上記のように本発明によれば、検索クエリとするコンテンツの特徴量抽出と同一性識別のためのデータの授受をできるだけ抑えながら、コンテンツの微細な変化を検知可能な高い分解能によるコンテンツの識別を行うことが可能であり、コンテンツ検索を効率よく低コストで行うことが可能になる。
【発明を実施するための最良の形態】
【００２１】
以下、図面と共に本発明の実施の形態を説明する。
【００２２】
以下の説明において、特に断りがない場合、コンテンツとは、動画像、静止画像、音声、テキスト、メタデータ等のディジタルデータ全てを対象とする。
【００２３】
［第１の実施の形態］
本実施の形態では、コンテンツ特徴量をデータベースに登録する動作を説明する。
【００２４】
図３は、本発明の第１の実施の形態におけるコンテンツ登録装置の構成を示す。
【００２５】
同図に示すコンテンツ登録装置は、コンテンツ入力部１０、領域分割部２０、特徴量抽出部３０、コンテンツ特徴量登録部４０、コンテンツ同一性判定部５０、適合分解能レベル決定部６０、適合分解能レベル登録部７０、コンテンツ特徴量の領域と適合分解能テーブルを有するコンテンツ特徴量ＤＢ８０Ａから構成される。
【００２６】
コンテンツ入力部１０は、外部からコンテンツ（ディジタルデータ）を取得する
領域分割部２０は、入力されたコンテンツを所定の数の領域に分割する。
【００２７】
特徴量抽出部３０は、領域分割部２０で分割された領域毎の特徴量を、所定の分解能レベルで多段階に分離可能な方法で抽出する。
【００２８】
コンテンツ特徴量登録部４０は、所定の分解能レベル毎に特徴量をコンテンツ特徴量ＤＢ８０Ａの特徴量領域に登録する。
【００２９】
コンテンツ同一性判定部５０は、最低の分解能レベルを検索クエリとして、既にコンテンツ特徴量ＤＢ８０Ａに登録されている特徴量との同一性を判定する。同一のコンテンツが検出されない場合は、当該最低分解能レベルを適合分解能レベル登録部７０に渡す。一致するコンテンツ（特徴量一次一致コンテンツ）が検出された場合には、分解能レベルの１段階高い分解能レベルの特徴量を検索クエリとして、当該特徴量一次一致コンテンツを検索し、同一性のコンテンツが検出されなくなるまで、分解能レベルを１つずつ上げながら、当該処理を繰り返す。
【００３０】
適合分解能レベル決定部６０は、同一と判定されるコンテンツが存在しない場合に、分解能レベルを適合分解能レベルとして決定する。
【００３１】
適合分解能レベル登録部７０は、コンテンツ同一性判定部５０において同一のコンテンツが検出されない場合は、最低分解能レベルを適合分解能レベルとして、コンテンツ特徴量ＤＢ８０Ａに登録する。
【００３２】
次に、上記の構成における動作を説明する。
【００３３】
図４は、本発明の第１の実施の形態におけるコンテンツ登録装置の動作のフローチャートであり、コンテンツ特徴量蓄積により新しいコンテンツを登録する手順を示す。
【００３４】
コンテンツ入力部１０において、コンテンツを入力する（ステップ１０１）。
【００３５】
領域分割部２０は、コンテンツを一定領域へと分割する（ステップ１０２）。この領域の分割は、空間的な領域の分割であったり、時間的な分割、空間周波数による分割などがあり、例えば、コンテンツが画像である場合は、画像を縦横複数の矩形領域に分割したり、音声であれば、時間軸のフレーム単位で分割する方法がある。
【００３６】
次に、特徴量抽出部３０において、上記のように分割したコンテンツの各分割領域について特徴量を抽出する。特徴量は、識別分解能に基づく分解能レベルで多段階に分離可能な方法で抽出する（ステップ１０３）。
【００３７】
コンテンツ特徴量登録部４０において各分解能レベルで分離して、分解能レベル毎にコンテンツ特徴量ＤＢ８０Ａに登録する（ステップ１０４）。図５にコンテンツ特徴量ＤＢ８０Ａへの特徴量格納の例を示す。識別分解能は、コンテンツの微細な部分的変化に対してどの程度識別化するかを示し、例えば、前述の画像コンテンツの例では、図６に示すように、分割する矩形領域のサイズを小さくすることで分解能を高くすることが可能である。
【００３８】
次に、上記のコンテンツの適合分解能レベルを決定し、コンテンツ特徴量ＤＢ８０Ａの適合分解能テーブルへ記録する作業を行う。コンテンツ同一性判定部５０は、前述の各分解能レベルの特徴量うち、最低の分解能レベルの特徴量を検索クエリに設定する（ステップ１０５）。
【００３９】
コンテンツ同一性判定部５０は、最低の分解能レベルの特徴量を検索クエリとしてコンテンツ特徴量ＤＢ８０Ａ内の登録済特徴量と同一性が高いと判定されるコンテンツを特徴量一次一致コンテンツとして検出する（ステップ１０６）。特徴量による同一性の判定は、例えば、コンテンツ特徴量ＤＢ８０Ａに格納されている文字列との部分一致割合、数値情報としての差分値、ビット列の部分一致割合等で判断する。
【００４０】
ここで検出されるコンテンツがない場合は（ステップ１０７、Ｎｏ）、分解能レベル決定部は、最低分解能レベルを適合分解能レベルに決定し（ステップ１０８）、当該適合分解能レベルをコンテンツ特徴量ＤＢ８０Ａの分解能テーブルへ記録して登録処理を終了する（ステップ１０９）。
【００４１】
特徴量一次一致コンテンツが検出される場合は（ステップ１０７、Ｙｅｓ）、コンテンツ同一性判定部５０は、分解能レベルの１段高い分解能レベルの特徴量をクエリに設定し、（ステップ１１１）、特徴量一次一致コンテンツ内を検索して、検出されなくなるまで、クエリとする特徴量の分解能レベルを１段上げながらステップ１０７以降の処理を繰り返す。同一と判定される特徴量のコンテンツが存在しなくなる分解能レベルを適合分解能レベルとし（ステップ１０８）、登録のコンテンツと、最も高い分解能レベルで同一と判定されたコンテンツ特徴量ＤＢ８０Ａの分解能テーブルに、適合分解能レベルを記録して（ステップ１０９）、当該処理を終了する。
【００４２】
［第２の実施の形態］
図７は、本発明の第２の実施の形態におけるコンテンツ登録装置の構成を示す。
【００４３】
本実施の形態では、前述の第１の実施の形態の図３の構成に分割領域同一性判定部６５を付加した構成である。
【００４４】
本実施の形態では、適合分解能レベル決定部６０で適合分解能レベルを決定した後に、分割領域同一性判定部６５において、登録コンテンツと、登録コンテンツと最も高い分解能レベルで同一と判断された登録済のコンテンツとで、分割領域毎に、適合分解能レベルで特徴量の同一性判定を行い、同一ではないと判定される分割領域の、領域を特定する分割領域識別情報をコンテンツ特徴量ＤＢ８０Ｂの分解能テーブルに記録する。
【００４５】
例えば、画像コンテンツを４×４の矩形領域に分割して、各々（０，０）〜（３，３）の座標位置を領域識別情報とすると、分割領域毎に特徴量による同一性の判定を行い、同一と判定されない領域の座標情報を全てコンテンツ特徴量ＤＢ８０Ｂの分解能テーブルに追記する。図８にコンテンツ特徴量ＤＢ８０Ｂへの格納例を示す。
【００４６】
なお、適合分解能レベル決定部６０で適合レベルを決定する際に、分割領域毎の同一性判定結果の情報を保持し、分割領域同一性判定部６５において、保持されている情報から同一ではないと判定される分割領域の分割領域識別情報を取得してコンテンツ特徴量ＤＢ８０Ｂに格納するようにしてもよい。
【００４７】
［第３の実施の形態］
以下に、コンテンツの検索について説明する。
【００４８】
本実施の形態では、第１の実施の形態におけるコンテンツ特徴量登録方法により、コンテンツ特徴量ＤＢ８０Ａに登録されたコンテンツ特徴量を用いて、同一のコンテンツを検索する方法を説明する。
【００４９】
図９は、本発明の第３の実施の形態におけるコンテンツ検索装置の構成を示す。
【００５０】
同図に示すコンテンツ検索装置は、コンテンツ指定部１１０、コンテンツ分割部１２０、特徴量抽出部１３０、同一性判定部１４０、再抽出部１５０、出力部１６０、及びコンテンツ特徴量ＤＢ８０Ａから構成される。
【００５１】
コンテンツ指定部１１０は、キーボードやマウス等のデバイスであり、利用者によって検索クエリとするコンテンツが指定される。
【００５２】
コンテンツ分割部１２０は、指定されたコンテンツを一定領域に分割する。
【００５３】
特徴量抽出部１３０は、識別分解能に基づく分解能レベルで、特徴量を多段階に分離して領域毎に抽出手法により、指定された検索クエリのコンテンツの最低分解能レベルの特徴量を抽出する。
【００５４】
同一性判定部１４０は、特徴量抽出部１３０で抽出された特徴量と、コンテンツ特徴量ＤＢ８０Ａに登録されている特徴量との比較を行うことにより同一性の判定を行い、１つの特徴量のコンテンツが検出された場合は、当該コンテンツを出力部１６０に転送する。また、複数の特徴量のコンテンツが検出された場合には、再検索部１５０に転送する。
【００５５】
再検索部１５０は、コンテンツ特徴量ＤＢ８０Ａから同一と判定された全てのコンテンツの分解能テーブルの適合分解能レベルを読み出して、その中で最も高い分解能レベルで、指定された検索クエリのコンテンツの特徴量を抽出して、同一と判定されたコンテンツの特徴量と比較して同一性を判定し、同一のコンテンツを出力部１６０に転送する。
【００５６】
出力部１６０は、同一コンテンツを出力（表示）する。
【００５７】
図１０は、本発明の第３の実施の形態におけるコンテンツ検索装置の動作のフローチャートである。
【００５８】
コンテンツ指定部１１０から検索クエリとするコンテンツが指定されると（ステップ２０１）、コンテンツ分割部１２０において、コンテンツを一定領域へと分割し（ステップ２０２）、各分割領域について特徴量抽出部１３０において特徴量を抽出する（ステップ２０３）。特徴量は識別分解能に基づく分解能レベルで多段階に分離可能な方法で抽出し、同一性判定部１４０において、最低分解能レベルの特徴量とコンテンツ特徴量ＤＢ８０Ａ内の登録済特徴量とで同一性を判定し、同一性が高いと判定されるコンテンツを特徴量一次一致コンテンツとして抽出する（ステップ２０４）。
【００５９】
ここで、特徴量一次一致コンテンツが複数検出される場合は（ステップ２０５、Ｙｅｓ）、再抽出部１５０において、全ての特徴量一次一致コンテンツに対応するコンテンツ特徴量ＤＢ８０Ａ内の分解能テーブルより適合分解能レベルを読み出し、その中で最高の適合分解能レベルである適合最高分解能レベルでの特徴量の再抽出を行う（ステップ２０６）。検索クエリのコンテンツより適合最高分解能レベルで特徴量を再抽出し、再度、特徴量一次一致コンテンツの特徴量とで同一性を判定し、同一のコンテンツを検索結果とする（ステップ２０７）。
【００６０】
同一性判定部１４０による、最低分解能レベルの特徴量での同一性判定で、複数のコンテンツが検出されなかった場合は（ステップ２０５、Ｎｏ）、その結果がそのまま検索結果として確定され（ステップ２０８）、得られた検索結果を出力部１６０に表示する（ステップ２０９）。
【００６１】
［第４の実施の形態］
本実施の形態では、第３の実施の形態において、前述の第２の実施の形態によりコンテンツ特徴量を蓄積したコンテンツ特徴量ＤＢ８０Ｂを用いる検索の動作を説明する。
【００６２】
装置構成については、第３の実施の形態の構成と同様である。
【００６３】
適合最大分解レベルで特徴量を再抽出する際に（ステップ２０６）、コンテンツ特徴量ＤＢ８０Ｂの適合分解能テーブルの領域識別情報を同時に読み取り、領域識別情報の示す領域のみを対象として特徴量を再抽出し、同一性を判定する。
【００６４】
例えば、図８に示すコンテンツ特徴量ＤＢ８０Ｂの適合分解能テーブルより領域識別情報である画像コンテンツの矩形分割領域の座標位置を読み取り、検索クエリとする画像コンテンツから、その座標が示す分割領域のみ特徴量の再抽出を行い、特徴量の同一性を判定することで、少ない計算量とデータ送受信量で、画像のより詳細な部分の識別が可能となる。
【００６５】
［第５の実施の形態］
本実施の形態では、前述の第３の実施の形態における処理フローを別の端末に分離して実装する場合の処理シーケンスである。
【００６６】
図１１は、本発明の第５の実施の形態における端末間の検索動作のシーケンスチャートである。同図中の破線の左側の端末Ａのシーケンスと右側の端末Ｂのシーケンスをそれぞれ別に実装し、当該端末間においては、無線もしくは有線による通信でデータを送受信する。
【００６７】
端末Ａにおいて、コンテンツを指定し（ステップ３０１）、領域を分割し（ステップ３０２）、当該領域毎に最低分解能レベルの特徴量を抽出する（ステップ３０３）。端末Ａは、抽出された特徴量を端末Ｂに送信する（ステップ３０４）。
【００６８】
端末Ｂにおいて、端末Ａから特徴量を受信すると、コンテンツ特徴量ＤＢ８０から登録済コンテンツとの同一性を判定する（ステップ３０５）。当該同一性判定において複数のコンテンツが抽出された場合は（ステップ３０６、Ｙｅｓ）、適合最大分解能レベルの特徴量を端末Ａに要求する（ステップ３０７）。
【００６９】
端末Ａは、特徴量を再抽出し（ステップ３０８）、抽出された特徴量を端末Ｂに送信する（ステップ３０９）。
【００７０】
端末Ｂは、端末Ａから送信された特徴量に基づいて再度、特徴量一次一致コンテンツの特徴量とで同一性を判定し（ステップ３１０）、その結果を確定し、検索結果として端末Ａに送信する（ステップ３１１）。端末Ａは、端末Ｂから送信された検索結果を表示する（ステップ３１２）。
【００７１】
なお、コンテンツの指定と検索結果の表示を行う端末は、携帯電話、ＰＤＡなどで、上記の端末に搭載もしくは接続されたカメラにより撮影された画像の場合もある。画像は１枚ずつ撮影されて送信される場合もあるし、連続画像として逐次送信される場合もある。
【００７２】
なお、本発明は、上記の第1〜第４の実施の形態における、各動作をプログラムとして構築し、コンテンツ特徴量登録装置、コンテンツ検索装置として利用されるコンピュータにインストールして実行する、または、ネットワークを介して流通させることが可能である。
【００７３】
また、構築されたプログラムをハードディスクや、フレキシブル・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納しておき、コンピュータにインストールして実行させる、または、配布することが可能である。
【００７４】
なお、本発明は、上記の実施の形態に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。
【産業上の利用可能性】
【００７５】
本発明は、コンテンツ（動画像・静止画像・音声・テキスト・メタデータ等）のディジタルデータを対象に、検索を行うための技術に適用可能となる。
【図面の簡単な説明】
【００７６】
【図１】本発明の原理を説明するための図である。
【図２】本発明の原理構成図である。
【図３】本発明の第１の実施の形態におけるコンテンツ登録装置の構成図である。
【図４】本発明の第１の実施の形態におけるコンテンツ登録装置の動作のフローチャートである。
【図５】本発明の第１の実施の形態におけるコンテンツＤＢのデータ登録の例である。
【図６】本発明の第１の実施の形態における分解能レベルを説明するための図である。
【図７】本発明の第２の実施の形態におけるコンテンツ登録装置の構成図である。
【図８】本発明の第２の実施の形態におけるコンテンツＤＢのデータ登録の例である。
【図９】本発明の第３の実施の形態におけるコンテンツ検索装置の構成図である。
【図１０】本発明の第３の実施の形態におけるコンテンツ検索装置の動作のフローチャートである。
【図１１】本発明の第５の実施の形態における端末間の検索動作のシーケンスチャートである。
【符号の説明】
【００７７】
１０  コンテンツ入力部
２０  領域分割手段、領域分割部
３０  特徴量抽出手段、特徴量抽出部
４０  コンテンツ特徴量登録手段、コンテンツ特徴量登録部
５０  同一性判定手段、コンテンツ同一性判定部
５５  再同一性判定手段
６０  適合分解能レベル決定手段、適合分解能レベル決定部
６５  分割領域同一性判定部
７０  適合分解能レベル登録手段、適合分解能レベル登録部
８０Ａ，８０Ｂ  コンテンツ特徴量データベース
１１０  コンテンツ指定部
１２０  コンテンツ分割手段、コンテンツ分割部
１３０  特徴量抽出手段、特徴量抽出部
１４０  同一性判定手段、同一性判定部
１５０  再抽出手段、再抽出部
１６０  出力部
【図１】
0004563313.tif 000002
【図２】
0004563313.tif 000003
【図３】
0004563313.tif 000004
【図４】
0004563313.tif 000005
【図５】
0004563313.tif 000006
【図６】
0004563313.tif 000007
【図７】
0004563313.tif 000008
【図８】
0004563313.tif 000009
【図９】
0004563313.tif 000010
【図１０】
0004563313.tif 000011
【図１１】
0004563313.tif 000012