(57)【要約】【課題】ユーザが保有するコンテンツの内容に則して、効果的にユーザの意図に合う類似判定を行うことを可能とする類似コンテンツ検索処理装置を提供する。【解決手段】類似コンテンツ検索処理装置は、検索対象であるコンテンツ群を取得し、検索時の問合せ元となる少なくとも１つ以上のコンテンツデータを入力し、取得されるコンテンツまたは入力されるコンテンツの属性情報を抽出し、入力されるコンテンツの属性情報と、取得される少なくとも１つ以上のコンテンツ群の属性情報から属性情報との差分情報を算出し、算出された差分情報に基づいてコンテンツ間の類似度を算出する際の基準となる類似度基準を決定し、決定された類似度基準に基づいて、コンテンツ間の類似度を算出し、算出された類似度を基に所定の条件を満たすコンテンツを選択する。【選択図】図１
2014092955.tif 000002
【特許請求の範囲】
【請求項１】
検索対象であるコンテンツ群を取得するコンテンツデータ取得手段と、
検索時の問合せ元となる少なくとも１つ以上のコンテンツデータを入力するクエリ情報入力手段と、
前記コンテンツデータ取得手段により取得されるコンテンツまたは前記クエリ情報入力手段により入力されるコンテンツの属性情報を抽出するコンテンツ情報抽出手段と、
前記コンテンツ情報抽出手段により抽出される、前記クエリ情報入力手段により入力されるコンテンツの属性情報と、前記コンテンツデータ取得手段により取得される少なくとも１つ以上のコンテンツ群の属性情報から属性情報の差分情報を算出し、算出された差分情報に基づいて前記コンテンツの間の類似度を算出する際の基準となる類似度基準を決定する類似度基準決定手段と、
前記類似度基準決定手段により決定された類似度基準に基づいて、前記コンテンツの間の類似度を算出する類似度算出手段と、
前記類似度算出手段により算出された類似度を基に所定の条件を満たすコンテンツを選択する合致コンテンツ選択手段と、
を備えることを特徴とする類似コンテンツ検索処理装置。
【請求項２】
前記類似度基準決定手段は、前記クエリ情報入力手段に入力されるコンテンツの属性情報として、入力されるコンテンツ自体から抽出される属性情報、または入力されるコンテンツが属する一定単位のコンテンツ群から抽出される属性情報、またはその両方の属性情報を抽出するクエリ属性抽出手段を更に備え、
前記類似度基準決定手段は、前記クエリ属性抽出手段により抽出される属性情報に基づいて、算出する差分情報の算出方法を変更する
ことを特徴とする請求項１記載の類似コンテンツ検索処理装置。
【請求項３】
前記類似度基準決定手段は、前記コンテンツデータ取得手段により取得される検索対象となるコンテンツ群から属性情報を抽出する対象群属性抽出手段を更に備え、
前記類似度基準決定手段は、前記属性情報を抽出する一定単位のコンテンツ群は、複数のコンテンツデータで構成されており、構成条件は少なくともコンテンツ群の撮影時間、撮影場所、風景シーン、撮影構図、イベント内容またはユーザがまとめている単位のいずれかの条件を満たしている
ことを特徴とする請求項２記載の類似コンテンツ検索処理装置。
【請求項４】
前記類似度基準決定手段は、前記クエリ属性抽出手段により抽出される属性情報と前記対象群属性抽出手段から抽出される属性情報を比較し、類似度判定に必要な差分情報を算出する属性情報比較手段を更に備え、
前記類似度基準決定手段において、前記差分情報を算出する際の比較単位は、少なくともコンテンツ群の撮影時間、撮影場所、風景シーン、撮影構図、イベント内容またはユーザがまとめている単位のいずれかの条件を満たしている構成単位であり、同一粒度の条件で構成されている少なくとも１つ以上のコンテンツ群から差分情報を算出する
ことを特徴とする請求項２記載の類似コンテンツ検索処理装置。
【請求項５】
前記コンテンツ情報抽出手段から抽出される属性情報は、前記コンテンツデータが生成された機器から抽出可能なメタデータ情報、前記コンテンツデータを解析することにより抽出可能なメタデータ情報、または前記コンテンツデータを利用することにより抽出可能なメタデータ情報の内、少なくとも１つ以上のメタデータ情報を含み、
前記類似度基準決定手段は、前記コンテンツ情報抽出手段により抽出されるコンテンツ群に対する属性情報に対して、統計的解析手法により抽出可能な統計情報を用いて差分情報を算出する
ことを特徴とする請求項１記載の類似コンテンツ検索処理装置。
【請求項６】
前記類似度基準決定手段は、前記差分情報に基づいて類似度判定に用いる特徴量および類似度算出手法等の基準情報を決定する基準情報決定手段を更に備え、
前記基準情報決定手段において、コンテンツ群の撮影日や撮影時間帯等の時間に関する情報、撮影場所や撮影範囲等の場所に関する情報、登場人物や頻出人物や特定ポーズ等の人に関する情報、撮影シーンや構図や被写体の動き情報等の撮影内容に関する情報、撮影物体等の撮影被写体に関する情報の内、少なくとも１つ以上の情報を用いてコンテンツ群の統計情報を抽出し、前記類似度基準決定手段は、抽出された統計情報に従って前記基準情報を決定する
ことを特徴とする請求項５記載の類似コンテンツ検索処理装置。
【請求項７】
前記類似度基準決定手段は、前記差分情報に基づいて類似度判定に用いる特徴量および類似度算出手法等の基準情報を決定する基準情報決定手段を更に備え、
前記類似度基準決定手段は、抽出された統計情報の内、差分情報として一定値以上の差分の少ない属性情報を用いて、類似度判定に用いる前記基準情報を決定する
ことを特徴とする請求項５記載の類似コンテンツ検索処理装置。
【請求項８】
前記類似度基準決定手段は、前記統計情報において、各属性情報の差分情報により得られる一致度合いを算出することにより、類似度判定に用いる基準情報の重み付けを変更することで前記基準情報を決定する
ことを特徴とする請求項７記載の類似コンテンツ検索処理装置。
【請求項９】
前記類似度基準決定手段は、前記基準情報である利用特徴量として、コンテンツ全体に関する特徴量、コンテンツの局所部分に関する特徴量、コンテンツの前景または背景領域に関する特徴量、コンテンツの階層的な構成に関する特徴量、コンテンツの被写体に関する特徴量の内、少なくとも１つ以上を選択決定し、選択決定された特徴量に基づいてその類似度を算出可能な手法を選択決定する
ことを特徴とする請求項７記載の類似コンテンツ検索処理装置。
【請求項１０】
前記類似度基準決定手段は、問合せ元のコンテンツデータと検索対象であるコンテンツデータ群との類似度から同一コンテンツであるかどうかを判定する際に、前記差分情報を基に類似度基準と同一コンテンツである場合の類似度範囲を表す同一性判定範囲を決定する
ことを特徴とする請求項１記載の類似コンテンツ検索処理装置。
【請求項１１】
前記コンテンツ情報抽出手段から抽出される属性情報は、前記コンテンツデータが生成された機器から抽出可能なメタデータ情報、前記コンテンツデータを解析することにより抽出可能なメタデータ情報、または前記コンテンツデータを利用することにより抽出可能なメタデータ情報の内、少なくとも１つ以上のメタデータ情報を含み、
前記類似度基準決定手段は、前記属性情報であるメタデータ情報の種類およびその差分情報に基づいて、同一コンテンツである事を検出すべき対象であるかを判定し、検出すべき対象に対してそのコンテンツ群に共通する傾向情報を抽出する事によって、前記同一性判定範囲を決定する
ことを特徴とする請求項１０記載の類似コンテンツ検索処理装置。
【請求項１２】
前記類似度基準決定手段は、前記類似度基準および同一性判定範囲と前記合致コンテンツ選択手段で選択されたコンテンツ群に基づいて、同一性を判定すべき内容を絞り込み、前記判定すべき内容を判定可能な類似度基準と同一性判定範囲を再決定し、
前記合致コンテンツ選択手段は、前記類似度基準決定手段で決定された類似度基準と同一性判定範囲に合致するコンテンツ群から同一コンテンツであると決定できない場合に、合致コンテンツ群を前記類似度基準決定手段に入力する事により、再帰的に同一コンテンツを探索し選択する
ことを特徴とする請求項１０記載の類似コンテンツ検索処理装置。
【請求項１３】
前記類似度基準決定手段は、各コンテンツ群に対して複数の前記類似度基準および同一性判定範囲を決定し、
前記合致コンテンツ選択手段は、前記類似度基準決定手段で決定された複数の類似度基準と同一性判定範囲から各コンテンツの類似度変化度合いまたは同一性変化度合いを用いることによって、同一コンテンツを選択する
ことを特徴とする請求項１０記載の類似コンテンツ検索処理装置。
【請求項１４】
前記合致コンテンツ選択手段で選択されたコンテンツを前記類似度基準に適する配置で表示する表示手段を更に備え、
前記類似度基準決定手段は、属性情報の差分情報に基づいて決定される類似度基準が比較コンテンツ群に対して少なくとも一度以上は変更され、
前記合致コンテンツ選択手段は、前記類似度基準決定手段で決定された複数の類似度基準を用いて前記類似度算出手段で算出された類似度に対して一定条件で合致するコンテンツ群を選択する
ことを特徴とする請求項１記載の類似コンテンツ検索処理装置。
【請求項１５】
前記類似度基準決定手段は、特定の１つの属性情報または複合的な１つの属性情報の差分情報に基づいて類似度基準を変更し、
前記表示手段は、前記合致コンテンツ選択手段で選択されたコンテンツを変更された類似度基準に従って、前記１つの属性情報の差分情報が増加するまたは減少する順に１次元的にコンテンツを配置して表示する
ことを特徴とする請求項１４記載の類似コンテンツ検索処理装置。
【請求項１６】
前記類似度基準決定手段は、特定の２つの属性情報または複合的な２つの属性情報の差分情報に基づいて類似度基準を変更し、
前記表示手段は、前記合致コンテンツ選択手段で選択されたコンテンツを変更された類似度基準に従って、前記２つの属性情報の差分情報それぞれが増加するまたは減少する順に２次元的にコンテンツを配置して表示する
ことを特徴とする請求項１４記載の類似コンテンツ検索処理装置。
【請求項１７】
前記表示手段に表示されているコンテンツまたは一定単位のコンテンツ群において、ユーザ所望のコンテンツまたは一定単位のコンテンツ群が選択された際に、その選択情報等を入力するユーザ操作入力手段を更に備え、
前記類似度基準決定手段は、前記ユーザ操作入力手段で入力された選択情報に基づいて、差分情報を算出するコンテンツ間に最適な属性情報を選択する事によって、類似度基準を再決定する
ことを特徴とする請求項１４記載の類似コンテンツ検索処理装置。
【請求項１８】
コンテンツ情報抽出手段により抽出される履歴情報は、メタデータ情報またはユーザにより編集されているフォルダ構成等のコンテンツの階層的な構造情報を含み、
前記類似度基準決定手段は、構造情報における特定の階層または特定の構造におけるコンテンツ群単位で類似度基準を決定し、
前記表示手段は、類似度基準が決定された構造情報に従ってコンテンツを配置する
ことを特徴とする請求項１７記載の類似コンテンツ検索処理装置。
【請求項１９】
検索対象であるコンテンツ群を取得するコンテンツデータ取得ステップと、
検索時の問合せ元となる少なくとも１つ以上のコンテンツデータを入力するクエリ情報入力ステップと、
前記コンテンツデータ取得ステップにより取得されるコンテンツまたは前記クエリ情報入力手段により入力されるコンテンツの属性情報を抽出するコンテンツ情報抽出ステップと、
前記コンテンツ情報抽出ステップにより抽出される、前記クエリ情報入力ステップにより入力されるコンテンツの属性情報と、前記コンテンツデータ取得ステップにより取得される少なくとも１つ以上のコンテンツ群の属性情報から属性情報の差分情報を算出し、算出された差分情報に基づいて前記コンテンツの間の類似度を算出する際の基準となる類似度基準を決定する類似度基準決定ステップと、
前記類似度基準決定ステップにより決定された類似度基準に基づいて、前記コンテンツの間の類似度を算出する類似度算出ステップと、
前記類似度算出ステップにより算出された類似度を基に所定の条件を満たすコンテンツを選択する合致コンテンツ選択ステップと、
を備えることを特徴とする類似コンテンツ検索処理方法。
【請求項２０】
コンピュータに、
検索対象であるコンテンツ群を取得するコンテンツデータ取得ステップと、
検索時の問合せ元となる少なくとも１つ以上のコンテンツデータを入力するクエリ情報入力ステップと、
前記コンテンツデータ取得ステップにより取得されるコンテンツまたは前記クエリ情報入力手段により入力されるコンテンツの属性情報を抽出するコンテンツ情報抽出ステップと、
前記コンテンツ情報抽出ステップにより抽出される、前記クエリ情報入力ステップにより入力されるコンテンツの属性情報と、前記コンテンツデータ取得ステップにより取得される少なくとも１つ以上のコンテンツ群の属性情報から属性情報の差分情報を算出し、算出された差分情報に基づいて前記コンテンツの間の類似度を算出する際の基準となる類似度基準を決定する類似度基準決定ステップと、
前記類似度基準決定ステップにより決定された類似度基準に基づいて、前記コンテンツの間の類似度を算出する類似度算出ステップと、
前記類似度算出ステップにより算出された類似度を基に所定の条件を満たすコンテンツを選択する合致コンテンツ選択ステップと、
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ユーザが保有するコンテンツ群の属性情報に基づいて、コンテンツの内容を加味した類似コンテンツ検索が可能なコンテンツ処理技術に関するものである。
【背景技術】
【０００２】
近年、例えば被写体像を撮像するＤＳＣ（Ｄｉｇｉｔａｌ  Ｓｔｉｌｌ  Ｃａｍｅｒａ）やデジタル一眼レフカメラやデジタルムービーカメラ、さらにはスマートフォン等の携帯電話カメラやタブレット端末カメラなどが広く普及しており、気軽な写真撮影や動画撮影が可能になっている。また、コンテンツデータ保存用の記録媒体は大規模化が進みクラウドサービス等のサーバー容量も拡大の一途である。さらにソーシャルメディアの発展により、多様な人々が個人コンテンツを共有し合っている。
【０００３】
そのため、個人ユーザは膨大な量のコンテンツを保有する事や共有する事が自然な行為になっているが、ユーザが保有している膨大な量のコンテンツ群からユーザが利用時に必要なコンテンツを探したり、必要なコンテンツだけをユーザと共有して楽しんだりするには、膨大な量のコンテンツを手動でタグ付けしたりする事で整理しておく必要があるため、多大な時間と労力を必要とするという課題がある。また、写真や動画といったコンテンツデータを用いて業務宣伝をする事や、料理や服装や家具等の購入時にメニューや実物リストとしてコンテンツを利用する機会が増加している。この際にも同様の課題が発生する。
【０００４】
そこで、ユーザが所望するコンテンツを効率的に探して利用できる様に、コンテンツから取得される特徴量を用いてユーザが指定したコンテンツと見た目が似ているコンテンツ群のみを集めることで、類似コンテンツを検索する類似検索処理技術が注目されている。
【０００５】
また、多数のコンテンツ画像に対する類似画像検索において、より効果的にユーザの意図に合う類似判定を行うための技術が存在する（例えば、特許文献１、特許文献２参照）。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２０１２−５８９４０号公報
【特許文献２】特開２０１１−２０３７７６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上述した従来の技術では、さらに効果的にユーザの意図に合う類似判定を行うことが求められていた。
【０００８】
本発明の主な目的は、ユーザが保有するコンテンツの内容に則して、効果的にユーザの意図に合う類似判定を行うことを可能とする類似コンテンツ検索処理装置を提供することである。
【課題を解決するための手段】
【０００９】
前記従来の課題を解決するために、本発明に係る類似コンテンツ検索処理装置は、検索対象であるコンテンツ群を取得するコンテンツデータ取得手段と、検索時の問合せ元となる少なくとも１つ以上のコンテンツデータを入力するクエリ情報入力手段と、前記コンテンツデータ取得手段により取得されるコンテンツまたは前記クエリ情報入力手段により入力されるコンテンツの属性情報を抽出するコンテンツ情報抽出手段と、前記コンテンツ情報抽出手段により抽出される、前記クエリ情報入力手段により入力されるコンテンツの属性情報と、前記コンテンツデータ取得手段により取得される少なくとも１つ以上のコンテンツ群の属性情報から属性情報の差分情報を算出し、算出された差分情報に基づいて前記コンテンツ間の類似度を算出する際の基準となる類似度基準を決定する類似度基準決定手段と、前記類似度基準決定手段により決定された類似度基準に基づいて、前記コンテンツ間の類似度を算出する類似度算出手段と、前記類似度算出手段により算出された類似度を基に所定の条件を満たすコンテンツを選択する合致コンテンツ選択手段と、を備える。
【００１０】
本構成によって、多様なコンテンツデータに対しても、コンテンツデータが持つ属性情報の違いに応じた類似度算出が可能となるため、検索対象コンテンツ群に対して、入力された検索クエリであるコンテンツに適した類似度で類似コンテンツ検索を行うことが可能となる。
【発明の効果】
【００１１】
本発明の類似コンテンツ検索処理装置および方法によれば、ユーザが保有する多様なコンテンツ群や特定用途向けのコンテンツ群に対して、検索クエリであるコンテンツの属性情報と検索対象となる各コンテンツ群の属性情報に基づいて算出すべき類似度を決定する処理を行うため、ユーザの検索目的または探索意図に適合する類似度でコンテンツの検索を行う類似コンテンツ検索処理を行うことができる。
【図面の簡単な説明】
【００１２】
【図１】本発明の実施の形態１〜３における類似コンテンツ検索処理装置および方法のブロック図
【図２】本発明の実施の形態１の類似コンテンツ検索制御処理を行う手順を示したフローチャート
【図３】コンテンツ群から抽出されるコンテンツ情報における機器メタデータ情報の一例を示す図
【図４】コンテンツ群から抽出されるコンテンツ情報における解析メタデータ情報の一例を示す図
【図５】コンテンツ群から抽出されるコンテンツ情報における利用メタデータ情報の一例を示す図
【図６】本発明の実施の形態１の類似度基準決定手段４の機能構成を示すブロック図
【図７】本発明の実施の形態１におけるコンテンツ間の類似度基準決定処理を行う手順を示したフローチャート
【図８】本発明の実施の形態１で算出される差分情報の一例を示す図
【図９】本発明の実施の形態２における統計的な特性項目に基づくコンテンツ間の類似度基準決定処理を行う手順を示したフローチャート
【図１０】本発明の実施の形態２の属性情報比較手段４３の機能構成を示すブロック図
【図１１】本発明の実施の形態３における照合判定向けコンテンツ間の類似度基準決定処理を行う手順を示したフローチャート
【図１２】本発明の実施の形態３の基準情報決定手段４４の機能構成を示すブロック図
【図１３】本発明の実施の形態４における類似コンテンツ検索処理装置および方法のブロック図
【図１４】本発明の実施の形態４の類似コンテンツ検索制御処理を行う手順を示したフローチャート
【図１５】本発明の実施の形態４における属性情報の変化に伴い１次元的に類似度基準を切り替えて検索した結果を表示する方法の一例を示す図
【図１６】本発明の実施の形態４における属性情報の変化に伴い２次元的に類似度基準を切り替えて検索した結果を表示する方法の一例を示す図
【図１７】本発明の実施の形態４におけるフォルダ構成で類似度基準を切り替えてコンテンツを検索する際の表示方法の一例を示す図
【発明を実施するための形態】
【００１３】
（本発明に係る一形態を得るに至った経緯）
発明者は、多数のコンテンツ画像に対する類似画像検索において、より効果的にユーザの意図に合う類似判定を行うための技術について詳細に検討した。
【００１４】
まず、多数のコンテンツ画像に対する類似画像検索技術について詳細に説明する。
【００１５】
通常、上述した従来の技術では、基本的にコンテンツ特徴量として画像全体の色合いや形状または付与されているキーワードやユーザにより指定された特徴量等に基づいて、検索元のコンテンツと検索対象となるコンテンツ群との特徴量の類似性の高いコンテンツ群を閲覧してユーザが所望のコンテンツを探すことができるようにしている。それにより、ユーザが一定基準に従って、例えば同じ色合いの画像を探すといった類似画像検索をすることが可能になる。しかしながら、ユーザが未知のコンテンツ群から類似検索により見つけたいコンテンツを探す際には、一定基準に従って探す方が効果的であるが、既に見たことがある場合や撮影して保有している場合または何かしら探す対象コンテンツ群が意味のある構造を持っている場合には、全コンテンツを一意に特定基準で類似度を算出することは必ずしもユーザにとって探し易いまたは思い出し易いコンテンツの類似検索方法が提供されているとは言えない。また、Ｗｅｂ上にある全画像から探索する用途とは違い、特定のメニューやリストから探索する用途では、一定基準の類似度判定では探索し難い場合が発生する。
【００１６】
次に、このような従来の類似画像検索技術において、より効果的にユーザの意図に合う類似判定を行うことを目的とした従来技術について詳細に説明する。
【００１７】
まず、特許文献１に係る技術は、入力画像とＤＢ内の個々の画像との類似度を、複数の特徴値のそれぞれの差に重みを付けて組み合わせて得られる複数の判定基準を用いて、所定の条件を満たす画像群を各基準から抽出することで、ユーザが所望するコンテンツに効果的な特徴値で類似度算出することを可能とするものである。具体的には、ユーザ毎に適した類似画像検索を実現するために、特徴量の組合せによる複数の類似度基準を用意しており、その類似度基準を保持した状態でユーザが選択できる類似画像検索ＩＦを提供し、ユーザが選択したコンテンツに基づいてユーザに適する類似度基準を判定することで、ユーザが所望する類似コンテンツに効率的に絞り込んで探索結果を提示することが可能とするものである。しかし、特許文献１に係る技術では、基本的にユーザが指定したコンテンツに基づいて類似画像検索を行うため、ユーザが指定したコンテンツに近い画像しか探索できず一定基準での類似度検索処理しかできていないという課題を有している。
【００１８】
また、特許文献２に係る技術は、コンテンツ特徴量以外のメタ情報を利用する手法も存在し、各コンテンツ画像に対して画像特徴量と画像に関連するテキストに基づいたテキスト特徴量を保持し、ユーザによる画像の指定に伴って、指定画像の類似度に加えてテキスト特徴量の類似度を統合することで、多数の画像群から目的とする類似コンテンツ画像群を見つけることを可能とするものである。しかし、特許文献２に係る技術では、類似判定に画像特徴量だけではなく、より信頼性の高いテキスト情報を特徴量化して併用することで見た目だけではなく言語的に類似する画像も検索することができるが、テキスト情報が付与されていることが前提にされていることに加えて、この場合でもテキスト情報として一定基準で似ているコンテンツしか探すことができないという課題を有している。
【００１９】
発明者は、以上のような、より効果的にユーザの意図に合う類似判定を行うための従来技術が有する課題について検討した。
【００２０】
上述した、より効果的にユーザの意図に合う類似判定を行うための従来技術では、類似するコンテンツに対する検索処理を行う際に、未知コンテンツを探すことを前提に一定基準または一定基準に収束する方法で特徴量を算出し類似度を判定するため、全コンテンツに対して平等に類似度の高いコンテンツを検索する処理になっている。これは、ユーザにより予め構造化されているコンテンツ群単位や一定の共通点のあるコンテンツ群に対して、その情報を考慮せず類似度算出処理を行っていることに起因している。そのため、このような処理では、ユーザが保有する様なコンテンツの内容に則して適切な類似判定処理ができているとは言えない。その結果、ユーザの保有するコンテンツ群や特定の用途向けに保有されているコンテンツ群に対して、各種メタデータの違いを考慮しておらず、ユーザに適する類似コンテンツを探索し提示する類似検索処理手法には不十分であるという問題が生じる。
【００２１】
以上の検討を通じて、発明者は、上記の問題に対して、少なくともコンテンツ解析から算出される特徴量やコンテンツに付与されているテキスト情報に基づいた一定基準での類似度算出によるコンテンツ群の類似検索処理方法を行わず、ユーザが保有するコンテンツ群または特定用途向けのコンテンツ群の各属性情報やユーザ操作情報を用いることにより、多様なコンテンツの違いに則したユーザが満足することのできる、多様な観点における類似コンテンツ探索を行うことが可能であることを見出し、本発明に至った。
【００２２】
以下本発明の実施の形態について、図面を参照しながら説明する。
【００２３】
（実施の形態１）
以下、図面を参照してこの発明の実施形態について説明する。本実施の形態１は、ユーザが保有するまたは特定用途向けの多様なコンテンツデータである画像や動画や文書や音楽等のデータ群検索対象群として、検索クエリとして入力されるコンテンツデータに対して一定の類似度を持つコンテンツデータを抽出して提示する検索制御処理を行う類似コンテンツ検索処理装置において、各コンテンツデータの属性情報を利用することによって、検索対象であるコンテンツ群毎に適する類似度基準を決定し、その類似度基準に基づいて類似度を算出した上で各コンテンツ群に類似するコンテンツデータを抽出する検索制御処理の仕組みに関するものである。図１は本発明の類似コンテンツ検索処理装置の原理的な構成を示すブロック図である。図１において、類似コンテンツ検索処理装置は、コンテンツデータ蓄積部１と、クエリ情報入力手段２と、コンテンツ情報抽出手段３と、類似度基準決定手段４と、類似度算出手段５と、合致コンテンツ選択手段６から構成されている。
【００２４】
コンテンツデータ蓄積部１は、ユーザが保有しているまたは特定用途向けに保有されている多様なコンテンツファイルデータが蓄積されている記憶媒体である。例えば、イベントで撮影したまたは事業者が取得した写真画像や動画像データや文書や音楽データ等が記憶されている。記憶媒体は、ＨＤＤやＤＶＤ等の大容量メディアディスクや半導体メモリ等のストレージデバイス等である。
【００２５】
クエリ情報入力手段２は、ユーザが選択して入力したまたはシステムにより選択されたコンテンツデータを検索元データであるクエリ情報として入力する。例えば、コンテンツデータ蓄積部１に蓄積されているデータと同種のデータ等が選択される。
【００２６】
コンテンツ情報抽出手段３は、携帯電話・スマートフォンや一眼レフカメラ・ＤＳＣ・ＤＶＣ等に代表されるコンテンツ取得機器により自動的に付与される機器メタデータ情報や、コンテンツ解析手法により付与される解析メタデータ情報やユーザによる入力情報や使用履歴等から付与される利用メタデータ情報等のコンテンツデータの属性情報が取得される。
【００２７】
機器メタデータ情報としては、ＥＸＩＦ  （Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）情報や動画メタデータや音楽メタデータ等があり、取得可能な代表的な情報としては、撮影時の日時情報や場所情報であるＧＰＳ（Ｇｌｏｂａｌ  Ｐｏｓｉｔｉｏｎｉｎｇ  Ｓｙｓｔｅｍ）情報や撮影方法として撮影時の撮影モード情報や各種撮影時のコンテンツ取得機器のパラメータ等の情報および各種センサー情報や音楽特徴情報等が存在する。
【００２８】
コンテンツ解析手法から得られる解析メタデータ情報としては、画像解析により抽出される特徴として、エッジや色やテクスチャ等の画像の基本的な低次特徴量から物体に特異な局所特徴量と呼ばれるオブジェクトの形状を表す高次特徴量が算出され得る。画像内の顔や人体や物体等の被写体オブジェクトおよび海辺や森林や屋内といった特定風景シーンや撮影構図等の認識可能なカテゴリの認識結果等も考えられる。また、文書では画像の配置場所や構成情報等があり、動画の場合には、時系列的な動きやシーンの解析情報および、音声情報や音楽のメロディー等の解析情報などが算出され得る。
【００２９】
利用メタデータ情報としては、人が直接入力したイベント名や操作情報および個人名や撮影者等の情報等が存在し、コンテンツに対する視聴頻度等の利用履歴情報や共有サービスや加工サービス等のサービス利用履歴情報等が抽出され得る。
【００３０】
類似度基準決定手段４は、クエリ情報入力手段２により入力される検索元であるコンテンツデータとコンテンツデータ蓄積部１から取得される少なくとも１つ以上の一定単位のコンテンツ群に対して、コンテンツ情報抽出手段３から抽出される属性情報を用いてその差分情報を算出し、算出された差分情報に基づいてコンテンツ間の類似度を算出する際の基準となる類似度基準を決定する。類似度基準決定方法は、コンテンツ間の属性情報の差分情報を用いて、共通項目と非共通項目およびその度合い情報を抽出し、比較することで意味のある類似項目を決定する事で利用する特徴量やその算出方法を決定する。例えば、比較するコンテンツ間で共通する項目として撮影時間帯であり、非共通な項目として風景シーンである場合には、風景シーンが異なるため背景領域にロバストな局所特徴量とその算出方法を類似度基準として決定できる。
【００３１】
類似度算出手段５は、類似度基準決定手段４で決定された類似度基準で、コンテンツの特徴量を算出した上でコンテンツ間の類似度を順次算出する。例えば、対象のコンテンツ間で画像全体の類似度を算出する際には、大局特徴量として画像全体の色特徴量やエッジ特徴量やテクスチャ特徴量を算出しピラミッドマッチング手法等により画像全体の類似度を算出する。画像の局所的な類似度を算出する際には、局所特徴量として画像の部分的に不変な部分特徴量を算出し幾何マッチング手法等により画像の局所的な類似度を算出する。
【００３２】
合致コンテンツ選択手段６は、類似度算出手段５で算出されたコンテンツ間の類似度に基づいて、検索クエリ情報であるコンテンツと所定の条件を満たす類似度のコンテンツを選択抽出する。例えば、類似度が閾値Ｔｈ以上のコンテンツが条件に合致するコンテンツとして選択される。
【００３３】
以下では、ユーザが保有するまたは特定用途向けの写真や動画や文書や音楽等のコンテンツデータに対してデータ間の類似度情報に基づいて類似検索する際に、検索元であるクエリ情報としてのコンテンツデータと検索対象となるコンテンツデータ群の属性情報の違いを差分情報として抽出し利用することによって、コンテンツ間の属性の違いに則した類似度基準を適応的に決定し類似度を算出する。この処理によって、多様なコンテンツデータ間の類似度算出に関して、コンテンツ間の属性の違いを加味した類似度算出が可能となるため、よりコンテンツの特性に適した類似コンテンツ検索処理が可能な方法について詳細に説明する。
【００３４】
ユーザやシステムがコンテンツの類似検索を行う際に、検索対象コンテンツデータ群に対して検索元であるクエリ情報のコンテンツデータを指定し入力した際に、検索対象コンテンツデータにおける属性情報との違いを反映したコンテンツの類似度基準決定および類似コンテンツの検索制御処理が行われる。類似コンテンツの検索制御処理が開始されると、入力されたクエリ情報であるコンテンツデータの属性情報を抽出した上で、検索対象であるコンテンツデータ群から比較可能な一定単位のコンテンツ群の属性情報を抽出しコンテンツ間の差分情報を抽出する。抽出された差分情報に基づいてコンテンツ間の属性の違いに適する類似度基準が決定される。そして決定された類似度基準に基づいてコンテンツ間の類似度を算出し、所定の条件を満たす類似コンテンツを選択決定する検索制御処理を行う。図２は、クエリ情報と検索対象のコンテンツデータの属性情報に基づいてコンテンツの類似度基準決定処理を行った上で類似コンテンツの検索制御処理を行う手順を示したフローチャートである。
【００３５】
ユーザまたはシステムによって検索元になる検索クエリ情報としてのコンテンツデータの入力がクエリ情報入力手段より行われて類似コンテンツデータの検索制御処理が開始される（ステップＳ１）。ユーザによる検索クエリの入力は、操作機器であるマウスやキーボードなどを用いてディスプレイに表示されているコンテンツデータを間接的に選択する方法やタッチパネルやタッチパッドを用いてディスプレイに表示されているコンテンツデータを直接的に選択する方法がある。さらに、カメラを用いた視線検出による操作やフローティングタッチパネルを用いた感圧式の選択によって検索クエリを選択することが可能である。なお、これらの操作などを組合せることにより操作も可能である。また、システムによってランダムにまたはユーザが興味を持ちそうなコンテンツデータを最初の検索クエリとして入力する事もできる。
【００３６】
クエリ情報であるコンテンツデータが入力されると、コンテンツデータ蓄積部１から検索対象となるコンテンツデータが取得され、コンテンツ情報抽出手段３においてクエリ情報のコンテンツと検索対象のコンテンツに対する属性情報の抽出処理が行われる（ステップＳ２）。抽出されるコンテンツの属性情報としては、機器メタデータ情報や解析メタデータ情報や利用メタデータ情報等である。
【００３７】
機器メタデータ情報の一例を図３に示す。機器メタデータ情報は、コンテンツ取得機器により付与されるメタデータに含まれる属性情報である。コンテンツ取得機器により付与されるメタデータは、例えば、ＥＸＩＦ（Ｅｘｃｈａｎｇｅａｂｌｅ  Ｉｍａｇｅ  Ｆｉｌｅ  Ｆｏｒｍａｔ）情報、動画用拡張メタデータ、ＣＤＤＢ情報、ＩＤ３タグなどの音楽メタデータである。このメタデータに含まれるコンテンツの属性情報は、例えばコンテンツデータそれぞれにＩＤ番号が割り振られており、各コンテンツにファイル名とデータの種類および取得時間が存在する。また、画像や動画データの場合には撮影された時間を表す撮影時間情報と撮影時の地理的位置情報としてＧＰＳ情報から得られる経度と緯度情報と撮影時の明るさの調整を行うＩＳＯ（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｏｒｇａｎｉｚａｔｉｏｎ  ｆｏｒ  Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ）感度情報や明るさを適正に視聴できるように調整する露出情報や撮影機器の種類や撮影機器の撮影モード情報等の機器パラメータ情報等が存在する。音楽データである場合には、音質やジャンル等の情報が存在する。
【００３８】
次に、解析メタデータ情報の一例を図４に示す。コンテンツ解析手法から得られるメタデータである。画像解析により得られるメタデータとしては、例えば、画像の基本的な特徴量情報である色情報やエッジ情報やテクスチャ情報の様な低次元特徴量から被写体オブジェクトの特徴を表現可能な高次元特徴量の算出が考えられる。画像の色情報としては、ＲＧＢカラー値を画像内統計値として算出したり、ＨＳＶやＹＵＶ色空間へ変換した色相情報として算出したり、カラーヒストグラムやカラーモーメント等の統計量情報等として算出したりすることができる。エッジ情報としては、画像内の線分検出されたエッジ特徴を一定角度毎に画像内統計値として算出したりすることができる。高次元特徴としては、特徴的な点を中心にした局所領域の特徴や物体の形状を表す特徴が考えられ、具体的にはＳＩＦＴやＳＵＲＦやＨＯＧ等の特徴量が存在する。これらの特徴量を用いてコンテンツ間の類似度を判定することや、同一画像を検出する事が可能である。また、顔検出技術等から得られる顔情報として顔の有無および数情報が算出されており、他にも顔の大きさ服装の色や形状および人検出情報等から人に関連する画像認識情報等を利用することも考えられる。なお、車検出および犬や猫などのペット検出や一般的なオブジェクトの認識を行う一般物体認識に代表されるような画像認識技術による結果を利用することも可能である。さらに、画像の領域情報抽出として、Ｓａｌｉｅｎｃｙ  ＭａｐやＤｅｐｔｈ  Ｍａｐを用いた領域情報算出手法等を用いて特定被写体や背景シーンの領域情報を利用することも可能である。
【００３９】
また、利用メタデータ情報の一例を図５に示す。利用メタデータ情報は、ユーザが付与した情報、使用履歴やサービス利用履歴などコンテンツの利用により付与されるメタデータである。例えば、コンテンツの撮影イベント名を付与する操作内容や付与された各コンテンツ内の登場人物やタグ情報等が考えられる。また、表示機器で再生したまたは検索した回数や利用頻度、更に共有した相手先や利用サービスまたは写真現像やＤＶＤへのパッケージ化やデジタルアルバムやスライドショー化等のコンテンツを利用したサービス内容などが考えられる。さらに、上記属性情報は取得コンテンツデータが複数存在し撮影されたデータセット単位を撮影イベントとすると、撮影イベント単位でＩＤが割り振られ、その撮影イベント単位で各情報の組合せから算出可能な統計データ情報にすることや、直接入力可能な利用メタデータ情報として残して利用することが考えられる。
【００４０】
コンテンツの属性情報が抽出されると、類似度基準決定手段４において、抽出されたクエリ情報と検索対象コンテンツ群の属性情報を用いて、コンテンツ間の類似度をどの様に算出するかを表す情報である類似度基準を決定する（ステップＳ３）。ここで、類似度基準決定手段４の機能構成の一例について図６を参照しつつ具体的な処理内容について説明する。
【００４１】
図６は類似度基準決定手段４の機能ブロック図である。類似度基準決定手段４は、クエリ属性抽出手段４１と、対象群属性抽出手段４２と、属性情報比較手段４３と、基準情報決定手段４４とから構成されている。クエリ属性抽出手段４１は、入力されたクエリ情報であるコンテンツに関して、抽出された属性情報から利用する属性情報のみを抽出する。対象群属性抽出手段４２は、クエリ属性抽出手段４１で抽出された属性情報と比較可能な属性情報のみを抽出する。属性情報比較手段４３は、抽出された属性情報毎に差分値として算出可能な形式で比較することにより計算処理可能な差分情報を抽出する。そして、基準情報決定手段４４は、属性情報比較手段４３で算出された差分情報を基に、コンテンツ間の類似度として算出すべき特徴量や算出方法を類似度基準として算出し決定する。
【００４２】
クエリ情報であるコンテンツと検索対象のコンテンツ群で類似度を算出するための類似度基準を決定する基本的な処理内容に関して、図７を用いて具体的に説明する。図７は、クエリ情報であるコンテンツの属性情報と検索対象であるコンテンツ群の属性情報に基づいてコンテンツ間の類似度を算出するための類似度基準決定処理を行う手順を示したフローチャートである。
【００４３】
検索元であるクエリ情報のコンテンツとその属性情報が入力されると、クエリ属性抽出手段４１において差分情報として算出する際に利用する比較内容としての属性情報を抽出する(ステップＳ１１)。クエリ情報であるコンテンツの属性情報は、コンテンツ情報抽出手段３で抽出される属性情報のうち、少なくとも１つ以上の比較可能なメタデータ情報である。コンテンツ自体の属性情報から抽出される場合と、そのコンテンツが所属するコンテンツ群から抽出される場合がある。所属するコンテンツ群とは、属性情報に基づいて複数のコンテンツを１つの集合と見なす事ができるコンテンツ群のことである。例えば、ユーザにより作成されたイベントフォルダに仕分けされたコンテンツ群であったり、１日分のコンテンツ群であったり一定範囲内で同じ場所で撮影されたコンテンツ群であったり同じ撮影シーンや撮影構図と判定可能なコンテンツ群であったりする。
【００４４】
そして、検索対象となるコンテンツ群からその属性情報が入力されると、対象群属性抽出手段４２において差分情報として算出する際に利用する比較内容としての属性情報を抽出する(ステップＳ１２)。クエリ属性抽出手段４１で算出される属性情報の内容と同一の内容または差分情報として算出可能な情報である。検索対象群は、所属するコンテンツ群と同様で一定単位の同じコンテンツ群であると判定可能な複数のコンテンツ集合である。
【００４５】
次に、ステップＳ１１とステップＳ１２で抽出された属性情報を用いて、属性情報比較手段４３において比較可能な属性情報の項目同士から差分情報を算出する(ステップＳ１３)。差分情報は、例えば解析メタデータ情報からシーン情報の一致度を算出する。一致度が低い方から高い方へ０〜１で正規化するとした場合、シーンが共に屋内であれば一致度を１、屋内と屋外であれば０、屋外と水辺であれば０．５等といったシーン情報に基づいてその差分を一致度として算出することができる。複数コンテンツでは複数のシーン情報が存在するが、各コンテンツのシーン情報を均等に利用し各シーンの数を各コンテンツ群が持つシーン情報として扱う事ができる。例えば、コンテンツ数が１０あり屋内と水辺と屋外の３種類のシーン種別がある場合に、各種別数が７と１と２であった際には正規化してシーン情報は各シーンが０．７と０．１と０．２含まれているとしてその割合で一致度が算出される。そして、検索対象群毎に差分情報が算出される。
【００４６】
続いて、差分情報として算出対象となる全ての比較可能な属性情報に対して、各属性情報であるメタデータ情報間の一致度を算出することにより、全ての差分情報が算出完了するまで一致度の算出を繰り返す（ステップＳ１４）。算出するメタデータ情報の数や種類は、コンテンツ情報抽出手段３で抽出可能なメタデータ情報の組合せにより予め決定しておく事も可能であるが、コンテンツ群が保有しているメタデータ情報でクエリ情報と検索対象で共通するメタデータ情報のみに限定することや、一定単位のコンテンツ群であるコンテンツの集合から抽出されるメタデータ情報において抽出され得る内容から比較優先度の高い項目に限定して決定すること等が考えられる。
【００４７】
最後に、算出された差分情報から類似度判定方法を決定する(ステップＳ１５)。
【００４８】
算出された差分情報の一例を図８に示す。検索対象のコンテンツ群がｃＩＤ０００００１の場合には、撮影時間帯やシーンの一致度が高く、例えば算出された一致度全体の平均値が高く分散値が低い際には全体的に一致するコンテンツが含まれる可能性が高い。そのため、抽出する特徴量は全体特徴量として色やエッジやテクスチャといった低次元特徴量を算出し、類似度判定は各画素単位またはピラミッド階層型の一定領域単位で差分情報を算出した上でユークリッド距離やＮ２ノーム距離といった距離算出手法により距離の近さで類似度を判定する手法を選択する事でコンテンツ全体として類似するコンテンツを抽出する手法に決定する。
【００４９】
また、ｃＩＤ０００００２の場合には、撮影場所や構図などの一致度が中程度であり、例えば算出された一致度全体の平均値も分散値も中程度の際には、部分的に一致するコンテンツが含まれる可能性が高い。そのため、抽出する特徴量は局所特徴量として部分的な一致を判定可能な高次元特徴量を算出し、類似度判定はＢｏＶＷ（Ｂａｇ  ｏｆ  Ｖｉｓｕａｌ  Ｗｏｒｄｓ）を用いた局所的な一致度を発見する手法やマッチング手法による同一被写体が含まれているかを判定する手法等の部分的な類似度を判定する手法に決定する。
【００５０】
そして、ｃＩＤ０００００３の場合には、人物情報の一致度が高いがイベント名の一致度が低く、例えば算出された一致度全体の平均値も分散値も低い場合には、コンテンツ全体として同じ様なコンテンツが含まれている可能性は低いが人物のみ一致する可能性が高い。そのため、抽出する特徴量は顔や人体検出に有効な特徴量を算出し、類似度判定は顔特徴量に基づく一致度判定や服装情報等の一致度判定による特殊な被写体の判定手法に決定する。この様に、差分情報の一致度が高い程、コンテンツ全体が類似する内容で類似判定する様にし、差分情報の一致度が低い程、コンテンツの局所部分が類似する内容で類似判定する様に手法を切り替えるように決定する事が可能である。
【００５１】
類似度基準決定手段４において類似度を算出するための類似度基準が決定されると、類似度算出手段５は決定された類似度基準を用いて対象となるコンテンツデータの類似度を測るための特徴量抽出を行い、指定された類似度算出方法でコンテンツデータ間の類似度を算出する（ステップＳ４）。類似度は基準情報決定手段４４で決定された手法に基づいてコンテンツから特徴量を算出し、コンテンツ間の類似度を算出する。
【００５２】
そして、類似度算出手段５から算出された類似度が出力されると、合致コンテンツ選択手段６は所定の条件を満たす類似度を持つコンテンツを検索対象のコンテンツ群から選択し抽出する(ステップＳ５)。例えば、一致度が一定閾値Ｔｈ以上のコンテンツを全て抽出することや一致度が高い順にＮ個抽出することにより対象コンテンツ群を選択肢抽出する。また、類似度基準が異なる一定単位のコンテンツ群毎に条件を変更して適切なコンテンツ群を抽出することができる。
【００５３】
以上のように、コンテンツから取得可能な特定の特徴量に基づいて決定される一定基準の類似度で類似するコンテンツを検索制御処理するのではなく、コンテンツ間の属性情報である各種メタデータの内容の違いを考慮した上で算出すべき特徴量や類似項目を決定することで、コンテンツ間で算出すべき適する類似度基準を動的に変更決定処理するため、ユーザが保有するまたは特定用途向けの多様なコンテンツデータに対して適した類似コンテンツの検索制御処理が可能となり、ユーザはより満足度の高い類似項目で保有データを効果的に類似検索したり、簡単に探索視聴することができる。
【００５４】
（実施の形態２）
以下、図面を参照してこの発明の実施形態について説明する。本実施の形態２は、ユーザが保有するまたは特定用途向けの多様なコンテンツデータである画像や動画や文書や音楽等のデータ群検索対象群として、検索クエリとして入力されるコンテンツデータに対して一定の類似度を持つコンテンツデータを抽出して提示する検索制御処理を行う類似コンテンツ検索処理装置において、コンテンツ群毎に属性情報で統計的に優位な情報を抽出し、その統計情報に基づいてコンテンツ間で算出すべき類似度基準を決定し、各コンテンツ群に類似するコンテンツデータを抽出する検索制御処理の仕組みに関するものである。なお、本実施の形態において、実施の形態１と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。また、本実施の形態において、特に記載のある場合を除いて、実施の形態１と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
【００５５】
本実施の形態では、ユーザが保有する写真や動画や文書や音楽等のコンテンツデータをユーザが意図する様に簡単に類似検索する、または探索視聴することができるように、検索クエリであるコンテンツと検索対象となるコンテンツ群の属性情報を統計的に解析し利用することによって、コンテンツ間の差分情報としてより間違いの少ない妥当な属性内容でコンテンツ間の違いを算出する事ができる。そして、コンテンツ間の撮影状況の違いに適した内容で類似するコンテンツの検索制御処理を適応的に行う。この処理によって、ユーザが保有するまたは特定用途向けの多様なコンテンツ群に対して、コンテンツ群の全般的な違いにより連動する類似度基準で類似するコンテンツの検索制御処理が可能な方法について詳細に説明する。
【００５６】
ユーザまたはシステムによって検索元になる検索クエリ情報としてのコンテンツデータの入力がクエリ情報入力手段より行われて類似コンテンツデータの検索制御処理が開始される。類似コンテンツの検索処理が開始されると、実施の形態１の処理に加えてクエリ情報または検索対象のコンテンツから抽出される属性情報の統計的な特性項目を抽出した上で、その項目に従ってコンテンツ間の差分情報を抽出しコンテンツ間の違いに適する類似度基準が決定される。そして決定された類似度基準に基づいてコンテンツ間の類似度を算出し、所定の条件を満たす類似コンテンツを選択決定する検索制御処理を行う。ここで、抽出されるコンテンツの属性情報である各種メタデータ情報は実施の形態１のそれと同じである。特に統計的に算出する項目単位としては、撮影日や撮影時間帯、撮影場所や撮影範囲、登場人物や家族、撮影シーンや構図、被写体に関する物体タグ、画面内の動き情報等が存在する。
【００５７】
コンテンツの属性情報が抽出されると、類似度基準決定手段４において、抽出されたクエリ情報と検索対象コンテンツ群の属性情報が抽出され、その属性情報群から統計的に特性のある項目が算出され、特性項目に基づいた差分情報からコンテンツ間の類似度をどの様に算出するかを表す情報である類似度基準を決定する。クエリ情報であるコンテンツと検索対象のコンテンツ群から属性情報の統計的な特性項目に基づいて類似度を算出することで類似度基準を決定する処理内容に関して、図９を用いて具体的に説明する。図９は、クエリ情報であるコンテンツの属性情報と検索対象であるコンテンツ群の属性情報から統計的な特性項目を算出し、その特性項目の差分情報から類似度基準決定処理を行う手順を示したフローチャートである。
【００５８】
検索元であるクエリ情報のコンテンツとその属性情報および検索対象となるコンテンツ群とその属性情報が入力されると、コンテンツ情報抽出手段３によりコンテンツの属性情報が抽出される（ステップＳ２１）。
【００５９】
次に、ステップＳ２１で抽出された属性情報を用いて、属性情報群の統計的な解析に基づいて特性のある項目を抽出する(ステップＳ２２)。
【００６０】
ここで、属性情報比較手段４３の機能構成の一例について図１０を参照しつつ具体的な処理内容について説明する。図１０は属性情報比較手段４３の機能ブロック図である。属性情報比較手段４３は、統計情報算出手段４３１と、特性項目決定手段４３２と、特性項目比較手段４３３とから構成されている。統計情報算出手段４３１は、入力されたクエリ情報であるコンテンツが所属するまたは検索対象である一定単位の複数のコンテンツ集合から抽出される複数の属性情報から統計解析が可能な単位で統計情報を算出する。統計情報は、単純な属性情報の項目毎のデータ量や分布量さらには平均値や分散値等の統計学的に算出可能な値である。特性項目決定手段４３２は、統計情報算出手段４３１で算出された統計情報を基に属性情報から特性項目を決定する。
【００６１】
例えば、属性情報である各種メタデータ情報が全コンテンツに対してどの程度含まれているかの含有率が算出されるいと、含有率が１０％を超える場合に特性項目として利用し越えない場合は利用しないといった判断を行う事ができる。全コンテンツが１００であり、顔検出されたコンテンツが２０の場合には、顔検出情報が特性項目として決定される。また、主成分分析等の統計解析手法を用いることにより主要な項目を抽出すること等も可能である。
【００６２】
特性項目比較手段４３３は、特性項目決定手段４３２で決定された特性項目毎に差分値として算出可能な形式で比較することにより計算処理可能な差分情報を抽出する(ステップＳ２３)。差分情報の種類は、実施の形態１のそれと同じであるが特性項目で限定された内容の組合せにより決定される。なお、特性項目はクエリ情報から抽出される属性情報のみまたは検索対象群から抽出される属性情報のみを使う事やそれらを組合せることにより共通する項目で限定する構成とすること等も可能である。
【００６３】
次に、差分情報として算出対象となる全ての比較可能な特性項目である属性情報に対して、各属性情報であるメタデータ情報間の一致度を算出することにより、全ての差分情報が算出完了するまで一致度の算出を繰り返す（ステップＳ２４）。
【００６４】
算出するメタデータ情報の数や種類は、実施の形態１のそれと同じである。最後に、算出された差分情報から類似度判定方法を決定する(ステップＳ２５)。算出する特徴量や類似度判定に特徴量間の差分値に基づく距離計算手法は実施の形態１のそれと同じであっても良いが各属性情報における特性項目の一致度合いを利用して類似度を算出することも可能である。
【００６５】
特性項目：Ｐｋ(ｋは特性項目の番号)として、各特性項目における一致度合いをＭｋとする。この際に、各特性項目から決定される特徴量として全体一致度と局所一致度と顔やペットといった特殊一致度を判定する特徴量が選定され、全体一致度を算出する類似度値をＶとして、選定された特徴量により算出される全体一致度をＧ、局所一致度をＬ、特殊一致度をＳ、各項目の重みをαとβとγとすると、Ｖ＝α×Ｇ＋β×Ｌ＋γ×Ｓとして算出することができる。ここで、αは全体一致度に属する特性項目：Ｐｋの一致度合いの総和：ΣＭｋから算出される。βは局所一致度に属する特性項目からγは局所一致度に属する特性項目から同様に算出される。なお、特性項目は複数の一致度算出対象に属する構成とすることや一致度が高い場合にのみ利用する構成とすることが可能である。また、一致度の種別は特性項目から決定することが可能な手法であればその種別は問わず、中央一致度や背景一致度や複数段階の領域別部分一致度などが考えられる。
【００６６】
類似度基準決定手段４において特性項目に基づいて類似度を算出するための類似度基準が決定されると、類似度算出手段５は決定された類似度基準を用いて対象となるコンテンツデータの類似度を測るための特徴量抽出を行い、指定された類似度算出方法でコンテンツデータ間の類似度を算出する。そして、類似度算出手段５から算出された類似度が出力されると、合致コンテンツ選択手段６は、所定の条件を満たす、特に、特性項目に関して類似度を持つコンテンツを検索対象のコンテンツ群から選択し抽出される。例えば、同じ「海水浴」イベントで撮影されたコンテンツに関して「シーン」情報のみが特性項目として抽出されると、シーンはコンテンツ全般を示すためコンテンツ全般が類似するコンテンツが優先的に抽出される。また、同じ「食事会」イベントで撮影されたコンテンツに関して「物体タグ」と「撮影時間帯」情報のみが特性項目として抽出されると、撮影時間帯と被写体である物体はコンテンツの局所的な部分類似を示すためコンテンツの部分類似または意味的な類似性が高いコンテンツが優先的に抽出される。同じ「旅行」イベントで撮影されたコンテンツに関して「登場人物」と「撮影構図」情報のみが特性項目として抽出されると、登場人物と撮影構図はコンテンツの特殊な人物一致と全般的なパーツの類似性を示すためコンテンツの顔や人物または全般的な部分領域の類似性が高いコンテンツが優先的に抽出される。
【００６７】
以上のように、コンテンツから取得可能な特定の特徴量に基づいて決定される一定基準の類似度で類似するコンテンツを検索制御処理するのではなく、コンテンツ間の属性情報である各種メタデータから統計的に抽出される内容の違いを考慮した上で算出すべき特徴量や類似項目を決定することで、コンテンツ間で算出すべきより妥当な類似度基準に変更決定できるため、ユーザが保有するまたは特定用途向けの多様なコンテンツデータに対してより全般的に適した類似コンテンツの検索制御処理が可能となり、ユーザはより満足度の高い類似項目で保有データを効果的に類似検索することや、簡単に探索視聴することができる。
【００６８】
（実施の形態３）
以下、図面を参照してこの発明の実施形態について説明する。本実施の形態３は、ユーザが保有するまたは特定用途向けの多様なコンテンツデータである画像や動画や文書や音楽等のデータ群検索対象群として、検索クエリとして入力されるコンテンツデータに対して一定の類似度を持つコンテンツデータを抽出して提示する検索制御処理を行う類似コンテンツ検索処理装置において、コンテンツ群毎にコンテンツ間の属性情報の違いを基に、コンテンツ間で算出すべき類似度基準に加えて同一性判定範囲を決定し、各コンテンツ群で検索クエリと同一のコンテンツデータを抽出する検索制御処理の仕組みに関するものである。なお、本実施の形態において、実施の形態１と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。また、本実施の形態において、特に記載のある場合を除いて、実施の形態１と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
【００６９】
本実施の形態では、ユーザが保有する写真や動画や文書や音楽等のコンテンツデータをユーザが意図する様に簡単に類似検索する、または探索視聴することができるように、検索クエリであるコンテンツと検索対象となるコンテンツ群の属性情報を利用することによって、コンテンツ間の差分情報に加えて同一性判定範囲を決定する事によりコンテンツが同一の内容であるかどうかを判定する事ができる。そして、コンテンツ間の撮影状況や利用状況の違いにより発生した同一コンテンツを照合するための検索制御処理を行う。この処理によって、ユーザが保有するまたは特定用途向けの多様なコンテンツ群に対して、コンテンツ群に適した同一判定基準で存在する同一コンテンツの検索制御処理が可能な方法について詳細に説明する。
【００７０】
ユーザまたはシステムによって検索元になる検索クエリ情報としてのコンテンツデータの入力がクエリ情報入力手段より行われて類似コンテンツデータによる照合向け検索制御処理が開始される。コンテンツの照合向け検索処理が開始されると、実施の形態１の処理に加えてクエリ情報または検索対象のコンテンツから抽出される属性情報を抽出した上で、その属性情報を用いてコンテンツ間の差分情報を抽出し、コンテンツの照合向け類似度基準と同一性判定範囲が決定される。そして決定された類似度基準に基づいてコンテンツ間の類似度を算出し、所定の条件を満たす、ここでは、同一性判定範囲の条件を満たす同一コンテンツを選択決定する照合向け検索制御処理を行う。ここで、抽出されるコンテンツの属性情報である各種メタデータ情報は実施の形態１または２のそれと同じである。図１１は、クエリ情報と検索対象のコンテンツデータの属性情報に基づいてコンテンツの照合向け類似度基準決定処理を行った上で照合向け検索制御処理を行う手順を示したフローチャートである。
【００７１】
ユーザまたはシステムによって照合元となるコンテンツの入力がクエリ情報入力手段より行われると照合向けの検索制御処理が開始される（ステップＳ３１）。照合元のコンテンツ入力は、ユーザにより入力機器を用いて選択入力することも可能であるが、システムにより複数デバイスや複数サービスからコンテンツを取得し自動的に入力することも可能である。
【００７２】
照合元のコンテンツが入力されると、コンテンツデータ蓄積部１から照合対象となるコンテンツが取得され、コンテンツ情報抽出手段３において照合元のコンテンツと照合対象のコンテンツに対する属性情報の抽出処理が行われる（ステップＳ３２）。抽出されるコンテンツの属性情報は、実施の形態１のそれと同じである。
【００７３】
コンテンツの属性情報が抽出されると、類似度基準決定手段４において、抽出された照合元と照合対象コンテンツ群の属性情報を用いて、コンテンツ間の類似度をどの様に算出し同一性を判定するかを表す情報である類似度基準と同一性判定範囲を決定する（ステップＳ３３）。照合元のコンテンツとその属性情報および照合対象となるコンテンツ群とその属性情報が入力されると、コンテンツ情報抽出手段３によりコンテンツの属性情報が抽出され、抽出された属性情報を用いて、照合向けの同一性判定内容を算出する。
【００７４】
ここで、類似度基準決定手段４の機能構成は実施例１のそれと同じであるとした場合の基準情報決定手段４４の機能構成の一例について図１２を参照しつつ具体的な処理内容について説明する。図１２は基準情報決定手段４４の機能ブロック図である。基準情報決定手段４４は、加工情報抽出手段４４１と、同一性判定項目算出手段４４２と、同一性判定情報決定手段４４３とから構成されている。
【００７５】
加工情報抽出手段４４１は、入力された照合元のコンテンツに特有な属性情報を用いることによりオリジナルのコンテンツデータから変更された可能性のある加工内容情報を算出する。例えば、加工内容情報は、利用された編集情報やサービス情報から単純なエンコード方法の変更やリサイズによるデータが変更された事が直接的にまたは間接的に判別可能な情報である。また、解析メタデータを用いることによってコンテンツ全体または部分的な編集可能性を算出することで加工度合いを算出すること等も可能である。なお、照合対象である一定単位の複数のコンテンツに関する加工内容情報を算出し利用する構成とすることも考えられる。
【００７６】
同一性判定項目算出手段４４２は、加工情報抽出手段４４１で抽出された加工内容情報を基に差分情報から同一性判定項目を決定する。例えば、各種メタデータ情報の差分情報の大きい内容から優先的に加工内容情報に基づいてコンテンツデータが加工されている可能性を示す情報を算出する。例えば、利用メタデータ情報から利用サービスが異なるためにデータの保存方法が一定の画像サイズにリサイズされているまたは加工フィルターの利用やトリミングによる領域変更などの情報が算出される。また、解析メタデータ情報から加工度合いがコンテンツ領域により異なる際には、一定の加工度合い別に分割されたコンテンツの領域情報が算出される。
【００７７】
同一性判定情報決定手段４４３は、同一性判定項目算出手段４４２で算出された同一性判定項目に従って同一性を判定すべき類似度基準として利用する特徴量とその類似度判定方法および同一性判定範囲を決定する。例えば、保存時の画像サイズがリサイズされて異なる場合には、画像の全般的な一致度を算出する特徴量を利用し、コンテンツサイズの差分から同一性判定を行う際の同一だと判定可能な範囲を指定する。サイズの差分が大きいほど同一判定範囲が広くなり、小さいほど狭くなる設定を行う事ができる。また、フィルターやトリミングによる領域情報変更の場合には、画像の局所的な一致度を算出する特徴量を利用し、その領域サイズの差分から同一だと判定可能な範囲を指定することやコンテンツ間の一致度合いに連動する様なパラメータとして範囲設定をすることが可能である。
【００７８】
類似度基準決定手段４において照合を行うための類似度基準と同一性判定範囲が決定されると、類似度算出手段５は決定された類似度基準を用いて対象となるコンテンツデータの類似度を測るための特徴量抽出を行い、指定された類似度算出方法でコンテンツデータ間の類似度を算出する（ステップＳ３４）。類似度は基準情報決定手段４４で決定された手法に基づいてコンテンツから特徴量を算出し、コンテンツ間の類似度を算出する。
【００７９】
そして、類似度算出手段５から算出された類似度が出力されると、合致コンテンツ選択手段６は類似度基準決定手段４で決定された同一性判定範囲を用いて同一性判定条件を満たす類似度を持つコンテンツを照合対象のコンテンツ群から選択し抽出する(ステップＳ３５)。例えば、一致度が同一性判定範囲の内のコンテンツが存在する際には、そのコンテンツが同一コンテンツであるとして管理する事ができる。存在しない場合には同一コンテンツが存在しないとする事や、複数存在する際には最も一致度が高いコンテンツに絞る事やユーザに提示することで１つに決定する様な構成とすること等も可能である。また、同一性判定をより厳密に行う場合には、類似度が一定閾値Ｔｈ以上の高い複数の候補コンテンツを抽出した後で、より詳細な一致度を算出するために局所特徴量としてＳＩＦＴやＳＵＲＦ等の特徴量等を用いてコンテンツ間の幾何マッチング手法により一致度を厳密に算出することで同一性を判定する複数段階の処理構成とすることもできる。そして、よりロバストに同一性判定を行うために複数の類似度基準を算出しておくことで同一性を判定する事も考えられる。
【００８０】
例えば、全体一致から局所一致までを段階的に判定できる複数の特徴量と類似度判定方法を保持し、複数の類似度基準で同一性判定を行い、全ての類似度基準で一致していれば加工処理がほぼされていないオリジナルと同じコンテンツであると判定し、少なくとも１つ以上の類似度基準で一致していれば、その数や一致度合いによって加工処理がどの程度されているかを考慮した同一性判定結果を算出することができる。さらに、利用メタデータ情報から特定のサービス処理や編集処理における加工内容の傾向を統計的に抽出することによって、統計的に優位な情報が存在する際には、その情報に従って特徴量の算出方法および類似度の算出方法を更新することで同一性判定を行う更新型の処理構成とすることが可能である。
【００８１】
以上のように、コンテンツから取得可能な特定の特徴量に基づいて決定される一定基準の類似度で同一のコンテンツを照合するための検索制御処理するのではなく、コンテンツ間の属性情報である各種メタデータから抽出される内容の違いを考慮した上で算出すべき特徴量や同一判定項目や範囲を決定することで、コンテンツ間で照合すべきより妥当な同一性判定基準に変更決定できるため、ユーザが保有するまたは特定用途向けの多様なコンテンツデータに対してより適した同一コンテンツの照合向け検索制御処理が可能となり、ユーザはより満足度の高い同一性判定結果で保有データを効果的に類似検索することや、簡単に探索視聴することができる。
【００８２】
（実施の形態４）
以下、図面を参照してこの発明の実施形態について説明する。本実施の形態４は、ユーザが保有するまたは特定用途向けの多様なコンテンツデータである画像や動画や文書や音楽等のデータ群検索対象群として、検索クエリとして入力されるコンテンツデータに対して一定の類似度を持つコンテンツデータを抽出して提示する検索制御処理を行う類似コンテンツ検索処理装置において、コンテンツ群毎にコンテンツ間の属性情報の違いを基に、属性情報の違いを反映した類似度基準を変更更新し、その変更が分かる様に抽出されるコンテンツデータを配置表示する検索制御処理の仕組みに関するものである。なお、本実施の形態において、実施の形態１と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。また、本実施の形態において、特に記載のある場合を除いて、実施の形態１と同じ機能を有する構成には同じ符号を付し、その説明が適用できるため説明を省略する。
【００８３】
本実施の形態では、ユーザが保有する写真や動画や文書や音楽等のコンテンツデータをユーザが意図する様に簡単に類似検索する、または探索視聴することができるように、検索クエリであるコンテンツと検索対象となるコンテンツ群の属性情報を利用することによって、コンテンツ間の差分情報に基づいて属性内容でコンテンツ間の違いを段階的に算出する事ができる。そして、コンテンツ間の撮影状況や利用状況の違いに即して段階的に類似度基準を変更する類似コンテンツの検索制御処理および配置表示処理を行う。この処理によって、ユーザが保有するまたは特定用途向けの多様なコンテンツ群に対して、コンテンツ間の違いに段階的に連動する類似度基準で類似するコンテンツの検索制御処理および配置表示処理が可能な方法について詳細に説明する。
【００８４】
図１３は本発明の類似コンテンツ検索処理装置の原理的な構成を示すブロック図である。図１３において、類似コンテンツ検索処理装置は、コンテンツデータ蓄積部１と、クエリ情報入力手段２と、コンテンツ情報抽出手段３と、類似度基準決定手段４と、類似度算出手段５と、合致コンテンツ選択手段６と表示手段７とユーザ操作入力手段８とから構成されている。
【００８５】
コンテンツデータ蓄積部１と、クエリ情報入力手段２と、コンテンツ情報抽出手段３と、類似度基準決定手段４と、類似度算出手段５と、合致コンテンツ選択手段６については、基本的な動作は実施の形態１に記載の内容と同じである。
【００８６】
表示手段７は、合致コンテンツ選択手段６で選択されたコンテンツ群を一定の予め定められた表示形式で表示機器上に表示制御する。例えば、スマートフォンやタブレットなどのタッチパネルディスプレイや通常の表示ディスプレイなどの表示構成に合わせて表示を行う。
【００８７】
ユーザ操作入力手段８は、ユーザ操作から類似コンテンツ検索処理装置に対する入力情報を判定する。入力情報は、類似コンテンツ検索処理装置におけるディスプレイにあるタッチパネルの押下やドラッグや解放などのユーザ操作により形成され、操作開始／終了指示、ディスプレイ上の押下位置座標などの物理的パラメータを含むが、この場合のみに限定されない。
【００８８】
ユーザやシステムがコンテンツの類似検索を行う際に、検索対象コンテンツデータ群に対して検索元であるクエリ情報のコンテンツデータを指定し入力した際に、検索対象コンテンツデータにおける属性情報との違いを反映したコンテンツの類似度基準決定および類似コンテンツの検索制御処理が行われた後、検索結果がユーザに表示されクエリ情報等を再入力することにより繰り返し類似検索制御処理が行われる。ユーザフィードバック型の類似コンテンツの繰り返し検索制御処理が開始されると、入力されたクエリ情報であるコンテンツと検索対象であるコンテンツ群から属性情報に基づいてコンテンツ間の差分情報が抽出される。抽出された差分情報に基づいてコンテンツ間の属性の違いに適する類似度基準が決定され、その類似度基準に基づいてコンテンツ間の類似度を算出し、所定の条件を満たす類似コンテンツを選択決定する検索制御処理が行われる。更に、検索結果をディスプレイ上に表示することによってユーザに提示する。ユーザは提示されたコンテンツから繰り返し類似検索したいコンテンツを選択する事で繰り返し類似検索制御処理が行われる。図１４は、クエリ情報と検索対象のコンテンツデータの属性情報に基づいて類似度基準決定処理を行う類似コンテンツの検索制御処理をユーザフィードバックに基づいて繰り返し行う手順を示したフローチャートである。
【００８９】
ユーザまたはシステムによって検索元になる検索クエリ情報としてのコンテンツデータの入力がクエリ情報入力手段より行われて類似コンテンツの検索制御処理が開始される。類似コンテンツの検索処理が開始されると、実施の形態１の処理に加えて検索結果である抽出コンテンツを表示すると共にユーザが提示結果に対するフィードバックを入力する事でその入力内容に基づいて繰り返し類似コンテンツの検索制御処理が行われる。
【００９０】
類似コンテンツの検索制御処理が開始されると、実施の形態１と同様にクエリ情報と検索対象であるコンテンツ群の属性情報が抽出される(ステップＳ４１)。
【００９１】
次に、類似度基準決定手段４において、抽出された属性情報群から差分情報が算出されコンテンツ間の類似度をどのように算出するかを規定した類似度基準が決定される(ステップＳ４２)。そして、類似度算出手段５は決定された類似度基準を用いて対象となるコンテンツデータの類似度を測るための特徴量抽出を行い、指定された類似度算出方法でコンテンツデータ間の類似度を算出する。
【００９２】
そして、類似度算出手段５から算出された類似度が出力されると、合致コンテンツ選択手段６は所定の条件を満たす類似度を持つコンテンツを検索対象のコンテンツ群から選択し抽出される(ステップＳ４３)。
【００９３】
抽出されたコンテンツ群は、表示手段７により、予め決められている所定の形式でユーザに提示される(ステップＳ４４)。例えば、抽出されたコンテンツ群を類似度の高い順に表示することや選択された類似度基準の情報もユーザが把握可能な形式で併せて表示する事もできる。また、属性情報の変化に伴い１次元的に類似度基準を切り替えて検索した際の効果的な表示方法の一例を図１５に示す。
【００９４】
類似度基準を変更する際に特定の属性情報に基づいて変動させる事によって、類似度基準の変動に伴って選択される類似コンテンツを順に配置することでよりユーザが把握し易い表示方法が考えられる。例えば、時間帯の変動や撮影場所の変動に伴ってその差分が大きくなるほど同じコンテンツにはなり難いため、類似判定する内容を全体一致から局所的な一致そして中心部分だけの一致による類似判定へと変化させることで、検索結果をその類似判定する基準が順に変化した際の検索結果として順に配置して表示することができる。
【００９５】
図１５の（Ａ）は、類似度基準が１〜４へと順に変化して際の抽出結果を同じ類似度基準の結果を横方向に配置し、類似度基準が変化すると縦方向に配置する際の表示例である。また、図１５の（Ｂ）は、類似度基準が１〜５へと順に変化した際の抽出結果をクエリ情報のコンテンツを中心に配置し、類似度基準が変化するとその中心から時計方向に順に配置し、同じ類似度基準の結果を中心からその類似度基準が持つ方向で遠方に配置する際の表示例である。
【００９６】
また、属性情報の変動は、利用した撮影機器の種類情報や日付などの時間情報や風景シーンや店舗ジャンル等の場所情報や加工種別毎の利用サービス情報等の各種メタデータ情報から抽出可能な情報であり、その情報の変動に伴って類似度基準が変動する情報であれば、その種別は問わない。更に、属性情報の変化に伴い２次元的に類似度基準を切り替えて検索した際の効果的な表示方法の一例を図１６に示す。
【００９７】
基本的な類似度基準の変動に伴うコンテンツの配置方法は１次元の場合と同じであるが、時間情報×場所情報や場所情報×サービス情報やサービス情報×時間情報の様に、属性情報が複数変化する際には類似度基準も複数次元で変動するため、多次元的にコンテンツを表示することも可能である。図１６では、水平軸で類似度基準が１〜３と変動しており、垂直軸で類似度基準がＡ〜Ｃへと変動している際に、それぞれの変動に合わせてコンテンツを全体一致から部分一致から中心一致へと検索結果のコンテンツを配置している際の表示例である。類似度基準が複数交わる際には両方の類似度基準で類似度が高いコンテンツが配置される事になる。
【００９８】
表示されたコンテンツ群に対して、ユーザ入力手段８により再選択等の操作が入力されると、ステップＳ４１に戻り、操作内容に連動して類似度基準の再決定処理が行われ、検索結果のコンテンツが所定の形式で配置されユーザに提示されるが、ユーザによる操作処理が無い場合には類似検索処理が終了する(ステップＳ４５)。ユーザ操作として例えばクエリ情報であるコンテンツの再選択が行われると、そのコンテンツに最適化された類似度基準が選択され、その類似度基準に基づく類似検索結果が表示手段によりユーザに提示される。これを繰り返すことによりユーザは簡単に選択したコンテンツに最適な類似コンテンツ探索を繰り返し行う事が可能となる。
【００９９】
ユーザ操作を前提としてコンテンツを効果的に検索するために、類似コンテンツ検索を構造化することも考えられる。フォルダ構成を前提とした際の類似度基準を切り替えてコンテンツを検索する際の表示方法の一例を図１７に示す。図１７では、日付別のフォルダでコンテンツが構造化されて管理されている際の類似検索結果の表示例である。選択されたクエリ情報であるコンテンツと類似するコンテンツが多く含まれる日付のフォルダが垂直軸に配置されている。選択されたクエリ情報のコンテンツが海水浴シーンのコンテンツである場合に、海水浴シーンのフォルダコンテンツが上位に配置されており、次に類似する屋外シーンが配置され、最後に類似性の低い屋内シーンが配置されている。また同じフォルダ内であってもクエリコンテンツと類似するコンテンツは大きく表示し類似性が低い程、表示する大きさを小さくする様に表示する事ができる。なお、それぞれの日付フォルダはシーン情報が異なるため、それぞれのシーンの差分に基づいて決定された類似度基準で類似度が判定されているため、各フォルダに適した類似度判定結果によりコンテンツの表示サイズが決定されている。
【０１００】
この様にコンテンツが管理されているフォルダ等の構造で検索処理を行い、目的コンテンツを絞り込んだ上でコンテンツ単体の類似検索処理に切り替える段階的な処理構成とすることができる。そして、各種メタデータ情報から作成可能な階層的な構造でコンテンツを管理している際には、さらに階層的な構造に対応した形式で段階的にユーザの操作に合わせて類似検索する様に処理単位を切り替えて、目的とするコンテンツの類似検索を行う処理構成にすることも可能である。
【０１０１】
以上のように、コンテンツから取得可能な特定の特徴量に基づいて決定される一定基準の類似度で類似するコンテンツを検索制御処理し配置表示制御処理するのではなく、コンテンツ間の属性情報である各種メタデータから抽出される内容の違いを考慮した上で段階的に算出すべき特徴量や類似項目を決定することで、コンテンツ間で段階的に算出すべきより妥当な類似度基準に変更決定できるため、ユーザが保有するまたは特定用途向けの多様なコンテンツデータに対してより属性情報の違いの変化に適した類似コンテンツの検索制御処理および配置制御処理が可能となり、ユーザはより満足度の高い類似項目および配置表示で保有データを効果的に類似検索することや、簡単に探索視聴することができる。
【０１０２】
以上、本発明の一態様に係る類似コンテンツ検索処理装置について、実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したもの、あるいは異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の範囲内に含まれる。
【０１０３】
例えば、実施の形態１における類似コンテンツ検索処理装置が備える構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ  Ｓｃａｌｅ  Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。
【０１０４】
システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ（Ｒｅａｄ  Ｏｎｌｙ  Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｍｄｏｍ  Ａｃｃｅｓｓ  Ｍｅｍｏｒｙ）などを含んで構成されるコンピュータシステムである。前記ＲＯＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムに従って動作することにより、システムＬＳＩは、その機能を達成する。
【０１０５】
なお、ここでは、システムＬＳＩとしたが、集積度の違いにより、ＩＣ、ＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路または汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ  Ｐｒｏｇｒａｍｍａｂｌｅ  Ｇａｔｅ  Ａｒｒａｙ）、あるいはＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
【０１０６】
さらには、半導体技術の進歩または派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【０１０７】
また、本発明は、このような特徴的な処理部を備える類似コンテンツ検索処理装置として実現することができるだけでなく、類似コンテンツ検索処理装置に含まれる特徴的な処理部をステップとする類似コンテンツ検索処理装置などとして実現することもできる。また、そのような方法に含まれる特徴的な各ステップをコンピュータに実行させるコンピュータプログラムとして実現することもできる。そして、そのようなコンピュータプログラムを、ＣＤ−ＲＯＭ等のコンピュータ読取可能な非一時的な記録媒体あるいはインターネット等の通信ネットワークを介して流通させることができるのは、言うまでもない。
【０１０８】
（補足）
以下、本発明の実施形態に係る動画処理装置の構成およびその変形例と各効果について説明する。
【０１０９】
（１）本発明に係る類似コンテンツ検索処理装置は、検索対象であるコンテンツ群を取得するコンテンツデータ取得手段と、検索時の問合せ元となる少なくとも１つ以上のコンテンツデータを入力するクエリ情報入力手段と、前記コンテンツデータ取得手段により取得されるコンテンツまたは前記クエリ情報入力手段により入力されるコンテンツの属性情報を抽出するコンテンツ情報抽出手段と、前記コンテンツ情報抽出手段により抽出される、前記クエリ情報入力手段により入力されるコンテンツの属性情報と、前記コンテンツデータ取得手段により取得される少なくとも１つ以上のコンテンツ群の属性情報から属性情報の差分情報を算出し、算出された差分情報に基づいて前記コンテンツ間の類似度を算出する際の基準となる類似度基準を決定する類似度基準決定手段と、前記類似度基準決定手段により決定された類似度基準に基づいて、前記コンテンツ間の類似度を算出する類似度算出手段と、前記類似度算出手段により算出された類似度を基に所定の条件を満たすコンテンツを選択する合致コンテンツ選択手段と、を備える。
【０１１０】
本構成によって、多様なコンテンツデータに対しても、コンテンツデータが持つ属性情報の違いに応じた類似度算出が可能となるため、検索対象コンテンツ群に対して、入力された検索クエリであるコンテンツに適した類似度で類似コンテンツ検索を行うことが可能となる。
【０１１１】
（２）上記（１）において、前記類似度基準決定手段は、前記クエリ情報入力手段に入力されるコンテンツの属性情報として、入力されるコンテンツ自体から抽出される属性情報、または入力されるコンテンツが属する一定単位のコンテンツ群から抽出される属性情報、またはその両方の属性情報を抽出するクエリ属性抽出手段を更に備え、前記類似度基準決定手段は、前記クエリ属性抽出手段により抽出される属性情報に基づいて、算出する差分情報の算出方法を変更することとしてもよい。
【０１１２】
（３）上記（２）において、前記類似度基準決定手段は、前記コンテンツデータ取得手段により取得される検索対象となるコンテンツ群から属性情報を抽出する対象群属性抽出手段を更に備え、前記類似度基準決定手段は、前記属性情報を抽出する一定単位のコンテンツ群は、複数のコンテンツデータで構成されており、構成条件は少なくともコンテンツ群の撮影時間、撮影場所、風景シーン、撮影構図、イベント内容またはユーザがまとめている単位のいずれかの条件を満たしている構成としてもよい。
【０１１３】
（４）上記（２）において、前記類似度基準決定手段は、前記クエリ属性抽出手段により抽出される属性情報と前記対象群属性抽出手段から抽出される属性情報を比較し、類似度判定に必要な差分情報を算出する属性情報比較手段を更に備え、前記類似度基準決定手段において、前記差分情報を算出する際の比較単位は、少なくともコンテンツ群の撮影時間、撮影場所、風景シーン、撮影構図、イベント内容またはユーザがまとめている単位のいずれかの条件を満たしている構成単位であり、同一粒度の条件で構成されている少なくとも１つ以上のコンテンツ群から差分情報を算出する構成としてもよい。
【０１１４】
上記（２）から（４）の構成によって、さらに、比較するコンテンツ間の差分情報を算出する上で、抽出するコンテンツの属性情報の粒度を揃えることができるため、検索対象コンテンツ群と検索クエリであるコンテンツにより適した類似度で類似コンテンツ検索を行うことが可能となる。
【０１１５】
（５）上記（１）の構成において、前記コンテンツ情報抽出手段から抽出される属性情報は、前記コンテンツデータが生成された機器から抽出可能なメタデータ情報、前記コンテンツデータを解析することにより抽出可能なメタデータ情報、または前記コンテンツデータを利用することにより抽出可能なメタデータ情報の内、少なくとも１つ以上のメタデータ情報を含み、前記類似度基準決定手段は、前記コンテンツ情報抽出手段により抽出されるコンテンツ群に対する属性情報に対して、統計的解析手法により抽出可能な統計情報を用いて差分情報を算出することを特徴とすることとしてもよい。
【０１１６】
（６）上記（５）の構成において、前記類似度基準決定手段は、前記差分情報に基づいて類似度判定に用いる特徴量および類似度算出手法等の基準情報を決定する基準情報決定手段を更に備え、前記基準情報決定手段において、コンテンツ群の撮影日や撮影時間帯等の時間に関する情報、撮影場所や撮影範囲等の場所に関する情報、登場人物や頻出人物や特定ポーズ等の人に関する情報、撮影シーンや構図や被写体の動き情報等の撮影内容に関する情報、撮影物体等の撮影被写体に関する情報の内、少なくとも１つ以上の情報を用いてコンテンツ群の統計情報を抽出し、前記類似度基準決定手段は、抽出された統計情報に従って前記基準情報を決定する構成としてもよい。
【０１１７】
（７）上記（５）の構成において、前記類似度基準決定手段は、前記差分情報に基づいて類似度判定に用いる特徴量および類似度算出手法等の基準情報を決定する基準情報決定手段を更に備え、前記類似度基準決定手段は、抽出された統計情報の内、差分情報として一定値以上の差分の少ない属性情報を用いて、類似度判定に用いる前記基準情報を決定する構成としてもよい。
【０１１８】
（８）上記（７）の構成において、前記類似度基準決定手段は、前記統計情報において、各属性情報の差分情報により得られる一致度合いを算出することにより、類似度判定に用いる基準情報の重み付けを変更することで前記基準情報を決定する構成としてもよい。
【０１１９】
（９）上記（７）の構成において、前記類似度基準決定手段は、前記基準情報である利用特徴量として、コンテンツ全体に関する特徴量、コンテンツの局所部分に関する特徴量、コンテンツの前景または背景領域に関する特徴量、コンテンツの階層的な構成に関する特徴量、コンテンツの被写体に関する特徴量の内、少なくとも１つ以上を選択決定し、選択決定された特徴量に基づいてその類似度を算出可能な手法を選択決定する構成としてもよい。
【０１２０】
上記（５）から（９）の構成によって、さらに、コンテンツ属性情報の統計情報を基にした差分情報の算出をする事でよりコンテンツの属性情報の違いを正しく反映した類似度算出が可能となるため、より俯瞰的なコンテンツ間の違いを考慮した類似度で類似コンテンツ検索を行うことが可能となる。
【０１２１】
（１０）上記（１）の構成において、前記類似度基準決定手段は、問合せ元のコンテンツデータと検索対象であるコンテンツデータ群との類似度から同一コンテンツであるかどうかを判定する際に、前記差分情報を基に類似度基準と同一コンテンツである場合の類似度範囲を表す同一性判定範囲を決定することとしてもよい。
【０１２２】
（１１）上記（１０）の構成において、前記コンテンツ情報抽出手段から抽出される属性情報は、前記コンテンツデータが生成された機器から抽出可能なメタデータ情報、前記コンテンツデータを解析することにより抽出可能なメタデータ情報、または前記コンテンツデータを利用することにより抽出可能なメタデータ情報の内、少なくとも１つ以上のメタデータ情報を含み、前記類似度基準決定手段は、前記属性情報であるメタデータ情報の種類およびその差分情報に基づいて、同一コンテンツである事を検出すべき対象であるかを判定し、検出すべき対象に対してそのコンテンツ群に共通する傾向情報を抽出する事によって、前記同一性判定範囲を決定する構成としてもよい。
【０１２３】
（１２）上記（１０）の構成において、前記類似度基準決定手段は、前記類似度基準および同一性判定範囲と前記合致コンテンツ選択手段で選択されたコンテンツ群に基づいて、同一性を判定すべき内容を絞り込み、前記判定すべき内容を判定可能な類似度基準と同一性判定範囲を再決定し、前記合致コンテンツ選択手段は、前記類似度基準決定手段で決定された類似度基準と同一性判定範囲に合致するコンテンツ群から同一コンテンツであると決定できない場合に、合致コンテンツ群を前記類似度決定手段に入力する事により、再帰的に同一コンテンツを探索し選択する構成としてもよい。
【０１２４】
（１３）上記（１０）の構成において、前記類似度基準決定手段は、各コンテンツ群に対して複数の前記類似度基準および同一性判定範囲を決定し、前記合致コンテンツ選択手段は、前記類似度基準決定手段で決定された複数の類似度基準と同一性判定範囲から各コンテンツの類似度変化度合いまたは同一性変化度合いを用いることによって、同一コンテンツを選択する構成としてもよい。
【０１２５】
上記（１０）から（１３）の構成によって、さらに、多様なコンテンツデータが持つ属性情報の違いに応じた類似度算出および同一性判定が可能となるため、様々な検索対象コンテンツ群に対しても検索クエリとの同一判定を行う事ができる類似コンテンツ検索を行うことが可能となる。
【０１２６】
（１４）上記（１）の構成において、前記合致コンテンツ選択手段で選択されたコンテンツを前記類似度基準に適する配置で表示する表示手段を更に備え、前記類似度基準決定手段は、属性情報の差分情報に基づいて決定される類似度基準が比較コンテンツ群に対して少なくとも一度以上は変更され、前記合致コンテンツ選択手段は、前記類似度基準決定手段で決定された複数の類似度基準を用いて前記類似度算出手段で算出された類似度に対して一定条件で合致するコンテンツ群を選択することとしてもよい。
【０１２７】
（１５）上記（１４）の構成において、前記類似度基準決定手段は、特定の１つの属性情報または複合的な１つの属性情報の差分情報に基づいて類似度基準を変更し、前記表示手段は、前記合致コンテンツ選択手段で選択されたコンテンツを変更された類似度基準に従って、前記１つの属性情報の差分情報が増加するまたは減少する順に１次元的にコンテンツを配置して表示する構成としてもよい。
【０１２８】
（１６）上記（１４）の構成において、前記類似度基準決定手段は、特定の２つの属性情報または複合的な２つの属性情報の差分情報に基づいて類似度基準を変更し、前記表示手段は、前記合致コンテンツ選択手段で選択されたコンテンツを変更された類似度基準に従って、前記２つの属性情報の差分情報それぞれが増加するまたは減少する順に２次元的にコンテンツを配置して表示する構成としてもよい。
【０１２９】
（１７）上記（１４）の構成において、前記表示手段に表示されているコンテンツまたは一定単位のコンテンツ群において、ユーザ所望のコンテンツまたは一定単位のコンテンツ群が選択された際に、その選択情報等を入力するユーザ操作入力手段を更に備え、前記類似度基準決定手段は、前記ユーザ操作入力手段で入力された選択情報に基づいて、差分情報を算出するコンテンツ間に最適な属性情報を選択する事によって、類似度基準を再決定する構成としてもよい。
【０１３０】
（１８）上記（１７）の構成において、コンテンツ情報抽出手段により抽出される履歴情報は、メタデータ情報またはユーザにより編集されているフォルダ構成等のコンテンツの階層的な構造情報を含み、前記類似度基準決定手段は、構造情報における特定の階層または特定の構造におけるコンテンツ群単位で類似度基準を決定し、前記表示手段は、類似度基準が決定された構造情報に従ってコンテンツを配置する構成としてもよい。
【０１３１】
上記（１４）から（１８）の構成によって、さらに、多様なコンテンツデータに対して属性情報の違いに応じた様々な類似度算出が可能となるため、入力された検索クエリであるコンテンツを多様な観点の類似度でコンテンツを配置表示することができる類似コンテンツ検索を行うことが可能となる。
【産業上の利用可能性】
【０１３２】
本発明にかかる類似コンテンツ検索処理装置および方法は、少なくともコンテンツの画像特性を表特定の特徴量に基づいた一定基準での類似性判定に基づいた類似コンテンツ群の検索制御処理を行わず、ユーザが保有するまたは特定用途向けの多様なコンテンツに対して、検索クエリであるコンテンツと検索対象となるコンテンツ群との属性情報の違いに基づいてコンテンツ間で抽出すべき特徴量や類似内容を動的に決定し抽出する処理を行うため、コンテンツの撮影内容に適合した算出すべき類似度基準でコンテンツ間の類似度を算出し、効果的な類似コンテンツの検索制御処理を行う事ができる。
【０１３３】
例えば、コンテンツデータの類似検索、また同一コンテンツの照合を行う際に、コンテンツ間の属性情報の違いを考慮した比較すべき類似内容の決定が行えるため、コンテンツ間の撮影状況や撮影内容の実体に則した適切な類似度算出を行った上で類似コンテンツの検索制御処理を行うことが可能である。よって、効果的に検索クエリであるコンテンツに適する類似コンテンツの検索制御処理を行えるため、様々な類似コンテンツ検索装置に有用である。また、ＤＶＤ／ＢＤレコーダーやＴＶやパソコンソフトやデータサーバーやデータサービス等の用途にも応用できる。
【符号の説明】
【０１３４】
１    コンテンツデータ蓄積部
２    クエリ情報入力手段
３    コンテンツ情報抽出手段
４    類似度基準決定手段
５    類似度算出手段
６    合致コンテンツ選択手段
７    表示手段
８    ユーザ操作入力手段
４１    クエリ属性抽出手段
４２    対象群属性手段
４３    属性情報比較手段
４４    基準情報決定手段
４３１    統計情報算出手段
４３２    統計項目決定手段
４３３    特性項目比較手段
４４１    加工情報抽出手段
４４２    同一性判定項目算出手段
４４３    同一性判定情報決定手段
【図１】
2014092955.tif 000003
【図２】
2014092955.tif 000004
【図３】
2014092955.tif 000005
【図４】
2014092955.tif 000006
【図５】
2014092955.tif 000007
【図６】
2014092955.tif 000008
【図７】
2014092955.tif 000009
【図８】
2014092955.tif 000010
【図９】
2014092955.tif 000011
【図１０】
2014092955.tif 000012
【図１１】
2014092955.tif 000013
【図１２】
2014092955.tif 000014
【図１３】
2014092955.tif 000015
【図１４】
2014092955.tif 000016
【図１５】
2014092955.tif 000017
【図１６】
2014092955.tif 000018
【図１７】
2014092955.tif 000019