(57)【特許請求の範囲】
【請求項１】
複数のオブジェクトと各オブジェクトの特徴量情報を記憶する記憶手段と、
複数のフレームから構成されたコンテンツを再生する再生手段と、
前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付手段と、
前記受付手段による受け付けに応じて、オブジェクトを検出する検出手段と、
前記検出手段により検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与手段と、
前記重み値が付与された複数のオブジェクトに基づいて、前記検出手段が検出したオブジェクトに類似するオブジェクトを検索する検索手段と、
を備え、
前記付与手段は、
前記検出手段により検出された複数のオブジェクトそれぞれについて、各オブジェクトを含む各フレームの時系列的な特徴に基づいて、オブジェクト同士を関係付ける関係付け手段と、
前記関係付けられたオブジェクトの重み値を、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる増加手段とを含み、
前記検出手段は、検出したオブジェクトそれぞれについてオブジェクトの特徴量情報を抽出し、
前記検索手段は、前記検出手段により抽出された特徴量情報を、前記記憶手段に記憶された特徴量情報と照合することにより、前記検出手段が検出したオブジェクトに類似するオブジェクトを検索する
ことを特徴とする映像検索装置。
【請求項２】
前記コンテンツは、その再生時間軸上において複数のシーンにより区切られており、
前記関係付け手段は、各オブジェクトを含む各フレームのシーンの同一性に基づいて、前記オブジェクト同士の関係付けを行う
ことを特徴とする請求項１に記載の映像検索装置。
【請求項３】
前記コンテンツは、その再生時間軸上において複数のチャプタにより区切られており、
前記関係付け手段は、各オブジェクトを含む各フレームのチャプタの同一性に基づいて、前記オブジェクト同士の関係付けを行う
ことを特徴とする請求項１に記載の映像検索装置。
【請求項４】
前記関係付け手段は、他のオブジェクトを介して間接的に関係付けられているオブジェクト同士を関係付ける
ことを特徴とする請求項１に記載の映像検索装置。
【請求項５】
前記増加手段は、前記他のオブジェクトを介して間接的に関係付けられているオブジェクト同士については、介しているオブジェクトの個数に応じて、前記増加させる重み値を調整する
ことを特徴とする請求項４に記載の映像検索装置。
【請求項６】
前記関係付け手段は、
フレームの前記再生時間が前方のオブジェクトから、フレームの前記再生時間が後方のオブジェクトへと関係付けを行い、
フレームの前記再生時間が後方のオブジェクトから、フレームの前記再生時間が前方のオブジェクトへは関係付けを行わない
ことを特徴とする請求項１に記載の映像検索装置。
【請求項７】
前記関係付けられたオブジェクトが、前記コンテンツ中で出現する頻度をカウントする頻度カウント手段を備え、
前記増加手段は、前記関係付けられたオブジェクトの重み値を、当該関係付けられたオブジェクトに関してカウントされた頻度が多いほど、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる
ことを特徴とする請求項１に記載の映像検索装置。
【請求項８】
前記関係付けられたオブジェクトについて、前記コンテンツ中で出現する再生時間軸上の長さをカウントする時間カウント手段を備え、
前記増加手段は、前記関係付けられたオブジェクトの重み値を、当該関係付けられたオブジェクトに関してカウントされた長さが大きいほど、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる
ことを特徴とする請求項１に記載の映像検索装置。
【請求項９】
前記増加手段は、前記関係付けられたオブジェクトの重み値を、当該関係付けられたオブジェクトがフレームにおいて占める大きさが大きいほど、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる
ことを特徴とする請求項１に記載の映像検索装置。
【請求項１０】
前記再生手段により早送りまたは巻き戻しされたフレームを特定する情報を記憶する履歴記憶手段を備え、
前記増加手段は、前記履歴記憶手段を参照して、前記関係付けられたオブジェクトを含むフレームが早送りされたことを示していれば、当該関係付けられたオブジェクトの重み値の増加量を小さくし、
または、前記増加手段は、前記履歴記憶手段を参照して、前記関係付けられたオブジェクトを含むフレームが巻き戻しされたことを示していれば、当該関係付けられたオブジェクトの重み値の増加量を大きくする
ことを特徴とする請求項１に記載の映像検索装置。
【請求項１１】
複数のオブジェクトと各オブジェクトがコンテンツ中の再生時間軸上において出現する順序とを記憶する記憶手段を備え、
前記検出手段は、検出した複数のオブジェクトについて、前記コンテンツ中の再生時間軸上において出現する順序を決定し、
前記検索手段は、前記記憶手段に記憶された複数のオブジェクトの中から、前記検出手段により検出された複数のオブジェクトの順序との合致度が高いオブジェクトを検索することを特徴とする請求項１に記載の映像検索装置。
【請求項１２】
前記検出手段により検出された複数のオブジェクトと、各オブジェクトの重み値とを関連付けて蓄積する蓄積手段を備え、
前記関係付け手段は、前記蓄積された複数のオブジェクトを、前記関係付けの対象とする
ことを特徴とする請求項１に記載の映像検索装置。
【請求項１３】
前記蓄積手段は、蓄積する複数のオブジェクトそれぞれについて、シリーズ識別情報を記憶し、
前記検出手段により検出された複数のオブジェクトのそれぞれには、シリーズ名を示す情報が関連付けられており、
前記関係付け手段は、前記蓄積された複数のオブジェクトを参照して、前記検出手段により検出された複数のオブジェクトそれぞれのシリーズ名と、シリーズ名が一致するオブジェクトを関係付ける
ことを特徴とする請求項１２に記載の映像検索装置。
【請求項１４】
オブジェクトと各オブジェクトの特徴量情報とを記憶する記憶手段と、
複数のフレームから構成されたコンテンツを再生する再生手段と、
前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付手段と、
前記受付手段による受け付けに応じて、オブジェクトを検出する検出手段と、
前記検出手段により検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与手段と、
前記重み値が付与された複数のオブジェクトに基づいて、前記検出手段が検出したオブジェクトに類似するオブジェクトを検索する検索手段と、
を備え、
前記付与手段は、
前記検出手段により検出された複数のオブジェクトそれぞれについて、各オブジェクトを含む各フレームの時系列的な特徴に基づいて、オブジェクト同士を関係付ける関係付け手段と、
前記関係付けられたオブジェクトの重み値を、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる増加手段とを含み、
前記検出手段は、検出したオブジェクトそれぞれのオブジェクトの特徴量情報を抽出し、
前記付与手段は、前記オブジェクトそれぞれに重み値を付与し、
前記検索手段は、
検出手段により検出されたオブジェクトの特徴量情報を、前記記憶手段に記憶されたオブジェクトそれぞれの特徴量情報と照合することにより、１次類似度を算出し、
１次類似度の値に、
当該他のオブジェクトの重み値を乗算して得られた値を加算することにより、
２次類似度を算出する
ことを特徴とする映像検索装置。
【請求項１５】
複数のフレームから構成されたコンテンツを再生する再生ステップと、
前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付ステップと、
前記受付ステップによる受け付けに応じて、オブジェクトを検出する検出ステップと、
前記検出ステップにより検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与ステップと、
前記重み値が付与された複数のオブジェクトに基づいて、前記検出ステップが検出したオブジェクトに類似するオブジェクトを検索する検索ステップと、
を含み、
前記付与ステップは、
前記検出ステップにおいて検出された複数のオブジェクトそれぞれについて、各オブジェクトを含む各フレームの時系列的な特徴に基づいて、オブジェクト同士を関係付ける関係付けステップと、
前記関係付けられたオブジェクトの重み値を、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる増加ステップとを含み、
前記検出ステップは、検出したオブジェクトそれぞれについてオブジェクトの特徴量情報を抽出し、
前記検索ステップは、前記検出ステップにおいて抽出された特徴量情報を、複数のオブジェクトと各オブジェクトの特徴量情報を記憶する前記記憶手段に記憶された特徴量情報と照合することにより、前記検出ステップが検出したオブジェクトに類似するオブジェクトを検索する
映像検索方法。
【請求項１６】
コンピュータに映像検索処理を実行させるプログラムであって、
前記映像検索処理は、
複数のフレームから構成されたコンテンツを再生する再生ステップと、
前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付ステップと、
前記受付ステップによる受け付けに応じて、オブジェクトを検出する検出ステップと、
前記検出ステップにより検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与ステップと、
前記重み値が付与された複数のオブジェクトに基づいて、前記検出ステップが検出したオブジェクトに類似するオブジェクトを検索する検索ステップと
を含み、
前記付与ステップは、
前記検出ステップにおいて検出された複数のオブジェクトそれぞれについて、各オブジェクトを含む各フレームの時系列的な特徴に基づいて、オブジェクト同士を関係付ける関係付けステップと、
前記関係付けられたオブジェクトの重み値を、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる増加ステップとを含み、
前記検出ステップは、検出したオブジェクトそれぞれについてオブジェクトの特徴量情報を抽出し、
前記検索ステップは、前記検出ステップにおいて抽出された特徴量情報を、複数のオブジェクトと各オブジェクトの特徴量情報を記憶する前記記憶手段に記憶された特徴量情報と照合することにより、前記検出ステップが検出したオブジェクトに類似するオブジェクトを検索する
ことを特徴とするプログラム。
【請求項１７】
複数のオブジェクトと各オブジェクトの特徴量情報を記憶する記憶手段と、
複数のフレームから構成されたコンテンツを再生する再生手段と、
前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付手段と、
前記受付手段による受け付けに応じて、オブジェクトを検出する検出手段と、
前記検出手段により検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与手段と、
前記重み値が付与された複数のオブジェクトに基づいて、前記検出手段が検出したオブジェクトに類似するオブジェクトを検索する検索手段と、
を備え、
前記付与手段は、
前記検出手段により検出された複数のオブジェクトそれぞれについて、各オブジェクトを含む各フレームの時系列的な特徴に基づいて、オブジェクト同士を関係付ける関係付け手段と、
前記関係付けられたオブジェクトの重み値を、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる増加手段とを含み、
前記検出手段は、検出したオブジェクトそれぞれについてオブジェクトの特徴量情報を抽出し、
前記検索手段は、前記検出手段により抽出された特徴量情報を、前記記憶手段に記憶された特徴量情報と照合することにより、前記検出手段が検出したオブジェクトに類似するオブジェクトを検索する
ことを特徴とする集積回路。
【発明の詳細な説明】
【技術分野】
【０００１】
映像に登場するオブジェクトを基に、関係するオブジェクトや映像などを検索する技術に関する。
【背景技術】
【０００２】
近年、放送の多チャンネル化、ネットＴＶ向け映像配信サービスの開始などにより、デジタルビデオレコーダの蓄積容量が増加している。【０００３】
また、ネットワーク上のサーバに大容量の映像を保存する蓄積装置を配置し、映像の蓄積・視聴を行うサービスも行われている。これに伴い、蓄積装置に蓄積されている大量の映像の中から所望の映像を効率よく選び出す検索装置の実用化が進んでいる。【０００４】
特許文献１では、映像のあるひとつのフレームに含まれるオブジェクト（人物）の指定をユーザから受け付け、その受け付けたオブジェクトの特徴量を抽出する。そして、抽出した特徴量を用いて照合することにより、その受け付けたオブジェクトが現れている別の映像シーンを表示するとしている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特許第３７１１９９３号公報
【特許文献２】特開平６−８９５４５号公報
【非特許文献】
【０００６】
【非特許文献１】Ｃａｎｎｙ，Ｊ．，”Ａ  Ｃｏｍｐｕｔａｔｉｏｎａl  Ａｐｐｒｏａｃｈ  Ｔｏ  Ｅｄｇｅ  Ｄｅｔｅｃｔｉｏｎ”，ＩＥＥＥ  Ｔｒａｎｓ  Ｐａｔｔｅｒｎ  Ａｎａlｙｓｉｓ  ａｎｄ  Ｍａｃｈｉｎｅ  Ｉｎｔｅllｉｇｅｎｃｅ，８：６７９−７１４（１９８６）．
【非特許文献２】大町ら，”多項式近似に基づく高速な指定領域でのテンプレートマッチング”，画像電子学会誌，ｖｏl．３８，ｎｏ．５，６４８−６５５（２００９）．
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、上に述べた従来の構成では、あるひとつのフレームの中で指定されたひとつのオブジェクトを利用して関連する映像を検索するため、検索精度がそれほど高くなく、ユーザが所望する映像を得られない場合がある。【０００８】
例えば、オブジェクトの色の組合せを特徴量として用いるのであれば、指定されたひとつのオブジェクトと、実体は異なるのにたまたま色の組合せが似ているだけのオブジェクトが検索されることがある。【０００９】
本発明は、このような背景の下になされたものであって、検索精度の向上に寄与できる映像検索装置を提供することを目的とする。
【課題を解決するための手段】
【００１０】
本発明に係る映像検索装置は、複数のフレームから構成されたコンテンツを再生する再生手段と、前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付手段と、前記受付手段による受け付けに応じて、オブジェクトを検出する検出手段と、検出手段により検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームのコンテンツ上の時系列的な特徴に基づいて調整された、重み値を付与する付与手段と、前記重み値が付与された複数のオブジェクトに基づいて検索を行う検索手段と、を備えるとしている。
【発明の効果】
【００１１】
この構成によれば、複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームのコンテンツ上の時系列的な特徴に基づいて調整された重み値を付与し、付与された重み値に基づいて検索を行うので、検索精度の向上に寄与することができる。
【図面の簡単な説明】
【００１２】
【図１】映像検索装置１０１の機能ブロック図
【図２】コンテンツ管理情報記憶部１０４の記憶内容を示す図
【図３】シーン情報記憶部１０５の記憶内容を示す図
【図４】オブジェクトが属するシーンを特定する流れを示す図
【図５】オブジェクト情報記憶部１０６の記憶内容を示す図
【図６】オブジェクト情報記憶部１０６における特徴量情報の例を示す図
【図７】オブジェクト情報記憶部１０６の各オブジェクトＩＤに対応するサムネイルを示す図
【図８】領域指定の様子を示す図
【図９】指定された領域（オブジェクト）から特徴量を抽出する様子を示す図
【図１０】特徴量情報の例を示す図
【図１１】第１バッファ１１０の記憶内容を示す図
【図１２】第１バッファ１１０の記憶内容を模式的に示す図
【図１３】（ａ）初期重み値付与のイメージを示す図、（ｂ）重み値増加のイメージを示す図
【図１４】第２バッファ１１５の記憶内容を示す図
【図１５】メインのフローチャート
【図１６】タッチスクリーン８０１の画面を示す図
【図１７】オブジェクトの重み付け処理の流れを示すフローチャート
【図１８】類似映像検索処理の流れを示すフローチャート
【図１９】１次類似度の算出処理の流れを示すフローチャート
【図２０】算出された１次類似度の例を示す図
【図２１】２次類似度の算出処理の流れを示すフローチャート
【図２２】オブジェクトＯ１の１次類似度を説明する図
【図２３】オブジェクトＯ１とオブジェクトＰ１との２次類似度の算出方法を説明する図
【図２４】オブジェクトＯｈとオブジェクトＰｉとの２次類似度の算出方法を説明する図
【図２５】算出された２次類似度の例を示す図
【図２６】タッチスクリーン８０１上に検索結果を表示する例を示す図
【図２７】動作の流れをユーザインターフェイス側から見たときのイメージを示す図
【図２８】ポイントの入力期間におけるフレームの変遷を示す図
【図２９】ポイント指定の様子を示す図
【図３０】指定されたポイントを基にオブジェクトを検出する様子を示す図
【図３１】オブジェクト同士の関係付けを説明する図
【図３２】オブジェクト同士の関係付けを説明する図
【図３３】オブジェクト同士の関係付けを説明する図
【図３４】オブジェクト同士の関係付けを説明する図
【図３５】オブジェクトにシーン番号を対応付ける動作の流れを示すフローチャート
【発明を実施するための形態】
【００１３】
以下、実施の形態について、図面を参照しながら説明する。
（実施の形態１）
＜構成＞
図１に示すように、映像検索装置１０１は、通信部１０２、コンテンツ記憶部１０３、コンテンツ管理情報記憶部１０４、シーン情報記憶部１０５、オブジェクト情報記憶部１０６、再生部１０７、受付部１０８、オブジェクト検出部１０９、第１バッファ１１０、重み値付与部１１１、第２バッファ１１５、検索部１１６、表示制御部１１７、表示部１１８を備える。
【００１４】
通信部１０２は、各種通信を行う機能を有し、例えばＮＩＣ（Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｆａｃｅ Ｃａｒｄ）から構成され、ネットワーク経由でコンテンツを受信する。あるいは、放送波受信用のアンテナから構成され、放送波に乗せられて到来するコンテンツを受信する。
【００１５】
なお、本実施の形態におけるコンテンツとは、ある長さの再生時間を持つ映像コンテンツである。以下では単にコンテンツと呼ぶ。
【００１６】
コンテンツ記憶部１０３は、通信部１０２が受信したコンテンツや外部メディア（光ディスクなど）から入力されたコンテンツを複数記憶する。
【００１７】
コンテンツ管理情報記憶部１０４は、コンテンツ記憶部１０３が記憶するコンテンツについての管理情報を記憶するものである。
【００１８】
この管理情報の例としては、図２に示すように、コンテンツを識別するための「コンテンツＩＤ」１０４ａ、コンテンツの「タイトル」１０４ｂ、コンテンツの「ジャンル」１０４ｃ、コンテンツの所在を特定するための「コンテンツファイルパス」１０４ｄの項目を含む。
【００１９】
シーン情報記憶部１０５は、コンテンツ記憶部１０３が記憶する各コンテンツについて、それぞれのコンテンツに含まれるシーンと、シーン毎のフレーム番号の範囲とを関係付けて記憶するものである。
【００２０】
その例としては、図３に示すように、シーン情報記憶部１０５は、シーンの番号を示す「シーン番号」１０５ａと、シーン番号に対応するフレームの範囲を示す「フレーム番号範囲」１０５ｂの項目を含む。
【００２１】
図３では、ひとつのコンテンツ（コンテンツＩＤ：ＡＡＡ）についてのみ示しているが、他のコンテンツ（コンテンツＩＤ：ＡＢＣ，ＢＣＤ，ＺＺＺ）についても同様な内容を記憶している。
【００２２】
このシーン情報記憶部１０５の記憶内容は、関係付け部１１３が行うオブジェクトに対応するシーンの特定に用いられる。このシーンの特定手法について図４を用いて後述する。
【００２３】
オブジェクト情報記憶部１０６は、コンテンツ記憶部１０３が記憶するコンテンツのフレーム中に含まれる（現れる）オブジェクトに関する情報を記憶する。
【００２４】
その例としては、図５に示すように、オブジェクトを一意に識別するための「オブジェクトＩＤ」１０６ａ、そのオブジェクトを含むフレームの番号を示す「フレーム番号」１０６ｂ、そのフレームを含むコンテンツの識別子を示す「コンテンツＩＤ」１０６ｃ、「特徴量情報」１０６ｄ、代表フレーム（ユーザにより最初にポイントされたフレームのこと。）の所在を示す「ファイルパス」１０６ｅから構成される。
【００２５】
なお、オブジェクト情報記憶部１０６の記憶内容は、コンテンツ記憶部１０３の各コンテンツを対象にオブジェクト検出部１０９がオブジェクトの特徴量を抽出し、オブジェクトを検出することにより作成されたものである。コンテンツ中のどのオブジェクトを対象とするかは予め指定された設定条件の下に自動的に行ってもよいし、手動（ユーザ指定）で行ってもよい。
【００２６】
特徴量情報の例を、図６に示す。図６中”ｉ”，”ｊ”は格子座標であり、Ｒ，Ｇ，Ｂはそれぞれ赤，緑，青の色の割合を２５６段階で示すものである。なお、詳しくは後述するが格子座標とは、フレームを格子状に分割し、各格子の位置を表すものである。
【００２７】
オブジェクト情報記憶部１０６は、図６のような特徴量情報をオブジェクト毎に記憶している。本実施の形態では、図６のような特徴量情報を１０００個のオブジェクトＩＤ”０００１”〜ＩＤ”１０００”それぞれに対応して１０００個分記憶しているものとする。
【００２８】
図７は、オブジェクト情報記憶部１０６の各オブジェクトのサムネイルを示す図である。
【００２９】
ＩＤ”０００１”−ＩＤ”０００２”のオブジェクトはカブトムシ、ＩＤ”０００３”のオブジェクトは戦車、ＩＤ”１０００”のオブジェクトはネコとなっている。
【００３０】
なお、上の各記憶部１０３〜１０６は例えばＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）のハードウェアから構成される。
【００３１】
図１の機能ブロックの説明を続ける。
【００３２】
再生部１０７は、コンテンツ記憶部１０３に記憶されたコンテンツを再生し、その再生内容を表示部１１８に表示させる。
【００３３】
受付部１０８は、コンテンツの再生指示や、その再生中のオブジェクトの検出対象とする領域の指定（オブジェクトの指定）などの各種指示をユーザから受け付けるものである。本実施の形態では、静電容量型のタッチセンサから構成され、静電容量の値の変化から、タッチセンサの表面のどの位置がポイント（タッチ）されたかを特定して入力として受け付ける。なお、受付部１０８としては、リモコンなどの他の一般的な入力デバイスを用いても構わない。
【００３４】
オブジェクト検出部１０９は、受付部１０８が受け付けた領域を基にオブジェクトを検出し、そのオブジェクトについての特徴量を抽出する。
【００３５】
第１バッファ１１０は、オブジェクト検出部１０９で抽出されたオブジェクトの特徴量情報を格納する。
【００３６】
重み値付与部１１１は、第１バッファ１１０に格納された各オブジェクトに検索スコア（２次類似度）に影響する重み値を付与するものであり、初期重み値付与部１１２、関係付け部１１３、重み値増加部１１４を備える。
【００３７】
初期重み値付与部１１２は、第１バッファ１１０に格納された各オブジェクトに重み値の初期値を付与する。図１１の例では、ＩＤ”０１１”，”０１２”，”０１３”の３つのオブジェクトにそれぞれ０．５の重み値を付与する。この初期重み値付与のイメージを図１３（ａ）に示す。
【００３８】
関係付け部１１３は、第１バッファ１１０に格納されたオブジェクト同士の関係付けを行う。本実施の形態では、関係付け部１１３は、シーン情報記憶部１０５を参照して、オブジェクトが含まれるフレームのシーンが同一であることを条件として関係付けを行う。
【００３９】
図１１の例では、
・オブジェクトＩＤ”０１１”は、フレーム番号＃２０００なので、シーン番号は”２”
・オブジェクトＩＤ”０１２”は、フレーム番号＃２５００なので、シーン番号は”２”
・オブジェクトＩＤ”０１３”は、フレーム番号＃３５００なので、シーン番号は”３”
となる。
【００４０】
したがって、関係付け部１１３は、共にシーン番号が”２”と共通しているオブジェクトＩＤ”０１１”に”０１２”を関係付け、オブジェクトＩＤ”０１２”に”０１１”を関係付ける。
【００４１】
この関係付けを終えると、重み値増加部１１４は、関係付けられたオブジェクトの重み値を増加させる。
【００４２】
図１３（ｂ）の例では、重み値増加部１１４は、関係付けられたオブジェクトＩＤ”０１１”と”０１２”とについてそれぞれ重み値を”０．３”ずつ増加させている。
【００４３】
重み値付与部１１１は、このような一連の重み値に関する処理を終えると、第２バッファ１１５に処理結果を記憶させる。第２バッファ１１５の記憶内容の例を図１４に示す。
【００４４】
図１４に示すように第２バッファ１１５は、「オブジェクトＩＤ」１１５ａと、当該オブジェクトＩＤで示されるオブジェクトと関係付けられたオブジェクトを識別する「関係オブジェクトＩＤ」１１５ｂ、「重み値」１１５ｃを含む。
【００４５】
検索部１１６は、第１バッファ１１０及び第２バッファ１１５に記憶された情報に基づいて、オブジェクト情報記憶部１０６の記憶内容を対象として、類似するオブジェクトの検索を行う。
【００４６】
なお、上記再生部１０７、受付部１０８、オブジェクト検出部１０９および重み値付与部１１１は、例えば、ＲＯＭに制御用プログラムを格納しておき、このプログラムをＣＰＵが実行することにより実現することができる。
【００４７】
表示制御部１１７は、表示部１１８の表示を制御する。
【００４８】
表示部１１８は、例えば液晶方式のタッチスクリーン８０１から構成される。なお、表示部は情報検索装置と一体型であっても、分離型であってもよい。
【００４９】
＜動作＞
続いて、映像検索装置１０１における動作について説明する。
【００５０】
まず、オブジェクトにシーン番号を対応付ける動作の流れを図４，図３５に沿って説明する。
【００５１】
図４（ａ）は、フレーム番号の範囲とシーン番号の関係を示す。
【００５２】
図４（ｂ）は、３つのフレーム（フレーム番号”＃１００１”，”＃２９９７”，”＃３００１”）と、各フレームに含まれるオブジェクト（オブジェクトＩＤ”００１”，”００２”，”００３”）を示す。
【００５３】
図４（ｃ）は、オブジェクトＩＤに対応するフレーム番号およびシーン番号を示す。
【００５４】
この対応付けについては、図３５に示すように、まず関係付け部１１３は、オブジェクトを含むフレーム番号を特定する（Ｓ３５０１）。オブジェクトを含むフレームとしては、例えば、代表フレーム（ユーザにより最初にポイントされたフレーム）を選択する。
【００５５】
次に、関係付け部１１３は、シーン情報記憶部１０５の記憶内容を参照して（Ｓ３５０２）、特定したフレーム番号に対応するシーン番号を決定する（Ｓ３５０３）。
【００５６】
一例を挙げると、例えば、関係付け部１１３は、オブジェクトＩＤ”００１”を含むフレーム番号”＃１００１”を特定する。そして関係付け部１１３は、シーン情報記憶部１０５の記憶内容を参照して、この”＃１００１”がシーン番号”２”であると決定する。
【００５７】
続いて、受付部１０８が領域の指定を受け付けて、オブジェクト検出部１０９がオブジェクトを検出して特徴量を抽出するまでの流れを図８〜図９を用いて説明する。
【００５８】
図８に示すように、タッチスクリーン８０１上には自動車のオブジェクト８０２と人のオブジェクト８０３が表示されている。軌跡８０４は、ポイント入力された点の軌跡である。
【００５９】
オブジェクト検出部１０９は、この軌跡８０４の領域をオブジェクトとして検出する。
【００６０】
そして、オブジェクト検出部１０９は、オブジェクトである軌跡８０４の領域を対象として特徴量を抽出する。
【００６１】
図９（ｂ）に示すように、代表フレーム（図９の例ではフレーム番号”＃９９”）を、横ｗ個、縦ｈ個（図９の例では横１６個、縦９個）の格子領域に分割する。ここで、分割された各格子領域をｒ（ｉ，ｊ）：１≦ｉ≦ｗ，１≦ｊ≦ｈとする。
【００６２】
オブジェクト検出部１０９は、次に、オブジェクトを含む領域である領域Ｏに含まれる格子領域の集合Ｒ（Ｏ）を抽出する。領域Ｏに格子領域ｒ（ｉ，ｊ）が含まれるかどうかの判定方法は次の通りである。
【００６３】
まず、格子領域ｒ（ｉ，ｊ）の重心点Ｐ（ｘ，ｙ）とＰから非常に離れた点Ｑを結ぶ線分を線分Ｐ−Ｑとし、線分Ｐ−Ｑと領域Ｏとの交点数をＮ（Ｐ−Ｑ，Ｏ）とする。
【００６４】
交点数Ｎ（Ｐ−Ｑ，Ｏ）が奇数であれば、その格子領域ｒ（ｉ，ｊ）は領域Ｏに含むとし、偶数であれば含めないと判定する。このようにして、領域Ｏに含まれる格子領域の集合Ｒ（Ｏ）を求める。
【００６５】
図９の例では、格子領域ｒ（１，１）については、ｒ（１，１）の重心点Ｐ１（１０，１０）と非常に離れた点Ｑ（１００００，１００００）との線分Ｐ１−Ｑは、領域Ｏと２点で交差するため、格子領域ｒ（１，１）は領域Ｏに含めない。これに対して、格子領域ｒ（３，６）の重心点Ｐ２（３０，６０）と点Ｑとの線分Ｐ２−Ｑは、領域Ｏと１点で交差するため、格子領域ｒ（３，６）は領域Ｏに含める。
【００６６】
オブジェクト検出部１０９は、その後、領域Ｏに含まれる格子領域ｒ（ｉ，ｊ）∈Ｒ（Ｏ）について、特徴量情報ｃ（ｉ，ｊ）を求める。
【００６７】
ここで、特徴量情報ｃ（ｉ，ｊ）は、格子領域ｒ（ｉ，ｊ）における最も度数の高い色とする。オブジェクト検出部が検出した特徴量情報は、表形式で対応付けて管理する。
【００６８】
図１０に特徴量情報の例を示す。図１０の特徴量情報の形式は、図６に示したものと同様であり、オブジェクトＩＤ”ｘｘ”、フレーム番号”＃１００”、コンテンツＩＤ”ＡＢＣ”が紐付けされている。
【００６９】
オブジェクト検出部１０９は、受付部１０８が領域の指定を受け付ける度に、その領域からオブジェクトを検出して、そのオブジェクトの特徴量を抽出する処理を繰り返す。そして、抽出した特徴量情報などを第１バッファ１１０に格納する。
【００７０】
図１１は、第１バッファ１１０の記憶内容を示す図である。
【００７１】
第１バッファ１１０は、オブジェクトを識別するための「オブジェクトＩＤ」１１０ａ、そのオブジェクトを含む「フレーム番号」１１０ｂ、「特徴量情報」１１０ｃから構成される。
【００７２】
図１２は、図１１の第１バッファ１１０の記憶内容を模式的に示す図である。ＩＤ”０１１”，”０１２”は共にカブトムシ、ＩＤ”０１３”はネコのオブジェクトである。
【００７３】
なお、図１２は説明の便宜のために各オブジェクトのイメージを描いたものであり、第１バッファ１１０における実際のデータ形式は図１０のような特徴量情報の形式である。
【００７４】
次に、映像検索装置１０１におけるメインの動作について、図１５のフローチャートにしたがって説明する。
【００７５】
まず図１５に示すように、受付部１０８が再生すべきコンテンツの選択を受け付ける（Ｓ１５０１）。図１６にステップＳ１５０１に対応するタッチスクリーン８０１の画面を示す。
【００７６】
コンテンツの選択を受け付けて、そのコンテンツを再生部１０７が再生開始すると（Ｓ１５０２）、受付部１０８はオブジェクト指定の受け付け待ちとなる。
【００７７】
続くステップＳ１５０３〜Ｓ１５０５は図８，図９を用いて説明した処理であり、受付部１０８が領域の指定を受け付け（Ｓ１５０３）受け付けた領域を対象としてオブジェクト検出部１０９がオブジェクトを検出し（Ｓ１５０４）、特徴量を抽出する（Ｓ１５０５）。
【００７８】
このステップＳ１５０３〜Ｓ１５０５の処理は、コンテンツの再生が終了するまで（Ｓ１５０６：Ｙｅｓ）、繰り返し行われる。
【００７９】
なお、第１バッファ１１０のオブジェクトＩＤ”０１１”，”０１２”，”０１３”は、ステップＳ１５０４〜Ｓ１５０５の処理を３回繰り返したオブジェクト検出部１０９が格納したものである。
【００８０】
再生終了後は、オブジェクトの重み付け処理に移行する（Ｓ１５０７）。
【００８１】
図１７に示すように、オブジェクトの重み付け処理では、重み値付与部１１１は第１バッファ１１０から、オブジェクトＩＤと対応するフレーム番号を取得し（Ｓ１７０１）、初期重み値付与部１１２は、取得された各オブジェクトＩＤに初期重み値”０．５”を付与する（Ｓ１７０２）。
【００８２】
そして、関係付け部１１３は、シーン情報記憶部１０５の情報を参照することにより、ステップＳ１７０１で取得されたフレーム番号から対応するシーン番号を特定し（Ｓ１７０３）、各オブジェクトＩＤのシーン番号を特定する。
【００８３】
続いて、特定されたシーン番号から、シーン番号が同じオブジェクト同士を関係付ける（Ｓ１７０４）。
【００８４】
重み値増加部１１４は、ステップＳ１７０４で関係付けられた重み値を”０．３”増加させる。一連の処理結果を第２バッファ１１５に出力する（Ｓ１７０５）。
【００８５】
図１４の第２バッファ１１５の例では、オブジェクトＩＤ”０１１”，ＩＤ”０１２”が同じシーン２のオブジェクトであるため、オブジェクトＩＤ”０１１”，ＩＤ”０１２”にそれぞれ関係オブジェクトＩＤ”０１２”，”０１１”が存在し、それぞれの重み値は、初期重み値”０．５”に”０．３”が加算された”０．８”となっている。
【００８６】
このようなオブジェクトの重み付け処理（図１５：Ｓ１５０７）を終えると、類似映像検索処理（Ｓ１５０８）に移る。
【００８７】
図１８に示すように、類似映像検索処理では、オブジェクトの特徴量情報に基づいて算出する１次類似度の算出処理（Ｓ１８０１）、算出された１次類似度とオブジェクトの重み値とに基づいてさらに算出する２次類似度の算出処理（Ｓ１８０２）とを含む。
【００８８】
図１９に示すように、１次類似度の算出処理は、検索部１１６は、第１バッファ１１０に格納されているオブジェクトの中から、１次類似度未算出な１個のオブジェクトＯｈを算出対象に設定する（Ｓ１９０１）。そして、算出対象に設定したオブジェクトの特徴量情報を取得する。
【００８９】
このステップＳ１９０１の例を説明すると、第１バッファ１１０（図１１参照）には、３個分のオブジェクトＯ１（ＩＤ”０１１”），Ｏ２（ＩＤ”０１２”），Ｏ３（ＩＤ”０１３”）が格納されている。検索部１１６は、オブジェクトＯ１を算出対象に設定し、オブジェクトＯ１の特徴量情報を取得する。
【００９０】
次に、検索部１１６は、オブジェクト情報記憶部１０６に格納されているオブジェクトの中から、１次類似度未算出な１個のオブジェクトＰｉを算出対象に設定する（Ｓ１９０２）。そして、算出対象に設定したオブジェクトの特徴量情報を取得する。
【００９１】
このステップＳ１９０２の例を説明すると、オブジェクト情報記憶部１０６（図５参照）には、１，０００個分のオブジェクトＰ１（ＩＤ”０００１”），Ｐ２（ＩＤ”０００２”），Ｐ３（ＩＤ”０００３”），．．．が格納されている。検索部１１６は、オブジェクトＰ１を算出対象に設定し、算出対象に設定したこのオブジェクトＰ１の特徴量情報を取得する。
【００９２】
次に、検索部１１６は、ステップＳ１９０１で設定したオブジェクトＯｈと、ステップＳ１９０２で設定したオブジェクトＰｉとの１次類似度Ｒｈ，ｉを求める（Ｓ１９０３）。
【００９３】
具体的には、オブジェクトＯｈの特徴量情報（格子領域とその特徴色情報）をテンプレートとして、オブジェクトＰｉとのテンプレートマッチング処理を行うことにより、両オブジェクトの類似度である１次類似度Ｒｈ，ｉを求める。
【００９４】
なお、このテンプレートマッチング処理（入力画像にテンプレートを重ねながら移動し、対応する特徴色の相関を調べることでその類似度を判定する処理。）は既存の手法を用いることができ、例えば、上の非特許文献２に記載の手法を用いてもよい。
【００９５】
なお、検索部１１６が求めた１次類似度Ｒｈ，ｉは、０から１の間の値に正規化されており、その値が大きいほど類似度が高いことを示す。
【００９６】
検索部１１６は、１次類似度Ｒｈ，ｉが未算出なオブジェクトＰｉがあれば（Ｓ１９０４：Ｙｅｓ）、ステップＳ１９０２に戻る。
【００９７】
また、１次類似度Ｒｈ，ｉが未算出なオブジェクトＯｈがあれば（Ｓ１９０５：Ｙｅｓ）、ステップＳ１９０１に戻る。
【００９８】
このような一連の処理を繰り返すことにより、第１バッファ１１０の３個分オブジェクト（Ｏ１〜Ｏ３）と、オブジェクト情報記憶部１０６の１，０００個分のオブジェクト（Ｐ１〜Ｐ１０００）それぞれを組み合わせた３，０００個分の１次類似度（Ｒ１，１，Ｒ１，２，．．．，Ｒ１，１０００，Ｒ２，１，Ｒ２，２，．．．，Ｒ３，１０００）を求める。
【００９９】
図２０に１次類似度Ｒｈ，ｉの例を示す。オブジェクトＩＤ”０１２”に関しては、同じカブトムシのオブジェクトＩＤ”０００２”，”０００１”の類似度が高くなっている。オブジェクトＩＤ”０１１”に関しては、戦車のオブジェクトＩＤ”０００３”の類似度も２位と高くなっている。ＩＤ”０００３”の戦車オブジェクトは、ＩＤ”０１１”のカブトムシオブジェクトに対して、偶然色の組合せなどが似ているだけのオブジェクトであり、ＩＤ”０１１”を用いて検索したユーザ（カブトムシを探したいユーザ）にとっては意に沿わない結果であると考えられる。
【０１００】
続いて、２次類似度の算出処理について説明する。
【０１０１】
図２１に示すように、２次類似度の算出処理は、検索部１１６は、第１バッファ１１０に格納されているオブジェクトの中から、２次類似度未算出な１個のオブジェクトＯｈを算出対象に設定する（Ｓ２１０１）。そして、第２バッファ１１５を参照して、算出対象に設定したオブジェクトの関係オブジェクトを取得する（Ｓ２１０２）。
【０１０２】
そして、オブジェクト情報記憶部１０６に格納されているオブジェクトの中から、２次類似度未算出な１個のオブジェクトＰｉを算出対象に設定する（Ｓ２１０３）。
【０１０３】
続いて、検索部１１６は、ステップＳ２１０３で取得したＰｉに対するＯｈの１次類似度Ｒｈ，ｉ及び関係オブジェクトＯｈ（１），．．．，Ｏｈ（ｊ）それぞれの１次類似度Ｒｈ（１），ｉ，．．．，ｈ（ｊ），ｉについて、それぞれ重み値を掛ける。掛けた後に、全て加算することで２次類似度Ｓｈ，ｉを求める（Ｓ２１０４）。
【０１０４】
ステップＳ２１０１でオブジェクトＯ１を対象に設定し、ステップＳ２１０３でオブジェクトＰ１を算出対象に設定したとして、ステップＳ２１０４の具体的な例を図２２、図２３を用いて説明する。
【０１０５】
このオブジェクトＯ１については、図２２に示すように、Ｒ１，１からＲ１，１０００までの１次類似度が求まっており、オブジェクトＯ１はオブジェクトＯ２に関係付けられている（オブジェクトＯ１は関係オブジェクトＯ２を有する）。
【０１０６】
そして、このオブジェクトＯ１とオブジェクトＰ１との２次類似度Ｓ１，１は図２３に示すように、
Ｓ１，１＝Ｒ１，１×ｗ１＋Ｒ２，１×ｗ２・・・（式１）
という式により求められる。
【０１０７】
前半の項「Ｒ１，１×ｗ１」は、オブジェクトＯ１自身と対象オブジェクトＰ１の１次類似度Ｒ１，１に自身の重み値ｗ１を掛けたものとなっている。
【０１０８】
後半の項「Ｒ２，１×ｗ２」は、オブジェクトＯ１の関係オブジェクトＯ２と対象オブジェクＰ１の１次類似度Ｒ２，１に、関係オブジェクトの重み値ｗ２を掛けたものとなっている。
【０１０９】
このように、２次類似度Ｓは、
（Ａ）オブジェクト検出部１０９により検出されたあるオブジェクトＯｈとオブジェクト情報記憶部１０６に記憶されたあるオブジェクトＰｉの１次類似度
（Ｂ）上記オブジェクトＯｈに関係付けられたオブジェクトＯｈ（１）と上記あるオブジェクトＰｉの１次類似度
この両類似度がそれぞれのオブジェクトＯｈ，Ｏｈ（１）の重み付けと掛け合わされた後に加算されたものとなっている。
【０１１０】
上記オブジェクトＡに関係付けられたオブジェクトＯｈ（１），Ｏｈ（２），．．．と、数が多ければその分２次類似度は高い値となる。
【０１１１】
図２４は、２次類似度の算出方法を一般化したイメージを示すものであり、ｊ個の関係オブジェクトを有するオブジェクトＯｈと、オブジェクトＰｉとの２次類似度Ｓｈ，ｉの算出方法を示す。
【０１１２】
検索部１１６は、このような一連の処理を繰り返すことにより、１次類似度（Ｒ１，１，Ｒ１，２，．．．，Ｒ１，１０００，Ｒ２，１，Ｒ２，２，．．．，Ｒ３，１０００）に基づいて２次類似度（Ｓ１，１，Ｓ１，２，．．．，Ｓ１，１０００，Ｓ２，１，Ｓ２，２，．．．，Ｓ３，１０００）を求める（Ｓ２１０５，Ｓ２１０６）。
【０１１３】
図２５に２次類似度の例を示す。
【０１１４】
このような２次類似度の算出処理を終えると（図１８：Ｓ１８０２）、検索部１１６は検索結果を表示する（Ｓ１８０３）。
【０１１５】
図２６は、検索結果の例を示す図である。タッチスクリーン８０１の上段には、検索に用いた３つのオブジェクト（ＩＤ”０１１”，”０１２”，”０１３”）のサムネイルが表示されており、下段には、３つのオブジェクトのうちＩＤ”０１１”の２次類似度が上位３位のオブジェクトのサムネイル５１〜５３が表示されている。
【０１１６】
例えば、受付部１０８がサムネイル５１の選択を受け付けると、検索部１１６は、オブジェクト情報記憶部１０６の中から、サムネイル５１に対応するオブジェクトＩＤ”０００２”（図７参照）を含むフレーム番号”＃１２３４”，コンテンツＩＤ”ＡＢＣ”を特定する。そして検索部１１６は、再生部２６にコンテンツＩＤ”ＡＢＣ”のフレーム番号”＃１２３４”の少し手前のフレーム番号からの再生を開始させる。
【０１１７】
なお、図２４の検索結果は一例に過ぎず、例えば、検索に用いた３つのオブジェクトそれぞれの２次類似度の平均を求めた上で、上位３位を表示するようにしてもよいし、上位３位に限らず任意の個数としてもよい。また、検索結果の順位のみならず、２次類似度の値（検索スコア）を表示するようにしてもよい。
【０１１８】
これまでに説明した動作の流れをユーザインターフェイス側から見たときのイメージを図２７に示す。
【０１１９】
以上説明したように、本実施の形態によれば、ユーザが領域を選ぶことにより指定した３個のオブジェクト（ＩＤ”０１１”，”０１２”，”０１３”）について、シーンが”２”と同じＩＤ”０１１”，”０１２”の重み値を”０．３”増加させる。そして、１次類似度から上の重み値を勘案した２次類似度を求めることとなる。この結果、３個の指定されたオブジェクトのそれぞれにおいてコンスタントに１次類似度が高いオブジェクト、および同じシーンに属するオブジェクトなどを、最終的に高い２次類似度とすることができる。
【０１２０】
この結果、図２０のカブトムシ（ＩＤ”０１１”）に対する戦車（ＩＤ”０００３”）のように、指定されたオブジェクトと偶然色の組合せが似ていて単独のオブジェクトで検索したのでは上位に上がって来てしまうようなオブジェクトを、検索結果の上位から排除することができ、検索精度の向上を図ることができる。
【０１２１】
なお、図２０の例では、同じシーン”２”であるオブジェクトが２個と少ないが、１０個，２０個と検索に用いるオブジェクトの個数を増やすにつれて、より上のような偶然色の組合せが似ているだけのオブジェクトが検索結果の上位を占める可能性を減らすことができる。
＜補足１＞
以上、本実施の形態について説明したが、本発明は上記の内容に限定されず、本発明の目的とそれに関連又は付随する目的を達成するための各種形態においても実施可能であり、例えば、以下であっても構わない。
【０１２２】
（１）オブジェクト検出部１０９が検出対象とするフレームについて補足する。
【０１２３】
受付部１０８は、コンテンツの再生中に領域の指定を受け付けるので、領域指定のためのポイントの入力開始から入力終了までの間にもフレームが経過する。
【０１２４】
このため、図２８に示すように、このポイントの入力中に、ユーザが指定を意図したオブジェクトの位置が変更されたり、フレーム外に出てしまうことがある。
【０１２５】
このため、ポイントの入力開始時点（受付部１０８が受け付けた時点）のフレーム番号”＃１００”を検出対象とすることが好ましい。
【０１２６】
もっとも、
（Ａ）映像検索装置から離れた入力デバイスを用いて指定する場合の遅延（例えば、Ｂｌｕｅｔｏｏｔｈ（商標）接続されたマウスにより指定する場合など）
（Ｂ）タッチスクリーン８０１の処理や表示に要する遅延
などの遅延（遅延の長さは、例えば、数ミリ秒程度である。）が生ずることが考えれられるため、これら（Ａ）（Ｂ）を勘案した補正値δを用いるようにしてもよい。
【０１２７】
図２８の例では、補正値は１フレーム分であり、フレーム番号”＃１００”のひとつ手前の”＃９９”を対象フレームとしている。
【０１２８】
（２）実施の形態では、ユーザから指定された領域に基づいてオブジェクトを検出するとして説明したが（図８参照）、このような領域指定に限られない。
【０１２９】
例えば、図２９に示すように、タッチスクリーン８０１上の一点であるＡ点（ｘ１，ｙ１）を受付部１０８が受け付ける。
【０１３０】
そして、オブジェクト検出部１０９は、図３０に示すように、受け付けた時点のフレームを対象にエッジ検出を行い、エッジ検出で検出したオブジェクトの中でＡ点を含むオブジェクト１０８を検出する。
【０１３１】
なお、上記エッジ検出は、キャニー法（非特許文献１参照）などの一般的な手法を用いることができる。
【０１３２】
このようにユーザから指定された点に基づいて（ポイント指定）、オブジェクトを検出するようにしても構わない。
【０１３３】
なお、領域指定とするかポイント指定とするかは、ユーザ設定に基づいて選択的に用いるとしてもよい。あるいは、オブジェクト検出部１０９において、ある一定時間ｔの間に入力されたポイント数がｃ以下であり、かつ、ポイント間の距離がｄ以下である場合にはポイント指定と判定し、そうでない場合には、領域指定と判定するようにしてもよい。
【０１３４】
（３）実施の形態では、関係付け部１１３は、オブジェクトを含むフレームが属するシーンの同一性に基づいて関係付けの有無を異ならせたが、これに限られない。
【０１３５】
例えば、図３１に示すように、チャプターが同じであることを条件に関係付けを行ってもよい。
【０１３６】
また、図３２に示すように、それぞれのオブジェクトを含むフレームの再生時間同士が一定時間以内である（例えば３分以内）ことを条件に関係付けを行ってもよい。
【０１３７】
また、図３３に示すように、オブジェクトＯ１からＯ２へと関係付けるが、Ｏ２からＯ１には関係付けないというように、関係付けに方向性を持たせて、フレームの再生時間の順序（オブジェクトの出現順序）を考慮するようにしてもよい。
【０１３８】
また、図３４に示すように、オブジェクトＯ１→Ｏ２，Ｏ２→Ｏ３，Ｏ３→Ｏ４という関係付けがある場合には、再帰的にＯ１→Ｏ３という関係付けを行うようにしてもよい。
【０１３９】
Ｏ１→Ｏ３の関係付けは、いわば間接的な（直接ではない）関係付けであるので、直接の関係付けで用いる重み値の増分Δｗは相対的に小さくする。
【０１４０】
また、Ｏ１→Ｏ４の関係付けは、さらに間接的な関係付けであるので、重み値の増分Δｗはより小さくする。
【０１４１】
このように、介するオブジェクトの個数が少ない場合（再帰が浅い場合）には重み値の増分Δｗを相対的に大きく設定し、介するオブジェクトの個数が多い場合（再帰が深い場合）には重み値の増分Δｗを相対的に小さく設定するとしてもよい。
【０１４２】
なお、図３４の例では、関係付けに方向性を持たせているが、方向性を有さない関係付けにもこのような再帰的な関係付けを適用できる。
【０１４３】
（４）実施の形態では、関連オブジェクトを有するオブジェクトについては、重み値増加部１１４は、一律”０．３”の重み値を増加させるとしてが、これに限られない。
【０１４４】
例えば、オブジェクト検出部１０９により検出された各オブジェクトについて、出現する頻度をカウントするとしても構わない。具体的には、図１４の第２バッファのデータ列に、「頻度」の項目を設けて、頻度が多ければ、”０．３”より大きな値（例えば”０．５”）を増分とし、頻度が多ければ、”０．３”より小さな値（例えば”０．１”）を増分としてもよい。
【０１４５】
また、オブジェクト検出部１０９により検出された各オブジェクトについて、出現する時間をカウントするとしても構わない。具体的には、図１４の第２バッファのデータ列に、「出現時間」の項目を設けて、出現時間が長ければ、”０．３”より大きな値（例えば”０．５”）を増分とし、短ければ、”０．３”より小さな値（例えば”０．１”）を増分としてもよい。
【０１４６】
（５）コンテンツの再生に関して、早送りや巻き戻しなどの有無を示す履歴をフレーム番号と関連付けた履歴を記憶するようにしてもよい。
【０１４７】
そして、例えば、この履歴においてフレーム番号”＃２０００”が早送りされたフレームに当たるのであれば、このフレーム番号”＃２０００”に含まれるオブジェクトＩＤ”０１１”（図１１参照）については、重み値を小さくするようにしてもよい。早送りされたフレームに含まれるオブジェクトはユーザにとって重要ではないと考えられるためである。
【０１４８】
反対に、巻き戻しされたフレームに含まれるオブジェクトの重み値は大きくするようにしてもよい。
【０１４９】
（６）検索部１１６において、オブジェクトの出現順序を考慮して検索するようにしてもよい。
【０１５０】
例えば、オブジェクト情報記憶部１０６にオブジェクトの出現順序を示す情報を記憶させておき、オブジェクト検出部１０９により検出されたオブジェクトの順序との合致度が高いオブジェクトの２次類似度を高くするようにしてもよい。
【０１５１】
（７）オブジェクト検出部１０９により検出されたオブジェクトをデータベースとして蓄積しておくようにしてもよい。そして、関係付け部１１３においては、蓄積されたオブジェクトを関係付けの対象として利用するようにしてもよい。
【０１５２】
また、上の蓄積においては、各オブジェクトを含むフレームのコンテンツのシリーズ名（連続ドラマやｐａｒｔ １，ｐａｒｔ ２，ｐａｒｔ ３と続編がある映画などのシリーズの名前のことである。）を示す情報を合わせて蓄積しておき、関係付け部１１３は、同じシリーズ名のオブジェクトを関係付けるようにしてもよい。
【０１５３】
（８）重み値増加部１１４においては、関係付けられたオブジェクトがフレームにおいて占める大きさ（オブジェクトのサイズ）が大きいほど、より大きく重み値を増加させるようにしてもよい。
【０１５４】
（９）重み値付与部１１１では、関係付け部１１３が行ったオブジェクト同士の関係付けに基づいて重み値を調整するとしている。もっともこれに限らず、関係付けを行わずにシーンが同じオブジェクトについては重み値を増加させるなどの重み値を調整することも考えられる。
【０１５５】
（１０）実施の形態や上で述べた具体的な仕様や数値（初期重み値や重み値の増分の値など）はあくまでも一例であり、適宜変更可能である。
【０１５６】
（１１）図１などの各機能ブロックは、集積回路であるＬＳＩとしてもよい。これらは個別に１チップ化されても良いし、一部又は全てを含むように１チップ化されても良い。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）や、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。
【０１５７】
（１２）上述の実施の形態で示した動作などを各種情報処理装置のプロセッサ、及びそのプロセッサに接続された各種回路に実行させるためのプログラムコードからなる制御プログラムを、記録媒体に記録すること、又は各種通信路を介して流通させ頒布することもできる。
【０１５８】
このような記録媒体には、ＩＣカード、ハードディスク、光ディスク、フレキシブルディスク、ＲＯＭ等の非一時的な（ｎｏｔ−ｔｒａｎｓｉｔｏｒｙ）記録媒体がある。
【０１５９】
流通、頒布された制御プログラムは、プロセッサに読み出され得るメモリ等に格納されることにより利用に供され、そのプロセッサがその制御プログラムを実行することにより実施の形態で示したような各種機能が実現されるようになる。
＜補足２＞
本実施の形態は、次の態様を含むものである。
【０１６０】
（１）本実施の形態に係る映像検索装置は、複数のフレームから構成されたコンテンツを再生する再生手段と、前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付手段と、前記受付手段による受け付けに応じて、オブジェクトを検出する検出手段と、検出手段により検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与手段と、前記重み値が付与された複数のオブジェクトに基づいて検索を行う検索手段と、を備えることを特徴とする。
【０１６１】
（２）また、前記付与手段は、前記検出手段により検出された複数のオブジェクトそれぞれについて、各オブジェクトを含む各フレームの時系列的な特徴に基づいて、オブジェクト同士を関係付ける関係付け手段と、前記関係付けられたオブジェクトの重み値を、関係付けられていないオブジェクトの重み値と比べて相対的に増加させる増加手段とを含むとしても構わない。
【０１６２】
この構成によれば、上記増加手段により上記重み値の相対的な増加を行うことにより、検索精度の向上に資することができる。
【０１６３】
（３）また、前記コンテンツは、その再生時間軸上において複数のシーンにより区切られており、前記関係付け手段は、各オブジェクトを含む各フレームのシーンの同一性に基づいて、前記オブジェクト同士の関係付けを行うとしても構わない。
【０１６４】
この構成によれば、シーンの同一性に基づく関係付けにより、各オブジェクトに適切な重み値を付与することができる。
【０１６５】
（４）また、前記コンテンツは、その再生時間軸上において複数のチャプタにより区切られており、前記関係付け手段は、各オブジェクトを含む各フレームのチャプタの同一性に基づいて、前記オブジェクト同士の関係付けを行うとしても構わない。
【０１６６】
この構成によれば、チャプタシーンの同一性に基づく関係付けにより、各オブジェクトに適切な重み値を付与することができる。
【０１６７】
（５）また、前記関係付け手段は、他のオブジェクトを介して間接的に関係付けられているオブジェクト同士を関係付けるとしても構わない。
【０１６８】
（６）また、記増加手段は、前記他のオブジェクトを介して間接的に関係付けられているオブジェクト同士については、介しているオブジェクトの個数に応じて、前記増加させる重み値を調整するとしても構わない。
【０１６９】
（７）また、前記関係付け手段は、フレームの前記再生時間が前方のオブジェクトから、フレームの前記再生時間が後方のオブジェクトへと関係付けを行い、フレームの前記再生時間が後方のオブジェクトから、フレームの前記再生時間が前方のオブジェクトへは関係付けを行わないとしても構わない。
【０１７０】
この構成によれば、関係付けに方向性を持たせることで、各オブジェクトに適切な重み値を付与することができる。
【０１７１】
（８）複数のオブジェクトと各オブジェクトの特徴量情報を記憶する記憶手段を備え、前記検出手段は、検出したオブジェクトそれぞれについてオブジェクトの特徴量情報を抽出し、前記検索手段は、前記検出手段により抽出された特徴量情報を、前記記憶手段に記憶された特徴量情報と照合することにより、前記検出手段が検出したオブジェクトに類似するオブジェクトを検索するとしても構わない。
【０１７２】
（９）オブジェクトと各オブジェクトの特徴量情報とを記憶する記憶手段を備え、前記検出手段は、検出したオブジェクトそれぞれのオブジェクトの特徴量情報を抽出し、前記付与手段は、前記オブジェクトそれぞれに重み値を付与し、前記検索手段は、検出手段により検出されたオブジェクトの特徴量情報を、前記記憶手段に記憶されたオブジェクトそれぞれの特徴量情報と照合することにより、１次類似度を算出し、１次類似度の値に、当該他のオブジェクトの重み値を乗算して得られた値を加算することにより、２次類似度を算出するとしても構わない。
【０１７３】
（１０）また、前記関係付けられたオブジェクトが、前記コンテンツ中で出現する頻度をカウントする頻度カウント手段を備え、前記増加手段は、前記関係付けられたオブジェクトの重み値を、当該関係付けられたオブジェクトに関してカウントされた頻度が多いほど、関係付けられていないオブジェクトの重み値と比べて相対的に増加させるとしても構わない。
【０１７４】
（１１）また、前記関係付けられたオブジェクトについて、前記コンテンツ中で出現する再生時間軸上の長さをカウントする時間カウント手段を備え、前記増加手段は、前記関係付けられたオブジェクトの重み値を、当該関係付けられたオブジェクトに関してカウントされた長さが大きいほど、関係付けられていないオブジェクトの重み値と比べて相対的に増加させるとしても構わない。
【０１７５】
（１２）また、前記関係付けられたオブジェクトの重み値を、当該関係付けられたオブジェクトがフレームにおいて占める大きさが大きいほど、関係付けられていないオブジェクトの重み値と比べて相対的に増加させるとしても構わない。
【０１７６】
（１３）前記再生手段により早送りまたは巻き戻しされたフレームを特定する情報を記憶する履歴記憶手段を備え、前記増加手段は、前記履歴記憶手段を参照して、前記関係付けられたオブジェクトを含むフレームが早送りされたことを示していれば、当該関係付けられたオブジェクトの重み値の増加量を小さくし、または、前記増加手段は、前記履歴記憶手段を参照して、前記関係付けられたオブジェクトを含むフレームが巻き戻しされたことを示していれば、当該関係付けられたオブジェクトの重み値の増加量を大きくするとしても構わない。
【０１７７】
（１４）複数のオブジェクトと各オブジェクトがコンテンツ中の再生時間軸上において出現する順序とを記憶する記憶手段を備え、前記検出手段は、検出した複数のオブジェクトについて、前記コンテンツ中の再生時間軸上において出現する順序を決定し、前記検索手段は、前記記憶手段に記憶された複数のオブジェクトの中から、前記検出手段により検出された複数のオブジェクトの順序との合致度が高いオブジェクトを検索するとしても構わない。
【０１７８】
（１５）前記検出手段により検出された複数のオブジェクトと、各オブジェクトの重み値とを関連付けて蓄積する蓄積手段を備え、前記関係付け手段は、前記蓄積された複数のオブジェクトを、前記関係付けの対象とするとしても構わない。
【０１７９】
（１６）前記蓄積手段は、蓄積する複数のオブジェクトそれぞれについて、シリーズ識別情報を記憶し、前記検出手段により検出された複数のオブジェクトのそれぞれには、シリーズ名を示す情報が関連付けられており、前記関係付け手段は、前記蓄積された複数のオブジェクトを参照して、前記検出手段により検出された複数のオブジェクトそれぞれのシリーズ名と、シリーズ名が一致するオブジェクトを関係付けるとしても構わない。
【０１８０】
（１７）本実施の形態に係る映像検索方法は、複数のフレームから構成されたコンテンツを再生する再生ステップと、前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付ステップと、前記受付ステップによる受け付けに応じて、オブジェクトを検出する検出ステップと、検出ステップにより検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与ステップと、前記重み値が付与された複数のオブジェクトに基づいて検索を行う検索ステップと、を含むことを特徴とする。
【０１８１】
（１８）本実施の形態に係るプログラムは、コンピュータに映像検索処理を実行させるプログラムであって、
前記映像検索処理は、複数のフレームから構成されたコンテンツを再生する再生ステップと、前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付ステップと、前記受付ステップによる受け付けに応じて、オブジェクトを検出する検出ステップと、検出ステップにより検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームの時系列的な特徴に基づいて調整された、重み値を付与する付与ステップと、前記重み値が付与された複数のオブジェクトに基づいて検索を行う検索ステップとを含むことを特徴とする。
【０１８２】
（１９）本実施の形態に係る集積回路は、複数のフレームから構成されたコンテンツを再生する再生手段と、前記コンテンツの再生中、このコンテンツを構成するフレームに含まれるオブジェクトの指定のための入力をユーザから複数回受け付ける受付手段と、前記受付手段による受け付けに応じて、オブジェクトを検出する検出手段と、検出手段により検出された複数のオブジェクトそれぞれについて、各オブェクトを含む各フレームのコンテンツ上の時系列的な特徴に基づいて調整された、重み値を付与する付与手段と、前記重み値が付与された複数のオブジェクトに基づいて検索を行う検索手段と、を備えることを特徴とする。
【産業上の利用可能性】
【０１８３】
本発明に係る映像検索装置は、検索精度の向上に寄与できるので有用である。
【符号の説明】
【０１８４】
１０１  映像検索装置
１０２  通信部
１０３  コンテンツ記憶部
１０４  コンテンツ管理情報記憶部
１０５  シーン情報記憶部
１０６  オブジェクト情報記憶部
１０７  再生部
１０８  受付部
１０９  オブジェクト検出部
１１０  第１バッファ
１１１  重み値付与部
１１２  初期重み値付与部
１１３  関係付け部
１１４  重み値増加部
１１５  第２バッファ
１１６  検索部
１１７  表示制御部
１１８  表示部
８０１  タッチスクリーン
【図１】
0005632472.tif 000002
【図２】
0005632472.tif 000003
【図３】
0005632472.tif 000004
【図４】
0005632472.tif 000005
【図５】
0005632472.tif 000006
【図６】
0005632472.tif 000007
【図７】
0005632472.tif 000008
【図８】
0005632472.tif 000009
【図９】
0005632472.tif 000010
【図１０】
0005632472.tif 000011
【図１１】
0005632472.tif 000012
【図１２】
0005632472.tif 000013
【図１３】
0005632472.tif 000014
【図１４】
0005632472.tif 000015
【図１５】
0005632472.tif 000016
【図１６】
0005632472.tif 000017
【図１７】
0005632472.tif 000018
【図１８】
0005632472.tif 000019
【図１９】
0005632472.tif 000020
【図２０】
0005632472.tif 000021
【図２１】
0005632472.tif 000022
【図２２】
0005632472.tif 000023
【図２３】
0005632472.tif 000024
【図２４】
0005632472.tif 000025
【図２５】
0005632472.tif 000026
【図２６】
0005632472.tif 000027
【図２７】
0005632472.tif 000028
【図２８】
0005632472.tif 000029
【図２９】
0005632472.tif 000030
【図３０】
0005632472.tif 000031
【図３１】
0005632472.tif 000032
【図３２】
0005632472.tif 000033
【図３３】
0005632472.tif 000034
【図３４】
0005632472.tif 000035
【図３５】
0005632472.tif 000036