(57)【要約】【課題】検索ノイズを減らしてシーン検索の適合率を高めること、および検索時間の短縮を図ること。【課題解決手段】一連の画像列からなる映像シーンが蓄積されているビデオファイル２と、ビデオファイル中の画像列の動きに関する動き特徴量が各画像のフレーム番号で関係付けられて蓄積されている特徴量ファイル４と、各画像の内容に関するコメント情報が蓄積されビデオファイルと特徴量ファイルとを統合的に管理するＸＭＬファイル１とを備え、視聴者が見たいシーンについて参照特徴量５を生成し、当該参照特徴量５とＸＭＬファイル１に蓄積されているコメント情報とに基づいて、特徴量ファイル４から参照特徴量５に近い動き特徴量を持つフレ−ム番号を特定し、当該フレーム番号に基づいて、ビデオファイル２から、視聴者が見たいシーンに似たシーンが選び出されるようにする。【選択図】                図１
2004297669.tif 000002
【特許請求の範囲】
【請求項１】
一連の画像列からなる映像シーンが蓄積されているビデオファイルと、ビデオファイル中の画像列の動きに関する動き特徴量が各画像のフレーム番号と関係付けられて蓄積されている特徴量ファイルと、各画像の内容に関するコメント情報が蓄積されビデオファイルと特徴量ファイルとを統合的に管理するＸＭＬファイルとを備え、
視聴者が見たいシーンについて参照特徴量を生成し、当該参照特徴量とＸＭＬファイルに蓄積されているコメント情報とに基づいて、前記特徴量ファイルから参照特徴量に近い動き特徴量を持つフレ−ム番号を特定し、当該フレーム番号に基づいて前記ビデオファイルから視聴者が見たいシーンに似たシーンを選び出すことができる情報保持方式。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、記録媒体上に記録された画像列から視聴者が見たいと思うシーンに合致する画像列を探し出すための、動画像検索に適する情報保持方式に関する。
【０００２】
【従来の技術】
多チャンネル化され、双方向サービスが可能なデジタル放送が普及しつつある現在では、記憶媒体の大容量化、低価格化が達成されている。これらの技術により長期にわたる番組記録が可能な映像サーバの構成が可能になりつつある。これにともない、視聴者がいつでも好みの番組や特定のシーンを検索し、表示することが可能な新しい映像データベースシステムの開発が期待されており、目下、このような検索システムを搭載したシーン取出機能付ビデオデッキやシーン取出機能付セットトップボックスの実用化が進められている。
【０００３】
画像の動きに関する情報を抽出して統計的に処理すれば、画像の動きの変化や特徴を表す「動き特徴量」と呼ばれる量が得られる。この動き特徴量を利用して画像信号を検索すれば、大容量の番組映像の中から好みの番組や特定のシーンを選び出すことができると考えられ、このような手法で動画像検索を行った事例が公表されている（例えば、非特許文献１参照）。
【０００４】
【非特許文献１】
渡部昭彦、臼杵潤、小宮一三「動きベクトルに基づくＴＶ映像解析と特徴記述の検討」画像電子学会（琉球大学）２００２年３月１１日
【０００５】
野球中継を例にとれば、野球には回の裏表、バッターの交代、各投球などのシーンがサイクリックに出現する。また、カメラワークも同じであることが多く、野球中継全体を通じて定形的である。そこで、画像間の動きベクトルを算出し、統計的に処理することで画像の動き量を算出する。このとき、１画面を幾つかの領域に分割し、それぞれの領域内の動きベクトルから動き特徴量を算出する。
【０００６】
検索時には、検索対象の映像から算出される動き特徴量と、予め準備しておいた検索要求シーンの動き特徴量を比較する。全ての動き特徴量の比較誤差が許容範囲以内であれば、その部分の検索対象の映像は、検索要求シーンであると判断できる。検索要求シーンの動き特徴量を抽出する方法として、動きベクトルに基づくテレビ映像解析と特徴記述の最適な検索パラメータのアルゴリズムが記載されている。
【０００７】
上記文献では、検索要求シーンの判定方法は次のように定義されている。すなわち、検索は検索要求シーンのＮ個の動き特徴量Ｍｐを、検索対象から求めたＮ個の動き特徴量Ｍｄと比較したとき、全ての動き特徴量の比較誤差が、標準偏差Ｍｓｄの範囲内にあれば、その部分の映像は検索要求シーンであると判定される。
【０００８】
上記の動き特徴量を用いて野球中継シーンについて行う検索において、検索成績を表す量として再現率と適合率が次のように定義されている。
再現率＝正確に投球シーンを判定した数／実際の投球シーン数
適合率＝正確に投球シーンを判定した数／検索で判定された投球シーン数
【０００９】
上記文献では、画面の分割数Ｎ、映像信号取り込み開始位置のシフトフレーム量Ｌ、連続取り込みフレーム数Ｄの３つをパラメータとして検索実験を行った。分割数Ｎは９、１６、２５の３段階で変化させ、例えば分割数Ｎ＝９において、シフト量Ｌ＝１５〜６０と、連続取り込みフレーム数Ｄ＝３０〜１８０と変化させた。
【００１０】
上記の実験では、Ｎ＝９ではＤ＝１３５、Ｌ＝６０の時、Ｎ＝１６ではＤ＝１３５、Ｌ＝４５の時，またＮ＝２５ではＤ＝１０５，Ｌ＝４５の時に最も良い結果が得られたが、その時の再現率、適合率はともに約６０％であった。これらの結果について上記文献の著者らは、パラメータの定義方法には検討すべき点があるとしている。また、検索時にビデオファイルから動き特徴量を計算するので、検索に時間がかかるという問題もある。
【００１１】
【発明が解決しようとする課題】
本発明が解決しようとする課題は、検索ノイズを減らして上記文献にいう再現率、適合率をともに高めること、および検索時間の短縮を図ることである。
【００１２】
【課題を解決するための手段】
本発明では、検索結果の再現率、適合率を高めるために、動き特徴量のほかに、ＸＭＬファイルに蓄積された映像に関するコメントデータを参照し、これと動き特徴量との関係より参照すべきフレームを検出することにする。また、動き特徴量を予め映像ファイルから計算し、特徴量ファイルに蓄積しておくことにより、目的シーンと映像ファイルの比較の際の処理速度を上げるようにする。
【００１３】
【発明の実施の形態】
図１に本発明の一実施形態としての情報保持方式の構成を示す。視聴者は、ＸＭＬファイル１を参照して、あるビデオファイル２を指定して、目的のビデオシーン３を探す。このときビデオファイル２の各フレームの動き特徴量はＸＭＬファイル１によって統合管理されている動き特徴量ファイル４に蓄積されている。目的のビデオシーン３からは参照すべき動き特徴量（参照特徴量）５が生成される。生成された参照特徴量５は特徴量ファイル４と比較されて、参照特徴量に近い動き特徴量を持つフレーム番号が特定される。
【００１４】
ここで特定されたフレーム番号に相当するビデオファイル２のフレームを再生することにより、視聴者に目的のビデオシーンを提供することができる。参照特徴量に合致するシーンが複数ある場合は、参照すべき動き特徴量に対応して複数のビデオファイルのシーンが選択され、再生される。
【００１５】
図２に本実施形態におけるビデオファイルの内容構成を示す。ビデオファイルには各フレームのデジタルデータが蓄積されており、フレーム番号と録画した時刻情報により検索することができる。ビデオ情報はデジタル化されているので、これより動き特徴量を算出して特徴量ファイルに蓄積する。画面の内容を示すコメント情報はＸＭＬファイルに蓄積され、動き特徴量と共に、参照すべき動き特徴量を比較検索するのに使用される。
【００１６】
図３は本実施形態における信号の流れを示すブロック図である。ＸＭＬファイル、ビデオファイルおよび特徴量ファイルを再生する再生回路８により当該ビデオ情報を再生し、動き特徴量算出回路９により動き特徴量を計算し、その結果を、ＸＭＬファイル、ビデオファイルおよび特徴量ファイルに戻して記憶する。
【００１７】
検出の対象シーンのビデオ画像を再生する再生回路６が動作して、その動き特徴量を照合回路１０に蓄積する。照合時は再度ＸＭＬファイル、ビデオファイルおよび特徴量ファイルを再生する再生回路８を動作させて、その出力と、照合回路１０に蓄積されている対象シーンの出力を照合する。適合率を向上させるためにＸＭＬファイルに蓄積されているコメント情報も参照する。照合動作の結果を知るためおよびビデオファイルの内容を見るために、表示装置１１が使用される。
【００１８】
図４は本実施形態の動作を示すフローチャートである。検出対象のビデオシーンを指定し（Ｓ２）、目的のビデオから参照すべき動き特徴量を抽出する（Ｓ３）。特徴量ファイルから参照すべき動き特徴量に近い値を持つフレーム番号を探す（Ｓ４）。ＸＭＬファイルを参照して抽出すべきシーンであるか問い合わせる（Ｓ５）。もしＸＭＬファイルのコメントが目的のビデオに合致しないときは再度Ｓ４へ戻る。合致する場合は、探されたフレーム番号のビデオストリームを特定する（Ｓ６）。最終フレームまで照合が終了すれば（Ｓ７）、動作を終了する。目的のビデオシーンと似たシーンのフレーム番号を、照合回路１０に蓄積し、再生動作により目的のシーンを表示装置１１に再生する。
【００１９】
【実施例】
本発明に係る情報保持方式は、独立型のビデオデッキに組み込むことができる。この場合は、ビデオデッキの内部に、目的のビデオシーンから参照すべき参照すべき動き特徴量を生成する回路と参照すべき動き特徴量を参照データとして、動き特徴量ファイルに蓄積されている各フレームの動き特徴量を比較する回路と、比較の結果特定されたフレーム番号に基づいてビデオを再生する機能を有する。
【００２０】
本発明に係る情報保持方式は、ネットワークに接続されたセットトップボックスにも応用できる。  この場合は、ビデオコンテントの管理機能に、目的のビデオシーンから参照すべき動き特徴量を生成する回路と、参照すべき動き特徴量を参照データとして特徴量ファイルに蓄積されている各フレームの動き特徴量を比較する回路を備え、比較の結果特定されたフレーム番号に基づいてビデオ信号を再生する。
【００２１】
【発明の効果】
本発明の効果は、映像ビデオ内のビデオコンテントを早く正確に検出できることである。動き特徴量による照合に加えてコメント記述を参照することにより、ビデオファイル内の目的フレームを容易に検出できるので、検索ノイズが減少してシーン検索の適合率が向上する。また、動き特徴量を予め計算して動き特徴量ファイルに蓄積しておくので、所望のフレームを探し出すまでの照合時間を短縮することができる。
【００２２】
【図面の簡単な説明】
【図１】本発明の一実施形態としての情報保持方式の構成を示す概念図である。
【図２】本実施形態におけるビデオファイルの内容構成を示す概念図である。
【図３】本実施形態における信号の流れを示すブロック図である。
【図４】本実施形態に係る情報保持方式の動作を示すフローチャートである。
【符号の説明】
１・・ＸＭＬファイル
２・・ビデオファイル
３・・目的のビデオシーン
４・・特徴量ファイル
５・・参照すべき動き特徴量
６・・対象シーンのビデオ画像再生回路
７・・信号抽出回路
８・・ＸＭＬファイル、ビデオファイル、特徴量ファイル再生回路
９・・動き特徴量算出回路
１０・・照合回路
１１・・表示装置
【図１】
2004297669.tif 000003
【図２】
2004297669.tif 000004
【図３】
2004297669.tif 000005
【図４】
2004297669.tif 000006