(57)【要約】【課題】背景が動いているオブジェクトを含む映像についても検索を可能とするための映像情報記述方法を提供する。【解決手段】元映像からオブジェクトの位置、形状及び動きなどの情報を含む特徴量７０３と背景の動きなどの情報を含む特徴量７０４をこれらを表記データとして記述する。【選択図】      図７
2008226261.tif 000002
【特許請求の範囲】
【請求項１】
入力された映像の動ベクトルを抽出する動ベクトル抽出ステップと、
前記動ベクトルを用いて前記映像の背景の動きを推定する推定ステップと、
前記推定した背景の動きを除去して前記映像中の特定のオブジェクトに関する動ベクトルを検出し、該オブジェクトの領域を検出する検出ステップと、
を有することを特徴とするオブジェクト検出方法。
【請求項２】
前記推定ステップは、前記背景の動きを所定の変換モデルで近似し、該変換モデルの変換係数を前記映像の動べクトルから推定することによって前記背景の動きを推定することを特徴とする請求項１記載のオブジェクト検出方法。
【請求項３】
前記推定ステップは、前記変換モデルの変換係数をロバスト推定法により推定することを特徴とする請求項２記載のオブジェクト検出方法。
【請求項４】
前記推定ステップは、前記映像の画面内の動ベクトルを類似度に従って領域分割し、分割された各領域を該動ベクトルの類似度に基づいてクラスタリングし、最大のクラスタの領域を背景の領域と判定する処理を含むことを特徴とする請求項１乃至３のいずれか１項記載のオブジェクト検出方法。
【請求項５】
前記推定ステップは、前記映像の複数フレームの動ベクトルを各フレーム内の類似度に従って領域分割し、これらの領域をフレーム間で対応付け、対応付けられた各領域が同じクラスタに属するように各領域を該動ベクトルに基づいて各フレーム内でクラスタリングし、最大のクラスタの領域を背景の領域と判定する処理を含むことを特徴とする請求項１乃至３のいずれか１項記載のオブジェクト検出方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像中のオブジェクトに注目した映像情報の記述方法及びこれを用いて特定のオブジェクトやそのオブジェクトを含むフレームの検索を行う映像検索方法及び映像検索装置に関する。
【背景技術】
【０００２】
ディジタル衛星放送やケーブルテレビの普及に伴う放送の多チャンネル化により、ユーザの入手できる映像情報は増加の一途を辿っている。一方で、計算機技術の進歩やＤＶＤに代表される大容量記録媒体の実用化により、大量の映像情報をディジタル情報として蓄積し、計算機上で取り扱うことが容易になりつつある。
【０００３】
ユーザが実際に映像情報を利用するために、このように大量の映像情報の中から目的の映像に対して効率的にアクセスを行うには、有効な映像検索技術が必要となる。そのような映像検索技術として、映像中のオブジェクトになんらかの情報を付随させ、ユーザの必要とする情報を満たすオブジェクトを含む映像を検索してユーザの視聴に供する方法が考えられている。映像中のオブジェクトに情報を付随させるためには、映像からオブジェクトを抽出する処理が必要となる。しかし、増加する一方の映像情報に対して手作業でオブジェクトの抽出を行うことは、現実的ではない。
【０００４】
オブジェクトの自動検出技術に関しては、例えば文献（米山、中島、柳原、菅野「ＭＰＥＧビデオストリームからの移動物体の検出」信学論Ｖｏｌ．Ｊ８１−Ｄ−II，Ｎｏ．８，ｐｐ．１７７６−１７８６，１９９８−０８）に、背景の静止した映像からオブジェクトを検出する方法が提案されている。しかし、この方法は背景が静止していることを前提としており、背景が動く場合にはオブジェクトの検出を行うことは難しい。
【０００５】
すなわち、オブジェクトの形状が予め与えられていたとしても、背景の動きが分からなければ、オブジェクトの動きを用いて検索を行う際に、カメラワークの影響を受けることにより正確な動きを用いた検索ができない。例えば、左に動いているオブジェクトを追跡するように撮影した場合、オブジェクトは画面内でほぼ静止し、背景が相対的に右に動く。そのため、画面内で左に動くオブジェクトを含む映像を検索することはできないことになる。
【発明の開示】
【発明が解決しようとする課題】
【０００６】
上述したように、従来の映像検索技術では背景が動いているオブジェクトを検出することができず、そのようなオブジェクトを含む映像を検索することができないという問題点があった。
【０００７】
本発明は、背景が動いているオブジェクトを含む映像についても検索を可能とするための映像情報記述方法を提供することを目的とする。
【０００８】
本発明の他の目的は、背景が動いているオブジェクトを検出できるオブジェクト検出方法を提供することにある。
【０００９】
本発明のもう一つの目的は、背景が動いているオブジェクトを含む映像に対する種々の検索を可能とした映像検索方法及び映像検索装置を提供することにある。
【課題を解決するための手段】
【００１０】
上記の課題を解決するため、本発明に係る映像情報記述方法は、映像中の特定のオブジェクトに関する特徴量及び該映像中の背景に関する特徴量を映像情報として記述することを基本的な特徴としている。
【００１１】
また、本発明に係る他の映像情報記述方法は、映像中の特定のオブジェクトに関する特徴量と該映像中の背景に関する特徴量に加え、さらに両者の特徴量の差分を映像情報として記述することを特徴とする。また、映像中の特定のオブジェクトに関する特徴量と該映像中の背景に関する特徴量との差分及び背景に関する特徴量を映像情報として記述するようにしてもよい。
【００１２】
ここで、特定のオブジェクトに関する特徴量としては少なくとも該オブジェクトの位置、形状及び動きの情報を記述し、また背景に関する特徴量としては少なくとも背景の動きの情報を記述することが望ましい。
【００１３】
また、本発明によれば、このようにして記述されたオブジェクトに関する特徴量及び背景に関する特徴量、さらには両者の特徴量の差分を映像データと共に、あるいは映像データとは別に格納した記録媒体が提供される。
【００１４】
本発明に係るオブジェクト検出方法は、入力された映像の動ベクトルを抽出する動きベクトル抽出ステップと、この抽出した動ベクトルを用いて映像の背景の動きを推定する推定ステップと、この推定した背景の動きを除去して映像中の特定のオブジェクトに関する動ベクトルを抽出し、該オブジェクトの領域を検出する検出ステップとを有することを特徴とする。
【００１５】
ここで、背景の動きを推定する推定ステップは、背景の動きを所定の変換モデル（例えばアフィン変換や透視変換など）で近似し、その変換モデルの変換係数を映像の動べクトルから推定することによって背景の動きを推定することを特徴とする。変換モデルの変換係数は、例えばロバスト推定法により推定される。
【００１６】
背景の動きを推定する推定ステップにおいては、映像の画面内の動ベクトルを類似度に従って領域分割し、分割された各領域を該動ベクトルの類似度に基づいてクラスタリングし、最大のクラスタの領域を背景の領域と判定する処理を含んでもよい。
【００１７】
また、背景の動きを推定する推定ステップにおいては、映像の複数フレームの動ベクトルを各フレーム内の類似度に従って領域分割し、これらの領域をフレーム間で対応付け、対応付けられた各領域が同じクラスタに属するように各領域を該動ベクトルに基づいて各フレーム内でクラスタリングし、最大のクラスタの領域を背景の領域と判定する処理を含んでもよい。
【００１８】
本発明によると、映像中のオブジェクトに関する特徴量及び背景に関する特徴量、さらには両者の特徴量の差分を記述することにより、背景が動いているオブジェクトを含む映像に対する種々の検索を行うことが可能である。
【００１９】
第１に、検索対象となる映像中の特定のオブジェクトに関する特徴量及び該映像中の背景に関する特徴量を記述しておき、検索対象となる映像中のオブジェクトに関する特徴量から背景に関する特徴量を差し引いた後、外部より入力されたオブジェクトに関する特徴量と比較することによって、検索対象となる映像から外部より入力されたオブジェクトと同一のオブジェクトもしくは外部より入力されたオブジェクトと同一のオブジェクトを含む映像中のフレームの少なくとも一方を検索することができる。
【００２０】
第２に、検索対象となる映像中の特定のオブジェクトに関する特徴量と該映像中の背景に関する特徴量及びそれぞれの特徴量の差分を記述しておき、この差分と外部より入力されたオブジェクトに関する特徴量とを比較することによって、検索対象となる映像から外部より入力されたオブジェクトと同一のオブジェクトもしくは外部より入力されたオブジェクトと同一のオブジェクトを含む映像中のフレームの少なくとも一方を検索することができる。
【００２１】
第３に、検索対象となる映像中の特定のオブジェクトに関する特徴量及び該映像中の背景に関する特徴量を記述しておき、背景に関する特徴量と外部より入力された映像中の背景に関する特徴量とを比較することによって、検索対象となる映像から外部より入力された映像を得たときのカメラワークとほぼ同一のカメラワークが用いられているフレームを検索することができる。
【００２２】
第４に、検索対象となる映像中の特定のオブジェクトに関する少なくとも動きの情報を含む特徴量及び該映像中の背景に関する特徴量を記述しておき、映像中の連続する複数フレームにおけるオブジェクトの動き情報と外部より入力されたオブジェクトの一連の動きの情報とを比較することにより、検索対象となる映像から外部より入力されたオブジェクトと同一のオブジェクトもしくは外部より入力されたオブジェクトと同一のオブジェクトを含むフレームの少なくとも一方を検索することができる。
【発明の効果】
【００２３】
本発明によればオブジェクトに関する特徴量と背景に関する特徴量を記述しておくことにより、背景の動きを除去してオブジェクト本来の動きによる検索が可能である。
【００２４】
また、大量に蓄積された映像データに対して人手に頼らずに自動的にオブジェクトを検出してその特徴量を抽出し、外部から入力された別の特徴量に合致したオブジェクトを検索したり、外部から入力されたカメラワークによる動きを伴う背景と同じ背景の動きを含むフレームを検索するなど、個々のユーザの目的に合った映像検索を容易に行うことができる。
【００２５】
さらに、予め検出した特徴量を記述しておくことにより、検索の度に特徴量抽出処埋を行う必要がなく、高速な検索が可能であり、またユーザ側にオブジェクト検出機能がない場合でも上述した検索が可能となる。
【発明を実施するための最良の形態】
【００２６】
以下、図面を参照して本発明の実施の形態を説明する。  
［第１の実施形態］  
本実施形態では、大別して３つの機能を提供している。第１に、映像データを再生する機能の他に、映像中で動きを伴うオブジェクトを自動的に検出し、楕円や矩形などの図形を重ねて合成表示することによって、ユーザにその存在を知らせる機能を提供する。
【００２７】
第２に、検出されたオブジェクトの位置、大きさ、動きなどの特徴量と背景に関する特徴量を分離して外部ファイルなどに表記データとして記述する機能を提供する。
【００２８】
第３に、検出されたオブジェクトに関する特徴量のデータあるいは予め外部ファイルなどに記述された特徴量の表記データと、検索対象として外部から与えられた検索対象オブジェクトの特徴量のデータを比較し、該当するオブジェクトをユーザに提示することによって、映像中のオブジェクトを検索する機能を提供する。
【００２９】
図１に、本実施形態に係る映像検索システムの構成及び処理の手順をフローチャートとして示す。
【００３０】
まず、ＤＶＤなどの媒体から再生された元映像データ１００を入力し（ステップ１０１）、この元映像データ１０１から後に詳しく説明する方法によって映像中の特定のオブジェクトを検出する（ステップ１０２）。この際、後述するように映像中の背景に関する情報も併せて検出する。検出されたオブジェクトをこれを囲むように生成された楕円や矩形などの図形と合成し、オブジェクト検出結果表示データ１０４として出力する（ステップ１０３）。
【００３１】
一方、ステップ１０２で検出されたオブジェクトの位置、形状（大きさを含む）及び動きなどのオブジェクトに関する特徴量を示す特徴量データと、背景の動きなどの背景に関する特徴量を示す特徴量データを記述するための特徴量データ生成処理を行い（ステップ１０５）、さらに生成されたオブジェクト及び背景に関する特徴量データ１０７を外部に出力して表記データとして記述する処理を行う（ステップ１０６）。
【００３２】
なお、ステップ１０５，１０６においてはオブジェクトに関する特徴量データと背景に関する特徴量データを記述してもよいが、さらに両者の特徴の差分のデータを生成して記述してもよく、また場合によってはこの差分のデータと背景に関する特徴量のデータ、あるいは差分のデータとオブジェクトに関する特徴量データを生成して記述してもよい。
【００３３】
ステップ１０６の記述処理とは、具体的には特徴量データ１０７を各種記録媒体やメモリに格納（記録）したり、表示したりすることをいう。特徴量データ１０７を格納する記録媒体は、元映像データ１００を格納したＤＶＤなどの媒体であってもよく、これとは別の記録媒体でも構わない。
【００３４】
次に、オブジェクトの検索を行うために、ステップ１０５で生成されたオブジェクトに関する特徴量データと、ステップ１０９により入力された検索対象特徴量データ１１０との類似度判定を行い（ステップ１０８）、さらに類似度判定結果をオブジェクト検索結果表示データ１１２として合成表示するための合成表示処理を行う（ステップ１１１）。検索対象特徴量データ１１０は、検索しようとするオブジェクトの位置、形状（大きさを含む）及び動きなどの特徴量を表すデータである。
【００３５】
なお、これら一連の処理は、ソフトウェアまたはハードウェアのいずれでも実現が可能である。
【００３６】
次に、図２を用いて図１のステップ１０２のオブジェクト検出処理について詳細に説明する。  
まず、入力された元映像データ１００より動ベクトルの抽出を行う（ステップ２０１）。元映像データ１００がＭＰＥＧ圧縮データの場合は、Ｐビクチャより得られる動ベクトルを用いる。この場合、動ベクトルはマクロブロック毎に与えられる。元映像データ１００がアナログデータや動ベクトルを持たないディジタルデータの場合は、必要に応じてディジタル化し、オプティカルフローを用いて動ベクトルを抽出したり、ＭＰＥＧ圧縮データに変換してから動ベクトルを抽出する。
【００３７】
こうして抽出された動ベクトルは、必ずしも実際のオブジェクトの動きを反映したものとはなっていない場合があり、画面の周辺部やテクスチャが平坦な部分でそれが顕著である。そこで、信頼性の低い動ベクトルを除去する処理を行う（ステップ２０２）。この処理は、以下のようにして行われる。
【００３８】
まず、画面の周辺部に関しては、予め領域を定めておき、その領域に含まれる動ベクトルを除去する。一方、平坦なテクスチャを持つ部分に関しては、元映像データ１００がＭＰＥＧ圧縮データの場合は図３に示すようにＩピクチャのＤＣＴ（離散コサイン変換）係数のＤＣ成分を用い、図４に示すように１つのマクロブロックに含まれる４つのＤＣ成分の分散が閾値以下のマクロブロックの集まりを低信頼性領域として、始点がその領域のマクロブロックに含まれる動ベクトルを信頼性の低い動ベクトルとして除去する。
【００３９】
このようにして得られた動ベクトルのデータは、オブジェクトの動きにカメラワークなどによる背景の動きが含まれているので、正確なオブジェクトの動きを得るためには、背景の動きを除去する必要がある。そこで、本実施形態ではカメラワークなどによる背景の動きを近似する変換モデルとしてアフィン変換モデルを用い、動ベクトルを用いてその変換係数を推定することによって、背景の動きを推定する処理を行う（ステップ２０３）。背景の動きのアフィン変換係数を推定する処理については、数種類の手法が存在するが、それらについては後述する。
【００４０】
次に、推定されたアフィン変換係数を用いて各動ベクトルの始点を変換し、その移動分を元の動ベクトルより差し引くことによって、背景の動きを除去する処理を行う（ステップ２０４）。
【００４１】
このようにして得られた、背景の動きを含まない動ベクトルデータを類似した動べクトルより構成される領域に分割する処理を行う（ステップ２０５）。具体的には、隣接する２つの動べクトルの余弦（方向）と大きさを比較し、その差が予め定めた閾値以下であれば、同じ領域に分割する処理を全ての隣接する動ベクトルの組み合わせについて行う。
【００４２】
このようにして得られた領域には、オブジェクトとして扱うには相応しくない小領域が含まれるので、閾値処理によりこれらを取り除く判定処理３０６を行い、最終的なオブジェクトデータ３０７を出力する。
【００４３】
以下、動ベクトルから背景の動きを近似するステップ２０３のアフィン変換係数推定処理の３つの手法について説明する。
【００４４】
＜手法１＞  
手法１では、信頼性の低い動ベクトルを除いた画面内の全ての動ベクトルを用いてアフィン変換係数を推定する。ｉ番目のマクロブロックの中心をｙｉとし、そのマクロブロックに対応する動ベクトルをｖｉとする。このとき、ベクトルの始点ｘｉ＝ｙｉ−ｖｉのアフィン変換変形モデルによる移動先は、アフィン変換係数をαとするとｒｉ＝ｘｉαとなり、実際の移動先であるｙｉとの誤差はｅｉ＝ｒｉ−ｙｉとなる。推定残差の総和は次式のようになり、これを最小とするαを求めればよい。
【数１】
2008226261.tif 000003
【００４５】
このような問題を解くための手法として最小二乗法があり、その場合には式（１）でΨ（ｚ）＝ｚ2を用いればよい。しかし、最小二乗法を用いた場合、背景の動ベクトルとオブジェクトの動ベクトルを同列に扱うため、背景の動ベクトルのみからアフィン変換係数を推定することができず、オブジェクトの動きを含んだアフィン変換係数となってしまう。
【００４６】
そこで、画面内における背景領域の占める面積が５０％以上あると仮定し、オブジェクトの動べクトルを外乱とみなして、背景部分の動ベクトルからのみアフィン変換係数を推定する。外乱に強い手法として、文献：中川徹・小柳義夫著「最小二乗法による実験データ解析」束京大学出版会、に開示されているようなロバスト推定法を用いる。ここでは特に、ロバスト推定法の一つであるＢｉｗｅｉｇｈｔ法によるＭ推定を用いる。Ｂｉｗｅｉｇｈｔ法では、誤差の大きい要素の重みを下げることによって、外乱の影響を受け難くしている。具体的には、先の式（１）のΨ（ｚ）において、重みｗを用いた次式（２）を使用する。定数ｃは５〜９に選ぶのがよいとされている。
【数２】
2008226261.tif 000004
【００４７】
＜手法２＞  
背景の動きを近似するアフィン変換係数推定処理において、手法２を用いた場合の処理手順を図５に示すフローチャートを用いて説明する。
【００４８】
まず、信頼性の低いベクトルを除去する処理を行った後の動ベクトルデータ５００に対して、先の手法１と同様な処理を用いて、隣接する動べクトルが類似した領域に分割する処理を行う（ステップ５０１）。ただし、手法１と異なり、この時点で背景の動きを除去する処理は行われていない。
【００４９】
次に、分割された各領域に含まれる動ベクトルより、領域の動きをアフィン変換モデルで近似したときのアフィン変換係数の推定処理を行う（ステップ５０２）。このときの推定処理には、手法１と同様なロバスト推定法を用いる。
【００５０】
次に、分割された各領域のクラスタリング処理を行う（ステップ５０３）。これには全ての領域の組み合わせよりなるテーブルを用意して、各領域間の距離をアフィン変換係数より求める。ここでは、アフィン変換モデルの６係数のユークリッド距離を用いるが、他の距離を用いてもよい。次に、この距離が最も小さい２つの領域を統合し、統合された領域に対して新たなアフィン変換係数を求め、テーブルから統合された２領域を削除し、統合された領域を追加して、テーブルを更新する。この処理を領域間の距離が予め定めた閾値より大きくなるか、領域が１つになるまで繰り返し行う。
【００５１】
このようにしてクラスタリングされた領域のうち、クラスタが最大の領域を背景の領域と判定する処理を行い（ステップ５０４）、その領域のアフィン変換係数を背景の動きのアフィン変換係数５０５として出力する。
【００５２】
＜手法３＞  
背景の動きを近似するアフィン変換係数推定処理において、手法３を用いた場合の処理手順を図６に示すフローチャートを用いて説明する。
【００５３】
まず、複数のフレームを一度に読み込み、各フレームに対して手法２と同様な処理を用いて隣接する動ベクトルが類似するような領域に分割する処理を行う（ステップ６０１）。
【００５４】
次に、各領域の動きをアフィン変換モデルで近似したときの変換係数の推定処理を行い（ステップ６０２）、さらに領域の位置や動ベクトルデータ及び変換係数に基づいて、フレーム間で対応する領域を求める処理を行った後（ステップ６０３）、手法２と同様なクラスタリング処理により各フレーム内の領域をクラスタリングする（ステップ６０４）。
【００５５】
フレーム間対応付け処理で対応付けられた領域が別のクラスタにクラスタリングされた場合は、最も多くのクラスタにクラスタリングされた結果を正解とし、他のクラスタにクラスタリングされた領域を移動する補正処理を行う（ステップ６０５）。
【００５６】
最後に、複数フレーム間で最も面積が大きかった領域を背景とする判定処理を行い（ステップ６０６）、各フレームにおける背景領域の変換係数５０７を求める。この手法３は、背景領域が特定のフレームで一時的に他の領域より小さくなった場合でも正しく推定ができるという利点がある。
【００５７】
上述の例では、背景の動きを推定する処理に用いる変換モデルにアフィン変換を用いたが、透視変換など、他の変換モデルを使用してもよい。
【００５８】
次に、図７を用いて図１のステップ１０６におけるオブジェクト及び背景に関する特徴量データの記述処理で用いられるデータ表現について説明する。ここでは、図７（ａ）に示されるように例として第１０００番目のフレーム内の映像７０５に含まれる３つのオブジェクトの表記データ７００を表している。この表記データ７００は、元映像データの映像ストリーム７０６内の対応するフレームを示すフレーム情報７０１とオブジェクトに関する特徴量７０３及び背景に関する特徴量７０４の各データより構成され、次表記データへのポインタ７０２を用いたリスト構造により管理されている。
【００５９】
オブジェクトに関する特徴量７０３は、少なくともオブジェクトの位置、形状（大きさを含む）及び動きの情報を含んでおり、具体的には例えば図７（ｂ）に例示されるような様々な特徴量より構成される。この例では、オブジェクトに関する特徴量７０３は「位置」、形状である「概形」、動きの情報である「アフィン変換係数」及び「動ベクトルの平均、方向」、さらに「色ヒストグラム」などから構成される。
【００６０】
ここで、オブジェクトの概形は、楕円や矩形などの簡易な図形により近似してもよい。アフィン変換係数は、前述したようにオブジェクトの動きをアフィン変換モデルで近似したときに推定される係数である。動ベクトルの平均は、オブジェクト中の動ベクトルの大きさの平均値である。また、オブジェクトの色情報が取得可能である場合には、オブジェクトの領域の色ヒストグラムが特徴量として用いることができる。オブジェクトの動きに関しては、背景の動きを除去したもの、除去しないもののいずれを記録してもよい。
【００６１】
この例のようにオブジェクトが複数存在する場合は、各オブジェクト特徴量７０３に個別のＩＤ番号を付け、拡張容易な例えば図７（ａ）に示されるようなリスト構造により管理することが望ましい。このようなリスト構造を用いると、オブジェクト特徴量の追加や削除が容易である。
【００６２】
背景に関する特徴量７０４に関してもオブジェクトに関する特徴量７０３と同様に図７（ｃ）に例示されるような様々な特徴量、例えば「アフィン変換係数」、「動ベクトルの平均、方向」、「カメラワーク種」、「色ヒストグラム」などにより構成される。カメラワーク種とは、バンやズームなどの撮影に用いられる典型的なカメラワークの種類をいう。
【００６３】
次に、図８に示すフローチャートを用いて図１のステップ１０８における類似度判定処理について説明する。  
この類似度判定処理は、元映像データに含まれる各オブジェクトに関する特徴量データ８００に対して、順次、外部より入力された特徴量データ８０４と比較することにより行う。外部より入力する特徴量データ８０４は、数値などで直接データとして与えてもよいし、映像から特徴量を抽出して特徴量データとして与えてもよい。
【００６４】
オブジェクトが複数の種類の特徴量を持つ場合は、各特徴量について順次、類似度判定処理により類似度を求める（ステップ８０３）。
【００６５】
元映像データ８００に含まれる特徴量データ８００と外部より入力される特徴量データ８０４の比較は、特徴量の種類に基づいて適当な手法を用いる。例えば、特徴量が色のヒストグラムであれば、ヒストグラムの各要素の差を用いることなどが考えられる。比較するオブジェクトが異なる種類の特徴量を持つ場合は、一致する特徴量のみについて比較すればよい。
【００６６】
ステップ８０１，８０２で全てのオブジェクトについて全ての特徴量データについて検索が終わったと判定されると、該当オブジェクトの情報について検索結果表示処理を行い（ステップ８０５）、処理は終了する。
【００６７】
オブジェクトの動きを比較するときには、背景に関する特徴量データを用いて、背景の動きを除去して比較することも可能である。図９を用いて、背景の動きを分離した検索の効果について説明する。
【００６８】
図９に示すように、元映像データ９０１は左に移動するオブジェクトを追跡するようにカメラを移動しながら撮影したものであるが、映像中では見かけ上オブジェクトが静止し、背景が右に移動しているように見える。左に移動するオブジェクトを検索するために、外部よりオブジェクト９０５のデータが入力された場合、映像データ９０１のオブジェクトは静止しているために特徴量が一致せず、検索することができない。
【００６９】
しかし、本発明に従いオブジェクトに関する特徴量と背景に関する特徴量を記述すると、背景の動きを利用して、カメラワークにより動く背景９０４を分離する処理９０２により、オブジェクト本来の左方向への動きを伴うオブジェクト９０３を検出することができる。すなわち、処理９０２においてはオブジェクトに関する特徴量と背景に関する特徴量との差分を求めることにより、オブジェクト９０３のみを検出する。
【００７０】
従って、この検出したオブジェクト９０２と外部より入力されたオブジェクト９０５を比較することによって、外部より入力されたオブジェクト９０５と同一のオブジェクトを入力映像データ９０１から検索したり、外部より入力されたオブジェクト９０５と同一のオブジェクトを含む映像フレームを元映像データ９０１から検索したりすることが可能となる。この場合、前述のように差分のデータとを記述しておけば、処理９０２は不要となる。
【００７１】
また、本発明に従いオブジェクトに関する特徴量と背景に関する特徴量を記述すると、図１０に示すように外部より入力されるカメラワークに一致したカメラワークの映像を検索することができる。すなわち、図１０に示すように元映像データ１００１からオブジェクト１００３を分離する処理１００２により、カメラワークにより動く背景１００４のみを検出する。そして、この検出した背景１００４と外部より入力されるカメラワークにより動く背景１００５と比較することによって、外部より入力されるカメラワークと同一のカメラワークが用いられている映像フレームを元映像データ１００１から検索する。
【００７２】
この場合も、前述のように差分のデータとを記述しておけば、処理１００２は不要となる。
【００７３】
［第２の実施形態］  
次に、図１１に示すフローチャートを参照して本発明の第２の実施形態について説明する。  
本実施形態では、先の第１の実施形態におけるオブジェクトの検出及び記述に代えて、予め解析された特徴量データが付加された元映像データ１１００を入力し（ステップ１１０１）、この元映像データ１１００からオブジェクトに関する特徴量データを分離して抽出する（ステップ１１０２）。
【００７４】
以下、第１の実施形態と同様に、ステップ１１０２で抽出された元映像データ１１００に関する特徴量データと、ステップ１１０９により入力された検索対象特徴量データ１１１０との類似度判定処理を行い（ステップ１１０８）、その結果をオブジェクト検索結果表示データ１１１２として合成表示するための合成表示処理を行う（ステップ１１１１）。
【００７５】
なお、これら一連の処理は、ソフトウェアまたはハードウェアのいずれでも実現が可能である。
【００７６】
［第３の実施形態］  
次に、図１２に示すフローチャートを用いて本発明の第３の実施形態について説明する。  
本実施形態では、外部より入力された一連の動きと複数フレームに渡る表記データを比較し、時系列的な動きによるオブジェクトの検索を可能にするために、複数の連続する表記データ１２０１に含まれるオブジェクトのうち、同一のオブジェクトを対応付ける処理を行う（ステップ１２０２）。一方、外部より入力された動きデータ１２０３から、表記データ１２０１と同一の間隔で動きデータを抽出するサンプリング処理を行う（ステップ１２０４）。
【００７７】
そして、互いに対応する表記データとサンプリングされた外部入カの動きデータを比較し（ステップ１１０５）、合致するオブジェクトを含む映像を検索結果として表示する（ステップ１１０６）。
【００７８】
図１３を用いて、図１２のステップ１２０２の連続する表記データ１２０１に含まれるオブジェクトの対応付け処理について説明する。  
第Ｎ番目の表記データに含まれるオブジェクト１３０１に関する特徴量（位置及び動き）を用いて、第Ｎ＋１番目の表記データにおけるオブジェクトの予測される位置１３０２を求める。そして、この予測される位置１３０２に最も近い位置に存在する第Ｎ＋１番目の表記データに含まれるオブジェクト１３０３をオブジェクト１３０１に対応するオブジェクトとする。
【００７９】
図１４を用いて、図１２のステップ１２０４における外部から入力された動きデータ１２０３のサンプリング処理について説明する。  
外部より入力された動きデータ１４０１（１２０３と同じ）は連続的な動きデータであるため、そのままでは数フレーム毎に付加される離散的なデータである表記データ中と比較することはできない。そこで、動きデータ１４０１を表記データのフレーム間隔でサンプリングして、このサンプリングされた動きデータ１４０２と表記データを比較する。
【００８０】
なお、これら一連の処理は、ソフトウェアまたはハードウェアのいずれでも実現が可能である。
【図面の簡単な説明】
【００８１】
【図１】本発明の第１の実施形態に係る映像検索システムの基本的な処理手順を示すフローチャート
【図２】同実施形態におけるオブジェクト検出の処理手順を示すフローチャート
【図３】同実施形態におけるオブジェクト検出に用いるＭＰＥＧストリームのＩピクチャ及びＰピクチャの関係を示す図
【図４】同実施形態におけるオブジェクト検出での低信頼性ペクトルの除去について説明するための図
【図５】同実施形態における背景領域の変換係数を求める手法を説明するためのフローチャート
【図６】同実施形態における背景領域の変換係数を求める他の手法を説明するためのフローチャート
【図７】同実施形態におけるオブジェクト記述処理で用いる特徴量データの構造を示す図
【図８】同実施形態におけるオブジェクト検索の処理手順を示すフローチャート
【図９】同実施形態におけるオブジェクト検索処理におけるカメラワークの除去について示す図
【図１０】同実施形態におけるオブジェクト検索処理における入力されたカメラワークと同一カメラワークが用いられているフレームの検索について示す図
【図１１】本発明の第２の実施形態に係る映像検索システムの基本的な処理手順を示すフローチャート
【図１２】本発明の第３の実施形態に係る映像検索システムの基本的な処理手順を示すフローチャート
【図１３】同実施形態における連続する表記データ間でのオブジェクトの対応付けを説明するための図
【図１４】同実施形態における外部より入力された動きデータのサンブリング方法を説明するための図
【符号の説明】
【００８２】
７００…表記データ
７０３…オブジェクトに関する特徴量
７０４…背景に関する特徴量
７０６…映像ストリーム
【図１】
2008226261.tif 000005
【図２】
2008226261.tif 000006
【図３】
2008226261.tif 000007
【図４】
2008226261.tif 000008
【図５】
2008226261.tif 000009
【図６】
2008226261.tif 000010
【図７】
2008226261.tif 000011
【図８】
2008226261.tif 000012
【図９】
2008226261.tif 000013
【図１０】
2008226261.tif 000014
【図１１】
2008226261.tif 000015
【図１２】
2008226261.tif 000016
【図１３】
2008226261.tif 000017
【図１４】
2008226261.tif 000018