(57)【特許請求の範囲】
【請求項１】
第１処理手段と第２処理手段と第３処理手段と生成手段とを備え、映像中における任意の物体の領域に関する情報を連続する複数フレームに渡って記述した物体領域情報を生成するための物体領域情報生成装置の、物体領域情報生成方法であって、
前記第１処理手段が、対象となる前記複数フレームについて、映像中における対象となる物体の領域を、１又は複数の近似図形を用いて近似するステップと、
前記第２処理手段が、前記近似に用いられた各近似図形について、当該近似図形の図形種に応じて、当該近似図形を特定可能な所定数の代表点それぞれの前記複数フレーム中におけるＸ座標の座標値及びＹ座標の座標値を求めるステップと、
前記第３処理手段が、前記近似に用いられた各近似図形について、当該近似図形の各代表点の各座標ごとに、連続する前記複数フレームに渡って求められた当該座標の座標値の時系列の軌跡を、２次以上の多項式のスプライン関数で近似し、該スプライン関数のパラメータを求めるステップと、
前記生成手段が、前記物体領域情報として、少なくとも、対象となる前記複数フレームのうちの先頭のフレームの番号及び最終のフレームの番号もしくは先頭のフレームのタイムスタンプ及び最終のフレームのタイムスタンプを特定可能な情報と、前記近似に用いられた近似図形の数と、前記近似に用いられた各近似図形の図形種を識別する情報と、前記近似に用いられた各近似図形の各代表点の各座標ごとに求められた前記スプライン関数のパラメータとを含む物体領域情報を生成するステップとを有し、
前記スプライン関数のパラメータは、それぞれ、当該近似図形の当該代表点の当該座標について、前記スプライン関数の各々の節点の座標値を示す情報及び該節点の座標値とともに用いて前記軌跡を特定可能な情報を含むことを特徴とする物体領域情報生成方法。
【請求項２】
前記節点の座標値とともに用いて前記軌跡を特定可能な情報は、各々の節点間に対応して設けられる前記スプライン関数の多項式次数Ｋ及びＫ＋１に相当する個数の多項式係数であることを特徴とする請求項１に記載の物体領域情報生成方法。
【請求項３】
前記生成手段は、前記物体に関連付けられている関連情報または該関連情報へのアクセス方法を示す情報を併せて記述した物体領域情報を生成することを特徴とする請求項１または２に記載の物体領域情報生成方法。
【請求項４】
前記物体領域情報生成装置は、記録手段を更に備え、
前記物体領域情報生成方法は、前記記録手段が、生成された前記物体領域情報を所定の記録媒体に記録するステップを更に含むことを特徴とする請求項１ないし３のいずれか１項に記載の物体領域情報生成方法。
【請求項５】
第１処理手段と第２処理手段と判定手段とを備え、映像を表示している画面において特定の物体が指定されたか否かを判定するための情報処理装置の、映像情報処理方法であって、
前記第１処理手段が、映像を表示している画面において任意の位置が指定された際、該指定がなされたフレームの番号又はタイムスタンプを示す第１の情報と、映像中において予め設定された物体の領域ごとに設けられる各々の物体領域情報に含まれる、当該物体の領域が存在する連続する複数フレームのうちの先頭のフレームの番号及び最終のフレームの番号もしくは先頭のフレームのタイムスタンプ及び最終のフレームのタイムスタンプを特定可能な第２の情報とに基づいて、該第１の情報に係るフレーム中に存在する物体の領域を特定し、該特定した物体の領域に係る前記物体領域情報に含まれる、該物体の領域の近似に用いられる近似図形の数と、各近似図形の図形種を識別する情報と、各近似図形ごと且つ当該近似図形を特定可能な所定数の代表点ごと且つ当該代表点のフレーム中におけるＸ座標及びＹ座標ごとに与えられる、連続する前記複数フレームに渡る当該座標の座標値の時系列の軌跡を近似した２次以上の多項式のスプライン関数のパラメータとに基づいて、該第１の情報に係るフレームにおける各近似図形の各代表点のＸ座標の座標値及びＹ座標の座標値を求めるステップと、
前記第２処理手段が、求められた各近似図形の各代表点のＸ座標の座標値及びＹ座標の座標値をもとにして各近似図形の位置を求めるステップと、
前記判定手段が、前記指定された位置が、求められた何れかの前記近似図形の内部に存在するか否かを調べ、何れかの前記近似図形の内部に存在すると判断された場合に前記物体が指定されたと判定するステップとを有し、
前記スプライン関数のパラメータは、それぞれ、当該近似図形の当該代表点の当該座標について、前記スプライン関数の各々の節点の座標値を示す情報及び該節点の座標値とともに用いて前記軌跡を特定可能な情報を含むことを特徴とする映像情報処理方法。
【請求項６】
前記物体が指定されたと判定された場合には、前記物体に関連付けられている関連情報を呈示することを特徴とする請求項５に記載の映像情報処理方法。
【請求項７】
処理手段と表示手段とを備え、映像を表示している画面において特定の物体が存在する場合に該物体の存在する領域を明示的に表示するための情報処理装置の、映像情報処理方法であって、
前記処理手段が、画面に表示されている映像について、現在表示中のフレームの番号又はタイムスタンプを示す第１の情報と、映像中において予め設定された物体の領域ごとに設けられる各々の物体領域情報に含まれる、当該物体の領域が存在する連続する複数フレームのうちの先頭のフレームの番号及び最終のフレームの番号もしくは先頭のフレームのタイムスタンプ及び最終のフレームのタイムスタンプを特定可能な第２の情報とに基づいて、該第１の情報に係るフレーム中に存在する物体の領域を特定し、該特定した物体の領域に係る前記物体領域情報に含まれる、該物体の領域の近似に用いられる近似図形の数と、各近似図形の図形種を識別する情報と、各近似図形ごと且つ当該近似図形を特定可能な所定数の代表点ごと且つ当該代表点のフレーム中におけるＸ座標及びＹ座標ごとに与えられる、連続する前記複数フレームに渡る当該座標の座標値の時系列の軌跡を近似した２次以上の多項式のスプライン関数のパラメータとに基づいて、該第１の情報に係るフレームにおける各近似図形の各代表点のＸ座標の座標値及びＹ座標の座標値を求めるステップと、
前記表示手段が、求められた各近似図形の各代表点のＸ座標の座標値及びＹ座標の座標値に基づいて、特定された前記物体の領域の画面上における存在箇所を明示するための情報を所定の表示形態で表示するステップとを有し、
前記スプライン関数のパラメータは、それぞれ、当該近似図形の当該代表点の当該座標について、前記スプライン関数の各々の節点の座標値を示す情報及び該節点の座標値とともに用いて前記軌跡を特定可能な情報を含むことを特徴とする映像情報処理方法。
【請求項８】
映像中における任意の物体の領域に関する情報を連続する複数フレームに渡って記述した物体領域情報を生成するための物体領域情報生成装置であって、
対象となる前記複数フレームについて、映像中における対象となる物体の領域を、１又は複数の近似図形を用いて近似する第1処理手段と、
前記近似に用いられた各近似図形について、当該近似図形の図形種に応じて、当該近似図形を特定可能な所定数の代表点それぞれの前記複数フレーム中におけるＸ座標の座標値及びＹ座標の座標値を求める第２処理手段と、
前記近似に用いられた各近似図形について、当該近似図形の各代表点の各座標ごとに、連続する前記複数フレームに渡って求められた当該座標の座標値の時系列の軌跡を、２次以上の多項式のスプライン関数で近似し、該スプライン関数のパラメータを求める第３処理手段と、
前記物体領域情報として、少なくとも、対象となる前記複数フレームのうちの先頭のフレームの番号及び最終のフレームの番号もしくは先頭のフレームのタイムスタンプ及び最終のフレームのタイムスタンプを特定可能な情報と、前記近似に用いられた近似図形の数と、前記近似に用いられた各近似図形の図形種を識別する情報と、前記近似に用いられた各近似図形の各代表点の各座標ごとに求められた前記スプライン関数のパラメータとを含む物体領域情報を生成する生成手段とを備え、
前記スプライン関数のパラメータは、それぞれ、当該近似図形の当該代表点の当該座標について、前記スプライン関数の各々の節点の座標値を示す情報及び該節点の座標値とともに用いて前記軌跡を特定可能な情報を含むことを特徴とする物体領域情報生成装置。
【請求項９】
映像を表示している画面において特定の物体が指定された場合に所定の処理を行う情報処理装置であって、
映像を表示している画面において任意の位置が指定された際、該指定がなされたフレームの番号又はタイムスタンプを示す第１の情報と、映像中において予め設定された物体の領域ごとに設けられる各々の物体領域情報に含まれる、当該物体の領域が存在する連続する複数フレームのうちの先頭のフレームの番号及び最終のフレームの番号もしくは先頭のフレームのタイムスタンプ及び最終のフレームのタイムスタンプを特定可能な第２の情報とに基づいて、該第１の情報に係るフレーム中に存在する物体の領域を特定し、該特定した物体の領域に係る前記物体領域情報に含まれる、該物体の領域の近似に用いられる近似図形の数と、各近似図形の図形種を識別する情報と、各近似図形ごと且つ当該近似図形を特定可能な所定数の代表点ごと且つ当該代表点のフレーム中におけるＸ座標及びＹ座標ごとに与えられる、連続する前記複数フレームに渡る当該座標の座標値の時系列の軌跡を近似した２次以上の多項式のスプライン関数のパラメータとに基づいて、該第１の情報に係るフレームにおける各近似図形の各代表点のＸ座標の座標値及びＹ座標の座標値を求める第１処理手段と、
求められた各近似図形の各代表点のＸ座標の座標値及びＹ座標の座標値をもとにして各近似図形の位置を求める第２処理手段と、
前記指定された位置が、求められた何れかの前記近似図形の内部に存在するか否かを調べ、何れかの前記近似図形の内部に存在すると判断された場合に前記物体が指定されたと判定する判定手段とを備え、
前記スプライン関数のパラメータは、それぞれ、当該近似図形の当該代表点の当該座標について、前記スプライン関数の各々の節点の座標値を示す情報及び該節点の座標値とともに用いて前記軌跡を特定可能な情報を含むことを特徴とする情報処理装置。
【請求項１０】
映像を表示している画面において特定の物体が指定された場合に所定の処理を行う情報処理装置であって、
画面に表示されている映像について、現在表示中のフレームの番号又はタイムスタンプを示す第１の情報と、映像中において予め設定された物体の領域ごとに設けられる各々の物体領域情報に含まれる、当該物体の領域が存在する連続する複数フレームのうちの先頭のフレームの番号及び最終のフレームの番号もしくは先頭のフレームのタイムスタンプ及び最終のフレームのタイムスタンプを特定可能な第２の情報とに基づいて、該第１の情報に係るフレーム中に存在する物体の領域を特定し、該特定した物体の領域に係る前記物体領域情報に含まれる、該物体の領域の近似に用いられる近似図形の数と、各近似図形の図形種を識別する情報と、各近似図形ごと且つ当該近似図形を特定可能な所定数の代表点ごと且つ当該代表点のフレーム中におけるＸ座標及びＹ座標ごとに与えられる、連続する前記複数フレームに渡る当該座標の座標値の時系列の軌跡を近似した２次以上の多項式のスプライン関数のパラメータとに基づいて、該第１の情報に係るフレームにおける各近似図形の各代表点のＸ座標の座標値及びＹ座標の座標値を求める処理手段と、
求められた各近似図形の各代表点のＸ座標の座標値及びＹ座標の座標値に基づいて、特定された前記物体の領域の画面上における存在箇所を明示するための情報を所定の表示形態で表示する表示手段とを備え、
前記スプライン関数のパラメータは、それぞれ、当該近似図形の当該代表点の当該座標について、前記スプライン関数の各々の節点の座標値を示す情報及び該節点の座標値とともに用いて前記軌跡を特定可能な情報を含むことを特徴とする情報処理装置。
【発明の詳細な説明】
【０００１】
【発明の属する技術分野】
本発明は、映像中の物体の領域に関する情報を生成するための物体領域情報生成方法、映像中の物体の領域に関する情報を生成するための物体領域情報生成装置、並びに映像中の物体に対する指定を受け所定の処理を行う情報処理装置及びそのための映像情報処理方法に関する。
【０００２】
【従来の技術】
ハイパーメディアは、映像、音声、テキストなどのメディアの間にハイパーリンクと呼ばれる関連情報を付与し、相互に参照できるようにしたものである。映像を中心にした場合、例えば映像中の登場物体に関連情報が付与されており、この物体が指示されると関連情報の表示を行うというものがハイパーメディアの代表例である。このとき、映像中の物体は映像のフレーム番号もしくはタイムスタンプと映像中の領域を特定する情報とで表現され、映像データの中にもしくは別データとして記録されている。
【０００３】
映像中の領域を特定する方法としては、マスク画像がよく利用されてきた。これは指定領域内の場合と指定領域外の場合で異なる画素値を与えて構成する画像である。例えば、領域内の場合は１、領域外の場合は０という画素値を与えるのが最も簡単な方法である。また、ＣＧなどに使われるα値を利用することもある。通常、α値は２５６階調の値を表現できるので、そのうちの一部を使い、例えば指定領域内の場合は２５５、指定領域外の場合は０と表現する。このようなマスク画像により画像中の領域が表現されている場合、あるフレームにおける画素が、指定領域内であるかどうかを判定するには、そのフレームに該当するマスク画像の該当画素の値を読み取り、０であるか２５５であるかにより簡単に判定することができる。マスク画像はどのような形の領域でも、また不連続な領域でも表現できるという自由度を持っているが、画像サイズと同じサイズの画素を持つ必要がある。
【０００４】
マスク画像のデータ量を削減するために、マスク画像の圧縮がよく利用される。０、１の２値のマスク画像の場合には、２値画像としての処理ができるため、ファクシミリ等で用いられている圧縮方法が利用されることが多い。また、ＩＳＯ／ＩＥＣ動画圧縮標準化グループＭＰＥＧ（Ｍｏｖｉｎｇ  Ｐｉｃｔｕｒｅ  Ｅｘｐｅｒｔｓ  Ｇｒｏｕｐ）が標準化しているＭＰＥＧ−４では、０，１の２値のマスク画像の他、α値を利用したマスク画像までを圧縮対象とした任意形状符号化を採用することになっている。これは、動き補償を用いた圧縮手法であり、圧縮効率が向上するが、その分、圧縮・復号過程は複雑になる。
【０００５】
以上のように映像中のある領域を表現するにはマスク画像かあるいはマスク画像を圧縮したものを利用することが多かったが、領域を特定するためのデータとしては、より簡単にかつ高速に取り出すことが可能でデータ量も小さく、そして容易に扱うことができる形態のものが望まれている。
【０００６】
一方、映像中の動く物体の関連情報を表示させるような操作が通常想定されるハイパーメディアにおいては、静止画像を対象とするのとは異なって物体の指示にある程度の困難さを伴うものであり、ユーザが物体の特定の箇所を狙ってそこを指示することは通常難しく、またユーザも通常は物体の例えば中心付近を漠然と狙って指示しようとする場合が多いと考えられ、さらに物体の動きによっては厳密には物体の外部であるような物体の近傍を指示してしまうことも多い。したがって、領域を特定するためのデータとして、このようなメディアにより適合した形態のものが望まれている。また、映像中の動く物体の関連情報を表示するようなシステムにおいては、ユーザによる映像中の動く物体の指示をより容易にするように支援する機構が望まれている。
【０００７】
【発明が解決しようとする課題】
以上説明したように、映像中の所望の物体の領域を表現する方法として、マスク画像ではデータ量が多くなるという問題があり、また、マスク画像を圧縮して用いると符号化・復号化が複雑になり、しかも直接データを編集することができないためハンドリングが難しいという問題があった。
【０００８】
また、ユーザによる映像中の動く物体の指示をより容易にするような仕組みが提供されていないという問題があった。
【０００９】
本発明は、上記事情を考慮してなされたもので、映像中の所望の物体の領域を少ないデータ量で記述でき且つその作成やそのデータの扱いも容易にする物体領域情報生成方法及び物体領域情報生成装置を提供することを目的とする。
【００１０】
また、本発明は、ユーザによる映像中の物体の指示やその判定を容易にする物体領域情報生成方法及び物体領域情報生成装置並びに映像情報処理方法及び情報処理装置を提供することを目的とする。
【００１２】
【課題を解決するための手段】
本発明は、第１処理手段と第２処理手段と第３処理手段と生成手段とを備え、映像中における任意の物体の領域に関する情報を連続する複数フレームに渡って記述した物体領域情報を生成するための物体領域情報生成装置の、物体領域情報生成方法であって、前記第１処理手段が、対象となる前記複数フレームについて、映像中における対象となる物体の領域を、１又は複数の近似図形を用いて近似するステップと、前記第２処理手段が、前記近似に用いられた各近似図形について、当該近似図形の図形種に応じて、当該近似図形を特定可能な所定数の代表点それぞれの前記複数フレーム中におけるＸ座標の座標値及びＹ座標の座標値を求めるステップと、前記第３処理手段が、前記近似に用いられた各近似図形について、当該近似図形の各代表点の各座標ごとに、連続する前記複数フレームに渡って求められた当該座標の座標値の時系列の軌跡を、２次以上の多項式のスプライン関数で近似し、該スプライン関数のパラメータを求めるステップと、前記生成手段が、前記物体領域情報として、少なくとも、対象となる前記複数フレームのうちの先頭のフレームの番号及び最終のフレームの番号もしくは先頭のフレームのタイムスタンプ及び最終のフレームのタイムスタンプを特定可能な情報と、前記近似に用いられた近似図形の数と、前記近似に用いられた各近似図形の図形種を識別する情報と、前記近似に用いられた各近似図形の各代表点の各座標ごとに求められた前記スプライン関数のパラメータとを含む物体領域情報を生成するステップとを有し、前記スプライン関数のパラメータは、それぞれ、当該近似図形の当該代表点の当該座標について、前記スプライン関数の各々の節点の座標値を示す情報及び該節点の座標値とともに用いて前記軌跡を特定可能な情報を含むことを特徴とする。
【００１６】
対象となる前記複数フレームのうちの先頭のフレームの番号及び最終のフレームの番号もしくは先頭のフレームのタイムスタンプ及び最終のフレームのタイムスタンプを特定可能な情報は、例えば、先頭のフレームの番号及び最終のフレームの番号、あるいは先頭のフレームの番号及び先頭のフレームの番号と最終のフレームの番号との差分である。タイムスタンプを用いる場合も同様である。
【００１７】
好ましくは、前記関数のパラメータは、前記軌跡の節点の位置データおよび該節点の位置データとともに用いて前記軌跡を特定可能な情報であるようにしてもよい。あるいは、前記関数のパラメータは、関数の係数であるようにしてもよい。
【００１８】
好ましくは、前記物体の領域に対する近似図形の代表点もしくは前記物体の領域の特徴点が複数存在する場合に、現在のフレームにおける複数の代表点もしくは特徴点の各々が互いに隣接するフレームにおける複数の代表点もしくは特徴点のいずれに対応するかを特定するようにしてもよい。
【００１９】
好ましくは、前記物体に関連付けられている関連情報または該関連情報へのアクセス方法を示す情報を併せて記述するようにしてもよい。
【００２１】
また、本発明は、映像を表示している画面において特定の物体が指定されたか否かを判定するための映像情報処理方法であって、映像を表示している画面において任意の位置が指定された際、該映像中に予め設定された物体の領域が存在する場合に、該物体の領域に対する近似図形の代表点の位置データをフレームの進行に沿って並べたときの軌跡を近似した関数のパラメータを記述した情報を取得し、前記取得した情報に基づいて、該フレームにおける前記代表点の位置を求め、求められた前記代表点の位置をもとにして前記近似図形の位置を求め、前記指定された位置が求められた前記近似図形の内部に存在するか否かを調べ、内部に存在すると判断された場合に前記物体が指定されたと判定することを特徴とする。
【００２２】
また、本発明は、映像を表示している画面において特定の物体が指定されたか否かを判定するための映像情報処理方法であって、映像を表示している画面において任意の位置が指定された際、該映像中に予め設定された物体の領域が存在する場合に、該物体の領域の特徴点の位置データをフレームの進行に沿って並べたときの軌跡を近似した関数のパラメータを記述した情報を取得し、前記取得した情報に基づいて、該フレームにおける前記特徴点の位置を求め、前記指定された位置と求められた前記特徴点の位置との間の距離が基準値以下であるか否かを調べ、基準値以下であると判断された場合に前記物体が指定されたと判定することを特徴とする。
好ましくは、前記物体が指定されたと判定された場合には、前記物体に関連付けられている関連情報を呈示するようにしてもよい。
【００２３】
また、本発明は、映像を表示している画面において特定の物体が指定された場合に該物体の存在する領域を明示的に表示するための映像情報処理方法であって、前記映像中に予め設定された物体の領域が存在する場合に、該物体の領域に対する近似図形の代表点もしくは該物体の領域の特徴点の少なくとも一方の位置データをフレームの進行に沿って並べたときの軌跡を近似した関数のパラメータを記述した情報を取得し、前記取得した情報に基づいて、該フレームにおける前記代表点または特徴点を求め、求められた前記代表点または特徴点に基づいて、前記物体の領域の画面上における存在箇所を明示するための情報を所定の表示形態で表示することを特徴とする。
【００２４】
また、本発明は、映像中に出現する物体のうち条件に該当するものを検索する映像情報処理方法であって、検索対象となる映像中の任意の位置および該位置に基づく検索条件を入力し、前記検索対象となる映像中に出現する物体毎に作成された、該物体の領域に対する近似図形の代表点の位置データもしくは該物体の領域の特徴点をフレームの進行に沿って並べたときの軌跡を近似した関数のパラメータを記述した情報を取得し、前記取得した情報に基づいて求めた１つの物体の１つのフレームにおける前記近似図形もしくは前記特徴点と、前記指定された位置とが、所定の関係にあるか否かを判定することを、複数のフレームに渡って各物体について行い、前記判定の結果に基づいて、前記検索条件に該当する物体を求めることを特徴とする。
好ましくは、前記所定の関係は、前記指定された位置が前記近似図形の内部に存在する関係もしくは前記特徴点と前記指定された位置との間の距離が基準値以下である関係であり、前記検索条件は、抽出すべき物体の条件として、前記指定された位置に関して前記所定の関係の成立するフレームが少なくとも１つ存在する条件、前記指定された位置に関して前記所定の関係の成立するフレームが一定数連続して存在する条件、および前記所定の関係が全てのフレームにおいて成立しない条件を含む検索条件群のなかから選択されたものであるようにしてもよい。
また、好ましくは、前記検索条件群は、さらに、前記位置に基づく条件に加重される条件として、前記物体に対する近似図形が満たすべき属性条件を含むようにしてもよい。
【００２５】
また、本発明は、映像中に出現する物体のうち条件に該当するものを検索する映像情報処理方法であって、検索対象となる映像中の位置の軌跡を指定する情報を入力し、前記検索対象となる映像中に出現する物体毎に作成された、該物体の領域に対する近似図形の代表点の位置データもしくは該物体の領域の特徴点をフレームの進行に沿って並べたときの軌跡を近似した関数のパラメータを記述した情報を取得し、前記取得した情報に基づいて求めた１つの物体の前記代表点もしくは前記特徴点の軌跡と、前記指定された位置の軌跡との類似性を評価することを、各物体について行い、評価された前記類似性に基づいて、指定された前記軌跡に該当する物体を求めることを特徴とする。
好ましくは、前記位置の軌跡を指定する情報は、位置と時間との関係を含む時系列情報であり、前記類似性は、時間的な位置関係を加味して評価するようにしてもよい。
なお、前記軌跡については、例えば、映像中の物体を指定し、該物体の持つ軌跡を指定された軌跡としてもいし、あるいは、ユーザが前記軌跡をＧＵＩ上で描くように入力可能としてもよい。
【００２６】
また、本発明は、映像中における任意の物体の領域に関する情報を連続する複数フレームに渡って記述したデータを生成するための物体領域情報生成装置であって、対象となる前記複数のフレームについて、映像中における対象となる物体の領域を、所定の図形を用いて近似する手段と、前記近似に用いられた図形を特定可能な所定数の代表点の複数のフレーム中における座標値を求める手段と、連続する前記複数フレームに渡って求められた各代表点の各座標値について、該代表点の座標値の時系列の軌跡を所定の関数で近似する手段とを備え、前記関数のパラメータを用いて前記物体の領域に関する情報を生成することを特徴とする。
【００２７】
また、本発明は、映像中における任意の物体の領域に関する情報を連続する複数フレームに渡って記述したデータを生成するための物体領域情報生成装置であって、対象となる前記複数のフレームについて、映像中における対象となる物体の領域に対する所定数の特徴点の座標値を求める手段と、連続する前記複数フレームに渡って求められた各特徴点の各座標値について、該特徴点の座標値の時系列の軌跡を所定の関数で近似する手段とを備え、前記関数のパラメータを用いて前記物体の領域に関する情報を生成することを特徴とする。
【００２８】
また、本発明は、映像を表示している画面において特定の物体が指定された場合に所定の処理を行う情報処理装置であって、映像を表示している画面において任意の位置が指定された際、該映像中に予め設定された物体の領域が存在する場合に、該物体の領域に対する近似図形の代表点の位置データをフレームの進行に沿って並べたときの軌跡を近似した関数のパラメータを取得し、該フレームにおける前記代表点の位置を求める手段と、求められた前記代表点の位置をもとにして前記近似図形の位置を求める手段と、前記指定された位置が求められた前記近似図形の内部に存在するか否かを判定する手段とを備えたことを特徴とする。
【００２９】
また、本発明は、映像を表示している画面において特定の物体が指定された場合に所定の処理を行う情報処理装置であって、映像を表示している画面において任意の位置が指定された際、該映像中に予め設定された物体の領域が存在する場合に、該物体の領域の特徴点の位置データをフレームの進行に沿って並べたときの軌跡を近似した関数のパラメータを取得し、該フレームにおける特徴点の位置を求める手段と、前記指定された位置と求められた前記特徴点の位置との間の距離が基準値以下であるか否かを判定する手段とを備えたことを特徴とする。
【００３０】
また、本発明は、映像を表示している画面において特定の物体が指定された場合に所定の処理を行う情報処理装置であって、前記映像中に予め設定された物体の領域が存在する場合に、該物体の領域に対する近似図形の代表点もしくは該物体の領域の特徴点の少なくとも一方の位置データをフレームの進行に沿って並べたときの軌跡を近似した関数のパラメータを取得し、該フレームにおける代表点または特徴点を求める手段と、求められた前記代表点または特徴点に基づいて、前記物体の領域の画面上における存在箇所を明示するための情報を所定の表示形態で表示する手段とを備えたことを特徴とする。
【００３１】
また、本発明は、映像中に出現する物体のうち指定された条件に該当するものを検索する情報処理装置であって、検索対象となる映像中の任意の位置および該位置に基づく検索条件が入力された際、前記検索対象となる映像中に出現する物体毎に作成された、該物体の領域に対する近似図形の代表点の位置データもしくは該物体の領域の特徴点をフレームの進行に沿って並べたときの軌跡を近似した関数のパラメータを記述した情報を取得する手段と、前記取得した情報に基づいて求めた１つの物体の１つのフレームにおける前記近似図形もしくは前記特徴点と、前記指定された位置とが、所定の関係にあるか否かを判定することを、複数のフレームに渡って各物体について行う手段と、前記判定の結果に基づいて、前記検索条件に該当する物体を求める手段とを備えたことを特徴とする。
【００３２】
また、本発明は、映像中に出現する物体のうち指定された条件に該当するものを検索する情報処理装置であって、検索対象となる映像中の位置の軌跡を指定する情報が入力された際、前記検索対象となる映像中に出現する物体毎に作成された、該物体の領域に対する近似図形の代表点の位置データもしくは該物体の領域の特徴点をフレームの進行に沿って並べたときの軌跡を近似した関数のパラメータを記述した情報を取得する手段と、前記取得した情報に基づいて求めた１つの物体の前記代表点もしくは前記特徴点の軌跡と、前記指定された位置の軌跡との類似性を評価することを、各物体について行う手段と、評価された前記類似性に基づいて、指定された前記軌跡に該当する物体を求める手段とを備えたことを特徴とする。
【００３３】
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。
【００３４】
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手順を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムを記録したコンピュータ読取り可能な記録媒体としても成立する。
【００３５】
本発明によれば、複数フレームに渡る映像中の物体の領域を、該物体の領域に対する近似図形の代表点または該物体の領域の特徴点の位置データをフレームの進行に沿って並べたときの軌跡を近似した関数のパラメータとして記述することにより、複数フレームに渡る映像中の物体の領域を少量の関数パラメータのみによって記述することができるため、物体の領域を特定するためのデータの量を効果的に削減することができ、またハンドリングを容易にすることができる。また、近似図形からの代表点あるいは特徴点の抽出や、近似曲線のパラメータの生成も容易に行うことができる。また、近似曲線のパラメータから近似図形を生成することも容易に行うことができる。
【００３６】
また、近似図形の代表点を用いる場合、この近似図形として基本的な図形、例えば一つまたは複数の楕円を用い、例えば楕円を二つの焦点と他の１点により代表させれば、ユーザにより指定された任意の座標が物体の領域（近似図形）内か否かを簡単な判定式により判定することができる。さらに、これによって、ユーザによる映像中の動く物体の指示をより容易にすることができる。
【００３７】
また、特徴点を用いる場合、ユーザにより指定された任意の座標が物体の領域を指示しているか否かを極めて簡単に判定することができる。さらに、これによって、ユーザによる映像中の動く物体の指示をより容易にすることができる。
【００３８】
さらに、本発明による物体領域データを用いて特定される映像中の物体の領域のうち関連情報を持つ物体の領域の表示や物体の領域を示す画像の表示を制御することにより、例えばユーザが関連情報があるかないか、そしてその物体の領域の位置を一目で認識するできるようになるなど、ユーザの操作を効果的に支援することができる。
【００３９】
また、本発明によれば、映像中の物体の通過位置、ある地点での滞留時間、あるいは軌跡などに基づいて、映像中の物体の検索を容易に行うことができる。
【００４０】
【発明の実施の形態】
以下、図面を参照しながら発明の実施の形態を説明する。
【００４１】
（第１の実施形態）
図１に、本発明の第１の実施形態に係る物体領域データ変換装置の構成例を示す。図１に示されるように、本物体領域データ変換装置は、映像データ記憶部１００、領域抽出部１０１、領域の図形近似部１０２、図形代表点抽出部１０３、代表点の曲線近似部１０４、関連情報記憶部１０５、領域データ記憶部１０６を備えている。なお、本処理（特に、領域抽出部１０１や領域の図形近似部１０２の処理）においてユーザの操作を介入させる形態を取る場合には、映像データを例えばフレーム単位で表示させ、ユーザの指示入力等を受け付けるＧＵＩが用いられる（図１では省略している）。
【００４２】
映像データ記憶部１００は、映像データが記憶されているもので、例えばハードディスクや光ディスク、半導体メモリなどで構成される。
【００４３】
領域抽出部１０１は、映像データにおける一部の領域を抽出する。この一部の領域とは、画像中の特定の人や車、建物など（あるいはその一部分、例えば人の頭、車のボンネット、建物の玄関など）の物体の領域である。映像では、連続するフレームには同じ物体が写っていることが多いが、物体自身の動きや撮影時のカメラの動きが原因で同じ物体に対応する領域がフレーム間で変化することが多い。
【００４４】
領域抽出部１０１は、このような注目している物体の動きや変形に対応して各フレームにおける物体（オブジェクト）の領域を抽出するためのものである。具体的な抽出手法としては、全フレームに渡って人手で領域指定する方法や、Ｍ．Ｋａｓｓ  他，「Ｓｎａｋｅｓ：Ａｃｔｉｖｅ  ｃｏｕｎｔｏｕｒ  ｍｏｄｅｌｓ」（Ｉｎｔｅｒｎａｔｉｏｎａｌ  Ｊｏｕｒｎａｌ  ｏｆ  ＣｏｍｐｕｔｅｒＶｉｓｉｏｎ，ｖｏｌ．１，Ｎｏ．４，ｐｐ．３２１−３３１．Ｊｕｌｙ，１９８８）に記されているようなＳｎａｋｅｓと呼ばれる動的輪郭モデルにより物体の輪郭抽出を連続して行う方法、金子他「ロバスト推定を用いたハイパーメディアコンテンツ作成のための高速移動物体追跡法」（情報処理学会技術報告  ＣＶＩＭ１１３−１，１９９８）に記されているようなブロックマッチングにより求めた物体中の部分領域の移動先から物体全体の変形・移動を推定していく方法、画像解析ハンドブック（第ＩＩ部第２章，東京大学出版会，１９９１）に記されているような領域成長・分割により似た色を持つ領域を特定する方法などを用いることができる。
【００４５】
領域の図形近似部（以下、領域図形近似部）１０２は、領域抽出部１０１で抽出された映像中の物体の領域を予め定められた図形により近似する。図形としては、矩形、円、楕円、多角形など任意の図形としてよい。また、領域の近似方法も、領域に外接する図形に近似する方法、領域に内接する図形とする方法、領域の重心を近似図形の重心とする方法、領域と近似図形の面積比を等しくする方法、などの方法がある。なお、物体の領域を予め定められた図形により近似するのではなく、近似する対象物体毎に図形の種類をユーザが指定できるようにしてもよいし、近似する対象物体毎にその物体の形状等に応じて図形の種類を自動的に選択するようにしてもよい。
【００４６】
領域の図形近似は、領域抽出部１０１での抽出結果が入力されるたびに、フレームごとに行う。もしくは、前後数フレームの領域抽出結果を使って図形近似を行っても良い。数フレームの領域抽出結果を利用する場合には、近似図形の大きさや位置などの変化を数フレームの間で平滑化することにより、近似図形の動きや変形をなめらかにしたり、領域抽出の抽出誤差を目立たなくすることができる。なお、近似図形の大きさは、フレームごとに異なって構わない。
【００４７】
図形代表点抽出部１０３は、領域図形近似部１０２の出力である近似図形を表現する代表点を抽出する。どのような点を代表点とするかは、どのような近似図形を用いるかにより異なる。例えば、近似図形が矩形の場合には４つもしくは３つの頂点を代表点とすることができ、近似図形が円の場合には中心と円周上の一点としたり直径の両端点としたりすることができる。また、楕円の場合には楕円の外接矩形の頂点としたり２つの焦点と楕円上の１点（例えば短軸上の１点）としたりすればよい。任意の閉多角形を近似図形とする場合には、各頂点を図形の代表点とする必要がある。
【００４８】
代表点の抽出は、領域図形近似部１０２から１フレーム分の近似図形の情報が出力されるたびに、フレーム単位で行われる。また、各代表点は、水平方向の座標軸Ｘと、垂直方向の座標軸Ｙと、により表される。
【００４９】
代表点の曲線近似部（以下、代表点曲線近似部）１０４は、図形代表点抽出部１０３で抽出された各代表点の位置をそれぞれ時系列で曲線に近似する。この近似曲線は、各代表点について、Ｘ座標、Ｙ座標ごとに、フレーム番号ｆもしくは映像に付与されているタイムスタンプｔの関数として表現される。曲線近似の方法としては、直線による近似、スプライン曲線による近似などがある。
【００５０】
関連情報記憶部１０５は、映像データ記憶部１００に記憶されている映像データに登場する物体に関する関連情報（もしくは、関連情報自体は別の記憶装置（例えば、インターネットやＬＡＮ上のサーバであってもよい）に記憶されていて、その関連情報が記憶されているアドレスの情報）が記憶されている。関連情報は文字、音声、静止画、動画、あるいはそれらを適宜組み合わせたものであってもよいし、プログラムもしくは計算機の動作を記述したデータであってもよい。関連情報記憶部１０５は映像データ記憶部１００と同様に例えばハードディスクや光ディスク、半導体メモリなどで構成される。
【００５１】
領域データ記憶部１０６は、代表点曲線近似部１０４の出力である代表点の時系列的な軌跡を近似した曲線式を表現するデータを含む物体領域データが記憶される記憶媒体である。関数で表現された領域に対応する物体に関する関連情報が関連情報記憶部１０５に記憶されている場合には、物体領域データには関連情報そのものや関連情報の記録されているアドレスを併せて記録することができる（関連情報記憶部１０５に関連情報が記録されているアドレスの情報が記憶されている場合には、当該アドレス情報を併せて記録することができる）。領域データ記憶部１０６も映像データ記憶部１００等と同様に例えばハードディスクや光ディスク、半導体メモリなどで構成される。
【００５２】
なお、映像データ記憶部１００、関連情報記憶部１０５、領域データ記憶部１０６は、別々の記憶装置によって構成されていてもよいが、それらの全部または一部が同一の記憶装置によって構成されていてもよい。
【００５３】
また、本物体領域データ変換装置は、計算機上でソフトウェアを実行する形で実現することもできる。
【００５４】
次に、より具体的な例を用いながら本物体領域データ変換装置の動作について説明する。
【００５５】
図２は、領域抽出部１０１による物体の領域を抽出する処理から、領域図形近似部１０２による領域を図形で近似する処理、図形代表点抽出部１０３による図形の代表点を抽出する処理、代表点曲線近似部１０４による代表点を曲線で近似する処理までの一連の処理の概要をより具体的に説明するための図である。
【００５６】
図２では、領域図形近似部１０２として領域の楕円による近似方法を用い、図形代表点抽出部１０３として楕円の２つの焦点と楕円上の１点を抽出する方法を用い、代表点曲線近似部１０４としてスプライン関数による近似方法を用いた場合を例としている。
【００５７】
図２（ａ）において、２００は処理対象となっている映像中の１フレームを示している。
【００５８】
２０１は抽出対象となっている物体の領域を示している。この物体の領域２０１を抽出する処理は領域抽出部１０１において行われる。
【００５９】
２０２は物体の領域を楕円で近似したものである。物体領域２０１から楕円２０２を求める処理は領域図形近似部１０２において行われる。
【００６０】
ここで、図３に、物体の領域が平行四辺形で表される場合に、近似楕円を求める方法の一例を示す。図３における点Ａ，Ｂ，Ｃ，Ｄが物体の領域である平行四辺形の各頂点である。この場合、まず、辺ＡＢと辺ＢＣのどちらが長いかを計算する。そして、長い方の辺およびその対辺を辺の一部とする最小の長方形を求める。図３の例の場合は点Ａ，Ｂ’，Ｃ，Ｄ’を４頂点とする長方形となる。近似楕円は、例えば、この長方形に内接する楕円と相似で、かつ、点Ａ，Ｂ’，Ｃ，Ｄ’を通る外接楕円とする。
【００６１】
次に、図２（ｂ）において、２０３は楕円を表現する図形代表点であり、具体的には２つの焦点および１つの楕円上の点（図２（ｂ）の例では短軸上の１点）である。楕円の焦点は２つの軸上の点や楕円の外接矩形から簡単に求めることができる。以下、一例として、図４における長軸上の２点Ｐ０，Ｐ１および短軸上の１点Ｈから焦点ＦとＧを求める方法を説明する。
【００６２】
まず、長軸と短軸のパラメータであるａ，ｂと、楕円の中心Ｃと、扁平率ｅとを、
Ｅ（Ｐ０，Ｐ１）＝２×ａ、
Ｃ＝（Ｐ０＋Ｐ１）／２、
Ｅ（Ｃ、Ｈ）＝ｂ、
ｅ＝（１／ａ）×√（ａ×ａ−ｂ×ｂ）
により求める。
ここで、Ｅ（Ｐ、Ｑ）は点Ｐと点Ｑのユークリッド距離である。
【００６３】
このようにして求めたパラメータから、焦点ＦとＧは、
Ｆ＝Ｃ＋ｅ×（Ｐ０−Ｃ）、
Ｇ＝Ｃ−ｅ×（Ｐ０−Ｃ）
により求めることができる。
【００６４】
このようにして、楕円の代表点Ｆ、ＧおよびＨは決定されるが、これらの点を別のフレームにおいて取り出された楕円の代表点と結びつける際にはあいまいさが生じる。すなわち、抽出された２つの焦点と１つ前のフレームにおける２つの焦点とを結びつける組み合わせは２通り存在する。また、短軸と楕円との交点は２つあるため、１つ前のフレームにおいて抽出された楕円上の一点と対応する交点がどちらなのかがわからない。そこで、これらを決定する方法について説明する。
【００６５】
１フレーム前に抽出された２つの焦点をＦｐ、Ｇｐとする。Ｆｐに対応するのがＦであるのかＧであるのかを判断するために、
Ｅ（（Ｇｐ−Ｆｐ）／２，（Ｇ−Ｆ）／２）と
Ｅ（（Ｇｐ−Ｆｐ）／２，（Ｆ−Ｇ）／２）とを比較する。
前者の方が小さい場合には、ＦｐはＦに対応させ、ＧｐはＧに対応させる。一方、後者の方が小さい場合には、その逆に、ＦｐはＧに対応させ、ＧｐはＦに対応させる。
【００６６】
また、１つ前のフレームにおける短軸と楕円との交点をＨｐとし、現フレームの短軸と楕円との２つの交点をＨ、Ｈ’とする。Ｈｐと対応付ける点としてＨとＨ’のどちらを選択するかは２つの距離、
Ｅ（Ｈｐ−（Ｇｐ＋Ｆｐ）／２，Ｈ−（Ｆ＋Ｇ）／２）と
Ｅ（Ｈｐ−（Ｇｐ＋Ｆｐ）／２，Ｈ’−（Ｆ＋Ｇ）／２）とを算出することにより決定する。
前者が小さい場合にはＨを選択し、そうでない場合にはＨ’を選択する。なお、はじめのフレームにおける短軸と楕円との交点Ｈは２つのうちのどちらを選択してもよい。
【００６７】
このように楕円から代表点を抽出する処理は図形代表点抽出部１０３において行われる。
【００６８】
以上の処理によって取り出された代表点は、映像中の注目物体の移動や撮影カメラの移動により、連続するフレームにおいて位置が異なるのが普通である。そこで、対応する楕円の代表点を時系列に並べ、Ｘ座標、Ｙ座標ごとにスプライン関数により近似を行う。本実施形態では、楕円の代表点であるＦ、Ｇ、Ｈの３点（図４参照）それぞれについてＸ、Ｙ座標のスプライン関数が必要になるので、合計６つのスプライン関数が生成される。
【００６９】
以上のスプライン関数による曲線近似は代表点曲線近似部１０４において行われる。
【００７０】
なお、代表点曲線近似部１０４による処理は、当該物体の領域に関する各フレームの代表点の座標値が得られる毎に行う方法（例えば各フレームの代表点の座標値が得られる毎に近似を行うとともに近似誤差を求め、近似誤差が一定の範囲に収まるように近似区間を適宜分割する方法）や、当該物体の領域に関する全てのフレームの代表点の座標値が得られた後に行う方法などがある。
【００７１】
図２（ｃ）の２０４は近似されたスプライン関数を３次元的に表現したものである。図２（ｄ）の２０５は代表点曲線近似部１０４の出力であるスプライン関数の一例である（１つの代表点の１つの座標軸についてのみ示している）。この例は、近似区間がｔ＝０〜５とｔ＝５〜１６の２つに分割された場合（節点が３つとなった場合）を示している。
【００７２】
このようにして得られたスプライン関数は予め定めておいたデータ形式に従って領域データ記憶部１０６に記録される。
【００７３】
以上のように本実施形態では、映像中の物体の領域を、その近似図形の代表点の時系列的な軌跡（フレーム番号あるいはタイムスタンプを変数とする代表点の座標の軌跡）を近似した曲線のパラメータとして記述することができる。
【００７４】
本実施形態によれば、映像中の物体の領域を関数のパラメータのみによって表現できるため、データ量が少なく、ハンドリングの容易な物体領域データを生成することができる。また、近似図形からの代表点の抽出や、近似曲線のパラメータの生成も容易に行うことができる。また、近似曲線のパラメータから近似図形を生成することも容易に行うことができる。
【００７５】
また、この近似図形として基本的な図形、例えば一つまたは複数の楕円を用い、例えば楕円を二つの焦点と他の１点により代表させれば、ユーザにより指定された任意の座標が物体の領域（近似図形）内か否か（物体の領域を指示しているか否か）を簡単な判定式により判定することができる。さらに、これによって、ユーザによる映像中の動く物体の指示をより容易にすることができる。
【００７６】
以下では、領域データ記憶部１０６に格納される物体領域データのデータ形式について説明する。なお、ここでは、代表点をスプライン関数により近似する場合を例にとって説明するが、もちろん、代表点を他の関数により近似する場合も同様である。
【００７７】
図５に、映像中の物体の領域を表すスプライン関数と、物体に関連付けられた関連情報とを記録するための物体領域データのデータ形式の一例を示す。
【００７８】
ＩＤ番号４００は、物体ごとに付与される識別番号である。なお、このデータは省略されてもよい。
【００７９】
先頭フレーム番号４０１と最終フレーム番号４０２は、当該ＩＤ番号の物体の存在を定義する最初と最後のフレーム番号であり、具体的には、映像中で物体が登場し消えるまでのフレーム番号である。ただし、現実に映像中で物体が登場し消えるまでのフレーム番号ではなく、例えば映像中で物体が登場したときより後の任意のフレーム番号を先頭フレーム番号としてもよいし、また先頭フレーム番号以降でかつ映像中で物体が消えたときより前の任意のフレーム番号を最終フレーム番号としてもよい。なお、先頭／最終フレーム番号は先頭／最終タイムスタンプで代用することもできる。また、最終フレーム番号４０２は、物体存在フレーム数または物体存在時間に置き換えてもよい。
【００８０】
関連情報へのポインタ（以下、関連情報ポインタとも言う）４０３は、当該ＩＤ番号の物体に関連付けられた関連情報データの記録してあるデータ領域のアドレスなどである。関連情報へのポインタ４０３を使うことにより、物体に関する関連情報を検索したり表示したりすることが容易にできる。また、関連情報へのポインタ４０３はプログラムや計算機の動作を記述したデータへのポインタであってもよい。この場合には、当該物体がユーザにより指定されると、計算機が所望の動作を行うことになる。
【００８１】
なお、関連情報へのポインタ４０３は、例えば、物体により異なる動作をさせる必要のない場合には、省略することができる。
【００８２】
なお、以下の説明では、物体領域データ内に関連情報へのポインタを記述する場合について説明するが、物体領域データ内に関連情報そのものを記述するようにしてもよい。また、物体領域データ内に関連情報へのポインタと関連情報そのものを任意に記述可能としてもよい。この場合には、物体領域データ内に記述されているのが関連情報へのポインタか関連情報そのものかを示すフラグを付加すればよい。
【００８３】
近似図形数４０４は、物体の領域を近似している図形の数である。図２の例においては、一つの楕円で物体領域を近似しているので、図形の数は１となる。
【００８４】
近似図形データ４０５は、近似図形を表現するための図形代表点の軌跡データ（例えばスプライン関数のパラメータ等）である。
なお、近似図形データ４０５は、近似図形数４０４に相当する数だけ存在する（近似図形数４０４が２以上の場合については後述する）。
また、物体領域データにおいて、近似図形数４０４は常に１つとし（従って近似図形データ４０５も常に１つとなる）、近似図形数４０４のフィールドを省くようにしてもよい。
【００８５】
次に、図６に、近似図形データ（４０５）のデータ構造の一例を示す。
【００８６】
図形種ＩＤ１３００は、近似図形としてどのような図形を用いているかを示すためのデータであり、円、楕円、矩形、多角形などを特定する。
【００８７】
代表点数１３０１は、図形種ＩＤで特定される図形を代表する点の数を幾つ必要とするかを表す。
【００８８】
１組の代表点軌跡データ１３０２，１３０３は、図形の代表点の軌跡を表現するスプライン関数に関するデータ領域である。一つの図形代表点につき、Ｘ座標、Ｙ座標のスプライン関数データが必要になる。従って、スプライン関数を特定する代表点軌跡データは、代表点数（Ｍ）×２だけ存在する。
【００８９】
なお、使用する近似図形の種類を予め１種類、例えば楕円、に限定することも可能である。この場合には、図６の図形種ＩＤのフィールドを省くことも可能である。
【００９０】
また、図形種ＩＤによって代表点数が一意に特定される場合には、代表点数を省くことも可能である。
【００９１】
次に、図７に、代表点軌跡データ（１３０２，１３０３）のデータ構造の一例を示す。
【００９２】
接点フレーム番号１４００は、スプライン関数の節点を表しており、この節点まで多項式のデータ１４０３が有効であることを示している。多項式の係数データの数は、スプライン関数の最高次数により変化する（最高次数をＫとすると、係数データの数はＫ＋１となる）。そのため、多項式次数１４０１を参照する。多項式次数１４０１の後には、多項式次数＋１個に相当する数の多項式係数１４０２が続く。
【００９３】
また、スプライン関数は節点間で別の多項式で表現されるため、接点の数に対応した数の多項式が必要になる。従って、節点フレーム番号、多項式の係数などを含むデータ１４０３は、複数繰り返し記述される。節点フレーム番号が最終フレームと等しくなった場合には、それが最後の多項式係数データであることを意味しているので、代表点軌跡データが終わることがわかる。
【００９４】
ここで、近似図形として楕円以外の図形を用いた場合について説明する。
【００９５】
図８は、近似図形として平行四辺形を用いた場合の代表点を説明するための図である。点Ａ，Ｂ，Ｃ，Ｄが平行四辺形の頂点である。これらのうち３点が決まれば残りの１点も一意に決まるため、代表点としては４頂点のうちの３頂点とすれば十分である。この例では、Ａ，Ｂ，Ｃの３点を代表点としている。
【００９６】
また、図９は、近似図形として多角形を用いた場合の代表点を説明するための図である。多角形の場合には、頂点の順序を外周に沿った順にしておく。図９の例では、１０個の頂点を持つ多角形なので、Ｎ１〜Ｎ１０までの全ての頂点を代表点とする。なお、この場合に、内角が１８０度未満の頂点のみを代表点とするなどして、頂点数を削減するようにしてもよい。
【００９７】
ところで、前述したように、これまで説明してきた処理は、計算機上でソフトウェアにより行うこともできる。図１０は本実施形態の情報処理装置の処理の流れの一例を表したフローチャートであり、本実施形態の情報処理装置をソフトウェアにより実現する場合には例えば図１０のフローチャートに従ったプログラムを作成すればよい。
【００９８】
ステップＳ１１では、映像データから１フレーム分の映像を取り出す。
【００９９】
ステップＳ１２では、映像中の特定の物体の領域を抽出する。抽出手法は領域抽出部１０１と同様の手法を用いることができる。
【０１００】
ステップＳ１３では、ステップＳ１２の処理結果である領域情報に対して、近似図形による当てはめを行う。これも領域の図形近似部１０２と同様の手法を用いることができる。
【０１０１】
ステップＳ１４では、ステップＳ１３で近似された図形の代表点を抽出する。
【０１０２】
ステップＳ１５では、連続するフレームにおける近似図形の代表点列の位置の曲線近似を行う。
【０１０３】
ステップＳ１６は分岐処理で、今処理した画像が最後のフレームか、または処理したフレームにおいて抽出対象の物体が画像中から消失してしまった（もしくは消失したとみなす）場合にはステップＳ１７を、いずれでもない場合にはステップＳ１１の処理へと分岐する。
【０１０４】
ステップＳ１７では、ステップＳ１５で計算された近似曲線を所定のフォーマットに従って物体領域データとして記録媒体に記録する。
【０１０５】
さて、これまでは一つの物体に対して一つの図形を割り当てて、物体の領域を大まかに表す例を中心に説明をしてきたが、一つの物体の領域を複数の図形により近似し、近似精度を向上させることも可能である。図１１は、一つの物体を複数の図形で近似した例である。この例では画像中の人の領域を６００から６０５までの６つの楕円により表している。
【０１０６】
一つの物体を図１１のように複数の図形で表す場合には、物体を複数の領域に分割する処理が必要となる。この処理にはどのような方法が用いられていても良いが、例えば人手で直接入力する方法がある。この場合、例えば、マウス等のポインティングデバイスを用いて、画像上で領域を矩形や楕円で囲む、あるいはポインティングデバイスの軌跡により領域を指定する、などの操作で実現することができる。また、人手ではなく自動で行う場合には、例えば、物体の動きのクラスタリングで実現する方法がある。これは、連続するフレーム間で物体中の各領域がどのような動きをしたかを相関法（例えば画像解析ハンドブック、第ＩＩ部第３章、東京大学出版会、１９９１を参照）や勾配法（例えば、Ｄｅｔｅｒｍｉｎｉｎｇ  ｏｐｔｉｃａｌ  ｆｌｏｗ，Ｂ．Ｋ．Ｐ．Ｈｏｒｎ  ａｎｄ  Ｂ．Ｇ．Ｓｃｈｕｎｃｋ，Ａｒｔｉｆｉｃｉａｌ  Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．１７，ｐｐ．１８５−２０３，１９８１を参照）などにより求め、これらの動きの似ているものだけをまとめて領域を形成する方法である。
【０１０７】
このようにして分割された各領域に対しては、それぞれについて図１の構成例や図１０の手順例により説明される処理を施すことにより、近似図形データを生成することが可能である。この場合、一つの物体の物体領域データに記述すべきスプライン関数が近似図形の増加に応じて増えることになるため、図１２で表されるように近似図形データ４０５を、近似図形数４０４に相当する数（この場合、複数）だけ含むデータ構造となる。
【０１０８】
なお、前述したように物体領域データにおいて近似図形数を常に１つとし（従って近似図形データも常に１つとなる）、近似図形数のフィールドを省くようにする場合において、一つの物体を複数の図形で表すためには、一つの物体を近似する各図形ごとに、物体領域データを生成すればよい（それらは同じＩＤ番号を有することになる）。
【０１０９】
なお、本実施形態では、一つの物体を複数の図形で表す場合に、同一の図形を用いるものとしているが、複数種類の図形を混在して使用可能としてもよい。
【０１１０】
次に、本実施形態の利用方法のバリエーションについて説明する。映像中の物体としては、通常、人や動物、建物や植物などが考えられるが、映像中のどのようなものに対しても本実施形態の処理を行うことができる。例えば、テロップを映像中の物体として扱うことができるので、以下では物体のバリエーションとしてテロップを対象とした場合の処理について説明する。
【０１１１】
テロップとは映像中に付帯される文字情報を指す。米国ではクローズドキャプションと呼ばれる文字情報を付帯させることが義務付けられており、日本の放送においてもテロップを多用する傾向にある。表示されるテロップには、静止しているものもあれば、画面下から上へスクロールするもの、画面右から左へスクロールするものなど何らかの動きを伴うものもある。テロップの表示領域を図形近似し、テロップ文字列を関連情報として記憶しておくことにより、映像の内容を簡単に把握したり、所望の映像を検索することが容易に実現できる。
【０１１２】
領域抽出部１０１の処理では、人手によりテロップ領域を指定する方法、堀「テロップ認識のための映像からの文字部抽出法」（情報処理学会技術報告９９−ＣＶＩＭ−１１４，ｐｐ．１２９−１３６，１９９９）に記されているような文字の輝度値およびエッジ情報を用いて文字列抽出法を行う方法、片山他「ニュース映像のテロップ文字認識に基づく記事分類の精度向上」（画像の認識・理解シンポジウム（ＭＩＲＵ’９８）講演論文集、Ｖｏｌ．Ｉ，ｐｐ．１０５−１１０）に記されているようなエッジの強さを調べて背景とテロップを分離する方法などを用いて、テロップ領域の抽出を行う。得られたテロップ領域からは、各文字あるいは各文字列を切り出すこともできる。また、連続したフレームでテロップ領域内のエッジ情報を比較し、テロップの出現フレームおよび消滅フレームを検出する。
【０１１３】
領域図形近似部１０２の処理では、領域抽出部１０１で抽出されたテロップ領域を矩形で近似する。テロップが出現したフレームの番号を物体領域データの先頭フレーム番号（図４もしくは図１２の４０１）に、消滅したフレームを最終フレーム番号（４０２）に格納する。関連情報へのポインタ（４０３）にはテロップの文字列情報へのポインタを格納し、近似図形データ（４０５）としてテロップを囲む矩形領域情報を保持する。複数行のテロップの各行を別々の領域とする場合や各文字を別々の領域とする場合には、行数または文字数を近似図形数（４０４）に格納し、それぞれの行あるいは文字を囲む矩形領域データすなわち近似図形データ（４０５）を該当数だけ格納する。
【０１１４】
図形代表点抽出部１０３および代表点曲線近似部１０４での処理は、テロップに特化したものはなく、前述の通りである。
【０１１５】
関連情報記憶部１０５には、登場するテロップの文字列情報を保存しておき、その情報へのポインタをテロップ領域データ（物体領域データ）が保持する。
【０１１６】
以上により、キーワードを入力し、それに合致あるいは関連する文字列がテロップの文字列情報の中にあれば、その文字列が出現するフレームや時刻を容易に知ることができ、ニュース番組であれば、興味のある記事を検索し、その部分だけを鑑賞することも可能となる。
【０１１７】
なお、この場合には、テロップの文字列情報に、そのフレームや時刻に対応する物体領域データへのポインタを付加するようにすれば、検索をより容易にすることができる。
【０１１８】
以上、テロップを対象とした場合の処理について説明したが、本実施形態の利用方法やどのようなものを対象物体とするかについては、他にも様々なバリエーションが考えられる。
【０１１９】
さて、図２の例では、楕円による近似方法を一例として説明を行ったが、以下では、近似方法の他の例として、矩形による近似方法について説明する。
【０１２０】
図１３は、図２と同じ形式の図であるが、ここでは、領域図形近似部１０２として領域の矩形による近似方法を用い、図形代表抽出部１０３として矩形の４つの頂点を抽出する方法を用い、代表点曲線近似部１０４としてスプライン関数による近似方法を用いた場合を例としている。
【０１２１】
図１３（ａ）において、２８００は処理対象となっている映像中の１フレームを示している。
【０１２２】
２８０１は抽出対象となっている物体の領域を示している。この物体の領域２８０１を抽出する処理は領域抽出部１０１において行われる。
【０１２３】
２８０２は物体の領域を矩形で近似したものである。物体領域２８０１から矩形２８０２を求める処理は領域図形近似部１０２において行われる。
【０１２４】
ここで、例えば図１３（ａ）において矩形２８０２を求める場合の処理手順の一例を図１４に示す。すなわち、フレーム２８００のマスク画像を例えばラスタースキャンし（ステップＳ６０）、対象画素が物体領域内であるときに（ステップＳ６１）、Ｘ座標とＹ座標のそれぞれについて、それまで保存されている最小値より小さい場合には最小値を更新し、それまで保存されている最大値より大きい場合には最大値を更新する（ステップＳ６２）ことを、全ての画素について繰り返しチェックすることによって、Ｘ座標とＹ座標のそれぞれについて物体領域を示す画素位置の最小値および最大値を求めれば、矩形２８０２の４つの頂点座標を得ることができる。
【０１２５】
このような方法は処理が簡易な点で優れているが、例えば図１５のように細長い物体３００１が画面３０００に対して斜めの姿勢で存在しているときには、近似矩形３００２内には非物体領域が特に多く含まれてしまう。また、細長い物体物体が回転すると矩形２８０２の大きさ、形状が変化する。これらは、物体指定する際の弊害となる場合がある。
【０１２６】
そこで、矩形の大きさができるだけ小さくなり（近似矩形内の非物体領域ができるだけ少なくなり）、対象物体の姿勢も反映させることのできる近似方法の一例を示す。
【０１２７】
図１６（ａ）において、３１００は処理対象となっている映像中の１フレームを示している。
【０１２８】
３１０１は抽出対象となっている物体の領域を示している。この物体の領域３１０１を抽出する処理は領域抽出部１０１において行われる。
【０１２９】
３１０２は物体の領域を矩形で近似したものである。この近似矩形は図１３（ａ）の矩形２８０２とは異なり、傾きを持っている。矩形内の非物体領域も少なく、対象が回転してもその形状は一定である。物体領域３１０１から矩形３１０２を求める処理は領域図形近似部３１０２において行われる。
【０１３０】
図１７に、この場合の処理手順の一例を示す。この処理手順例は、対象物体領域の慣性主軸を求め、これに基づいて近似図形を求めるようにしたものである。
【０１３１】
図１６（ｂ）において、３１０３は、対象物体領域の重心を示している。
【０１３２】
３１０４は、対象物体領域の慣性主軸を示している。３１０５は、３１０４に垂直な直線である。
【０１３３】
まず、対象物体領域の慣性モーメントｍ20、ｍ02、ｍ11を求める（ステップＳ７０〜Ｓ７２）。
【０１３４】
マスク画像をｆ(ｘ，ｙ)とすると、ｆ(ｘ，ｙ)は領域内では１で、領域外では０である。対象領域の慣性モーメントは、
ｍij＝ΣΣｘi ｙj ｆ(ｘ，ｙ)
で表せる。
【０１３５】
ここで、原点を通る直線ｙ＝ｘ tanθについてのｆ(ｘ，ｙ)の慣性モーメントは、
ｍθ＝∬(ｘ sinθ−ｙ cosθ)2 ｆ(ｘ，ｙ)dxdy
で得られる。
θを変化させたときにｍθを最小にする角度をθ0 とする。一通りの角度しかないとき、直線ｙ＝ｘ tanθ0 を慣性主軸と呼ぶ。
tanθ0 は、２次方程式、
ｔａｎ2 θ＋｛（ｍ20−ｍ02）／ｍ11｝ｔａｎθ−１＝０
の解として求まる。
これにより重心３１０３の周りでtanθ0 を求めると、対象物体の慣性主軸が得られる（ステップＳ７３）。
【０１３６】
次に、慣性主軸に平行で物体領域に外接する直線と、慣性主軸に垂直で物体領域に外接する直線を求める（ステップＳ７４）。
図１６（ｂ）において、直線３１０６，３１０７は、慣性主軸３１０４に並行な直線であり、対象物体領域に外接する。
直線３１０８，３１０９は、直線３１０５に平行な直線であり、対象物体領域に外接する。
矩形３１０２は、直線３１０６，３１０７，３１０８，３１０９によって形成される（ステップＳ７５）。
【０１３７】
なお、対象物体が円の場合には慣性主軸が求まらないが、このような場合には例えば図１４で説明した手順で近似矩形を求めればよい。
【０１３８】
ところで、矩形より楕円で物体領域を表現する方が適当な場合もある。図１８に、物体の領域が矩形で表される場合に、その矩形から近似楕円を求める方法の一例を示す。図１９に、この場合の処理手順の一例を示す。
【０１３９】
図１８において、対象物体領域３３００と外接矩形３３０１が得られているものとする。
【０１４０】
まず、近似矩形の内接楕円および外接楕円を求める（ステップＳ８０）。
【０１４１】
図１８において、楕円３３０２は矩形３３０１の内接楕円であり、楕円３３０３は矩形３３０１の外接楕円である。
【０１４２】
次に、内接楕円３３０２の大きさを少しずつ外接楕円３３０３に近づけていき（ステップＳ８１）、物体領域を全て包含する楕円３３０４を求め（ステップＳ８２）、近似楕円とする。なお、繰り返し処理において、一回に内接楕円３３０２の大きさを拡大する単位は、予め定めておいてもよいし、内接楕円３３０２の大きさと外接楕円３３０３の大きさの差分に応じて決定してもよい。
【０１４３】
また、上記とは逆に、外接楕円３３０３の大きさを内接楕円３３０２に近づけていってもよい。この場合には、外接楕円３３０３は最初から物体領域を全て包含しているので、例えば、繰り返し処理において、始めて物体領域に包含されない部分を生じた楕円の、一回前における楕円を、近似楕円とすればよい。
【０１４４】
次に、図形代表点抽出部１０３では、近似矩形や近似楕円の代表点を求める。矩形の代表点は４つもしくは３つの頂点を代表点とすることができ、楕円の場合は楕円の外接矩形の頂点としたり、２つの焦点と楕円上の一点としたりすることができる。
【０１４５】
次に、代表点曲線近似部１０４では、時系列的に得られている代表点の軌跡をスプライン関数などで近似する。このとき、時系列同士の対応付けが重要である。例えば、近似図形が矩形で代表点を頂点とする場合には、隣接するフレーム間で頂点同士の対応付けを行う必要がある。
【０１４６】
図２０に、対応付け方法の一例を示す。また、図２１に、対応付け処理の手順の一例を示す。
【０１４７】
図２０において、３５００は近似矩形の重心である。前のフレームにおける矩形３５０１と現在のフレームにおける矩形３５０２が得られている。矩形３５０１と３５０２のいずれかを平行移動させ、重心位置を一致させる（重心位置を一致させた状態が図２０である）。次に、それぞれの矩形の頂点同士の距離ｄ１〜ｄ４を計算し、全ての頂点の組み合わせで距離の和を求める（ステップＳ９０，Ｓ９１）。距離の和が最小となる組み合わせを求め、対応付けする（ステップＳ９２）。
【０１４８】
近似図形から代表点を得る際に、一定の規則で代表点を取得しておくと、組み合わせの数を削減することが可能である。例えば、矩形では時計周りに頂点座標を代表点として保存するようにすると、対応付けの組み合わせは４通りで済む。
【０１４９】
なお、この方法では対応付けが難しい場合がある。例えば、近似矩形が隣接フレームにおいて正方形に近い形状であり且つ４５度回転移動している場合には、対応付けが難しい（２通りの組み合わせにおいて距離の和が同じような値になる）。そこで、このような場合には、例えば、近似矩形内の物体領域同士の排他的論理和を取り、その面積が最小となる組み合わせを採用する方法、あるいは物体領域のテクスチャの絶対差分を求め、差分値が最小となる組み合わせを求める方法などを用いればよい。
【０１５０】
続いて、以下では、本発明を適用して物体領域の軌跡を記述する際に、図６、図７で例示した近似データ構造とは別の構造を用いる例について説明する。
【０１５１】
図２２は、近似図形データおよび物体領域の代表点軌跡データの記述フォーマットの他の例である。なお、図２２では、代表点軌跡データの部分については、１つの代表点についてのみ示してある（実際には、代表点の個数に対応して記述される）。
【０１５２】
ここでは、多項式の最高次数を２次として説明する。
【０１５３】
前述した例（図５、図６、図７）では、多項式スプライン関数の全ての係数を記述していたのに対して、ここでの記述方法では、スプライン関数の節点の座標と、スプライン関数の２次の係数に関連する値との組み合わせにより記述する。この記述方法の利点は、節点が容易に取り出せるため、大まかな物体の軌跡が簡単にわかるという点である。
【０１５４】
以下、この記述方法について詳細に説明する。
【０１５５】
図２２中、図形種ＩＤ（３９００）は、物体の形の近似に用いた図形の種類を特定する。例えば、物体の重心のみ（ＣＥＮＴＲＯＩＤ）、矩形（ＲＥＣＴＡＮＧＬＥ）、楕円（ＥＬＬＩＰＳＥ）や、それらの組み合わせを指定できる。図２３は、図形の種類と図形種ＩＤの割り当て例である。また、代表点数３９０１は、図形の種類によって定まる代表点軌跡の数を表す。
【０１５６】
節点数（Ｎ）３９０２は、代表点軌跡を表すスプライン関数の節点の数を表す。各節点に対応するフレームは、時間として表され、節点時刻３９０３に格納される。節点時刻は、設定数だけあるため、配列として記述しておく（３９０４）。
【０１５７】
同様に、各節点のｘ座標、ｙ座標もそれぞれ節点Ｘ（３９０５）および節点Ｙ（３９０７）の配列（３９０６，３９０８）として記述される。
【０１５８】
一次関数フラグ３９０９は、節点間のスプライン関数として一次関数だけが用いられているかどうかを表す。一部分でも２以上の多項式を用いる場合には、このフラグはオフにしておく。このフラグを用いることにより、近似関数として一次関数のみに使われる場合に以下で説明する関数特定情報３９１０を１つも記述しなくて済むため、データ量を削減できるというメリットがある。なお、必ずしもこのフラグは必要ではない。
【０１５９】
関数特定情報に含まれる関数ＩＤ（３９１１）、関数パラメータ（３９１２）はそれぞれ多項式スプライン関数の次数と、その係数を特定するための情報を表す。図２４に、それらの一例を示す。ここで、ｔａ，ｔｂは連続する節点の時刻、ｆ(ｔ)は［ｔａ，ｔｂ］の区間のスプライン関数、ｆａ，ｆｂは時刻ｔａ，ｔｂにおける節点の座標を表している。１次多項式を用いるときは節点のみの情報で十分なので、関数パラメータは記述されていないが、２次多項式の場合には係数を特定するための情報として一つの値が関数パラメータに記述される。なお、図２４の例では、２次の係数が用いられているが、例えば、二次曲線上のｆａ，ｆｂ以外の１点など、他の値を用いることもできる。
【０１６０】
本記述方法では、節点の情報と関数パラメータの情報により、図２４の制約条件を用いて全ての区間におけるスプライン関数が再現できる。
【０１６１】
関数特定情報は、（節点数−１）に相当する個数のものが存在し、これらは配列となって記述される（３９１３）。
【０１６２】
なお、上記では、多項式の最高次数を２次として説明したが、もちろん、多項式の最高次数を３次以上とすることも可能である。
【０１６３】
続いて、以下では、関連情報のバリエーションを示す。
【０１６４】
図２５は、主として監視映像に用いられる関連情報のデータ構造の一例を示す。実際のデータはこれらの項目のうち、少なくとも一つを含めればよい。
オブジェクト種４２０１は、“車両”や“人”など、近似されている物体の種類を示すデータである。
識別情報４２０２は、“人名”や“車両のナンバー”、“車種”など、実際の物体を識別するためのデータである。
動作内容４２０３は、“歩く”や“走る”などの物体の動作を示すデータである。
【０１６５】
図２６は、主として商用コンテンツやハイパーメディア・コンテンツなどに用いられる関連情報のデータ構造の一例を示す。実際のデータはこれらの項目のうち、少なくとも一つを含めればよい。
名前４３０１は、物体の名前を示すデータである。物体が映画などに登場する人物である場合は、役者や俳優の名前を特定する。
著作権情報４３０２は、物体の著作権者などの著作権に関わる情報を示すデータである。
コピー許可情報４３０３は、物体を近似する図形に含まれる範囲の映像情報を切り出して再利用することを許可するか否かを示すデータである。
フットマーク４３０４は、物体が最後に編集された日時を示すデータである。
関連情報のＵＲＬ４３０５は、ハイパーリンクを用いて、物体の関連情報を表示するときに参照すべきデータをＵＲＬによって表現したものである。
アクセス制限情報４３０６は、物体ごとに視聴やハイパーリンクによるジャンプの許可／不許可の情報や許可条件を設定するためのデータである。
課金情報４３０７は、物体ごとの課金情報を示すデータである。
注釈データ４３０８は、物体の関連情報や操作の手助けとなるデータである。
【０１６６】
なお、図２５や図２６の関連情報は、物体領域データ内に記述すると好ましい。
【０１６７】
次に、映像データや物体領域データの提供方法について説明する。
【０１６８】
本実施形態の処理により作成された物体領域データがユーザの用に供される場合には、作成者側からユーザ側に何らかの方法で物体領域データを提供する必要がある。この提供の方法としても以下に例示するように種々の形態が考えられる。
（１）映像データとその物体領域データとその関連情報とを１つ（または複数の）記録媒体に記録して同時に提供する形態
（２）映像データとその物体領域データとを１つ（または複数の）記録媒体に記録して同時に提供するが、関連情報は別途提供するかもしくは提供しない（後者は例えば提供しなくてもユーザがネットワーク経由等で別途取得できる場合）形態
（３）映像データを単独で提供し、別途、物体領域データと関連情報とを１つ（または複数の）記録媒体に記録して同時に提供する形態
（４）映像データ、物体領域データ、関連情報を別々に提供する形態
上記は主に記録媒体により提供する場合であるが、その他にも、一部または全部を通信媒体で提供する形態も考えられる。
【０１６９】
（第２の実施形態）
第１の実施形態では映像中の物体の領域を近似する図形の代表点を抽出し、物体領域データへの変換を行ったが、第２の実施形態は、映像中の物体領域中の特徴点を抽出し、物体領域データへ変換するようにしたものである。
【０１７０】
本実施形態では、第１の実施形態と相違する点を中心に説明する。
【０１７１】
図２７に、本実施形態に係る物体領域データ変換装置の構成例を示す。図２７に示されるように、本物体領域データ変換装置は、映像データ記憶部２３１、特徴点抽出部２３３、特徴点の曲線近似部２３４、関連情報記憶部２３５、領域データ記憶部２３６を備えている。
【０１７２】
図２７において、映像データ記憶部２３０は第１の実施形態の映像データ記憶部１００と、関連情報記憶部２３５の第１の実施形態の関連情報記憶部１０５と、領域データ記憶部２３６は第１の実施形態の領域データ記憶部１０６とそれぞれ同じ機能を持つものである。
【０１７３】
特徴点抽出部２３３は、映像中の物体領域から特徴的な点を１つ以上取り出す。特徴点としては、種々のものが考えられるが、例えば、物体の角（例えば、Ｇｒａｙ−ｌｅｖｅｌ  ｃｏｒｎｅｒ  ｄｅｔｅｃｔｉｏｎ，Ｌ．Ｋｉｔｃｈｅｎａｎｄ  Ａ．Ｒｏｓｅｎｆｅｌｄ，Ｐａｔｔｅｒｎ  ＲｅｃｏｇｎｉｔｉｏｎＬｅｔｔｅｒｓ，Ｎｏ．１，ｐｐ．９５−１０２，１９８２による方法など）、物体の重心などが考えられる。
【０１７４】
特徴点の曲線近似部（以下、特徴点曲線近似部）２３４は、基本的には第１の実施形態における代表点曲線近似部１０４と同様の機能を持つ。すなわち、特徴点抽出部２３３で抽出された特徴点の位置を時系列で曲線に近似する。この近似曲線は、Ｘ座標、Ｙ座標ごとにフレーム番号ｆもしくは映像に付与されているタイムスタンプｔの関数として表現され、直線近似やスプライン曲線による近似などで曲線に近似される。近似後のデータの記録方法は第１の実施形態と同様である。
【０１７５】
また、本実施形態における物体領域データは基本的には第１の実施形態の物体領域データ（図５）と同様である。ただし、近似図形数のフィールドは不要である。また、「近似図形データ」が「特徴点データ」となる。
【０１７６】
物体領域データの中の特徴点データも基本的には第１の実施形態の近似図形データ（図６）と同様である。ただし、「代表点数」が「特徴点数」となり、「代表点軌跡データ」が「特徴点軌跡データ」となる。また、図形種ＩＤは不要である。
【０１７７】
特徴点データの中の特徴点軌跡データは第１の実施形態の代表点軌跡データ（図７）と同様である。
【０１７８】
図２８に本実施形態の物体領域データ変換装置の処理の流れの一例を表したフローチャートを示す。全体的な流れとしては第１の実施形態と同様で、図１０のステップＳ１２〜Ｓ１４の部分を特徴点の抽出とし、ステップＳ１５の部分の代表点を特徴点としたものである。
【０１７９】
もちろん、本実施形態もソフトウェアによっても実現可能である。
【０１８０】
以上のように本実施形態では、映像中の物体の領域を、その特徴点の時系列的な軌跡（フレーム番号あるいはタイムスタンプを変数とする特徴点の座標の軌跡）を近似した曲線のパラメータとして記述することができる。
【０１８１】
本実施形態によれば、映像中の物体の領域を関数のパラメータのみによって表現できるため、データ量が少なく、ハンドリングの容易な物体領域データを生成することができる。また、特徴点の抽出や、近似曲線のパラメータの生成も容易に行うことができる。
【０１８２】
また、本実施形態によれば、ユーザにより指定された任意の座標が物体の領域を指示しているか否かを極めて簡単に判定することができる。さらに、これによって、ユーザによる映像中の動く物体の指示をより容易にすることができる。
【０１８３】
ところで、第１の実施形態の物体の領域の近似図形の代表点をもとにした物体領域データと、第２の実施形態の物体の領域の特徴点をもとにした物体領域データとを混在して使用可能とすることもできる。
この場合には、例えば、物体領域データのフォーマットとしては第１の実施形態のものに、物体の領域の近似図形の代表点をもとにしたものかあるいは物体の領域の特徴点をもとにしたものかを識別するフラグを設ければよい。あるいは、第１の実施形態の物体領域データのフォーマットにおいて、該フラグを設けるのではなく、例えば、図形種ＩＤが特定の値のときに、物体の領域の特徴点をもとにしたものであることを示すものとし、それ以外のときに、物体の領域の近似図形の代表点をもとにしたものであることを示すものとしてもよい。
【０１８４】
さて、これまでは、物体領域データの構造とそれを作成する側について説明してきたが、以下では、このような物体領域データを利用する側について説明する。
【０１８５】
（第３の実施形態）
第３の実施形態では、映像中の物体に関連情報を含む物体領域データが付与されている場合に、ユーザが（主にＧＵＩ画面上で）物体を指示することにより、関連情報を呈示（文字、静止画、動画等の表示、音声の出力等）させ、あるいは関連するプログラムを実行させるような場合について説明する。
【０１８６】
図２９に、本実施形態に係る情報処理装置の構成例を示す。図２９に示されるように、本情報処理装置は、映像データ表示部３０１、制御部３０２、関連情報呈示部３０３、指示入力部３０４を備えている。
【０１８７】
映像データ表示部３０１は、図示しない記録媒体等から入力した映像データを液晶表示装置もしくはＣＲＴ等に表示するためのものである。
【０１８８】
指示入力部３０４は、ユーザがマウス等のポインティングデバイスもしくはキーボードなどを用いて、液晶表示装置もしくはＣＲＴ等に表示された映像中の物体を指示するなどの操作を行うことを可能とし、そのユーザからの入力を受け付けるためのものである。
【０１８９】
制御部３０２は、詳しくは後述するが、例えばユーザが画面上で指示した座標と図示しない記録媒体等から入力した物体領域データとに基づいてユーザが映像中の物体を指示したか否か判定するとともに、ユーザが映像中のある物体を指示したと判定された場合に、物体領域データの関連情報へのポインタを参照し、その物体の関連情報を取得させ、これを呈示させる制御等を行うためのものである。
【０１９０】
関連情報呈示部３０３は、制御部３０２からの指示に応じて、関連情報を（記録媒体やネットワークを介したサーバ等から）取得し、呈示するためのものである。
【０１９１】
なお、関連情報へのポインタがプログラムや計算機の動作を記述したデータへのポインタである場合には、当該計算機が所望の動作を行うことになる。
【０１９２】
もちろん、本実施形態もソフトウェアによっても実現可能である。
【０１９３】
次に、第１の実施形態のように物体の領域が近似図形として表現されている場合に対応する処理手順について説明する。
【０１９４】
図３０に、本処理手順の一例を示す。ただし、図３０のフローチャートでは、映像の再生中に表示されている映像内をマウスカーソル等のポインティングデバイスを用いて指示された際の処理についてのみ示している（基本的には制御部３０２の処理に相当するものである）。
【０１９５】
ステップＳ３１では、ポインティングデバイス等により指示された画面上の座標が、映像中の画像のどこに相当するかを計算する。さらに、指示された瞬間に再生を行っていた映像のフレーム番号を取得する。なお、フレーム番号ではなく、タイムスタンプを用いてもよい（以下では、フレーム番号として説明する）。
【０１９６】
ステップＳ３２では、映像に付随している映像中の物体の物体領域データから、物体が指示されたフレーム番号において映像中に存在している物体のみを選択する。これは、物体領域データにおける先頭フレーム番号および末尾フレーム番号を参照することにより容易に実行できる。
【０１９７】
次に、ステップＳ３３では、物体領域データから取り出したスプライン関数データ（図６、図７参照）を用いて、物体が指示された際の映像表示フレーム番号における近似図形の代表点の座標を算出する。これにより、例えば第１の実施形態の例（図２／図４）においては楕円の二つの焦点ＦとＧおよび楕円上の点Ｈが求まる。
【０１９８】
ステップＳ３４では、上記で求められた代表点と物体領域データの図形種ＩＤに応じて定まる判定手順に基づいて、ポインティングデバイス等により指示された座標が、物体（すなわち、近似図形）の内部か否かを判定する。
【０１９９】
第１の実施形態で説明したように楕円を２つの焦点と１つの楕円上の点により代表させている場合には簡単に判定ができる。
【０２００】
例えば、第１の実施形態と同様に、Ｅ（Ｐ、Ｑ）により点Ｐと点Ｑのユークリッド距離を表すことにすれば、
ポインティングデバイスにより指示された座標Ｐが楕円内部である場合には、
Ｅ（Ｆ、Ｐ）＋Ｅ（Ｇ、Ｐ）≦Ｅ（Ｆ、Ｈ）＋Ｅ（Ｇ、Ｈ）が成り立つ。
【０２０１】
楕円外部である場合には、逆に、
Ｅ（Ｆ、Ｐ）＋Ｅ（Ｇ、Ｐ）＞Ｅ（Ｆ、Ｈ）＋Ｅ（Ｇ、Ｈ）となる。
このような不等式を用いて、指示された点が物体内部か外部かを判定し、その判定結果によりステップＳ３５を行うか否かを決定する。
【０２０２】
また、映像中の物体領域の近似図形として平行四辺形を用いている場合には、楕円の場合のような一つの不等式ではなく、４つの不等式を用いて任意の座標が物体の内部かどうかを判定する。
【０２０３】
例えば、図８のＡ，Ｂ，Ｃ点を代表点としている場合、点Ｄを、
Ｄ＝Ｃ＋Ａ−Ｂにより求める。
次に、点Ａと点Ｂを通る直線上の点をＱとし、直線式を、
ｆA,B （Ｑ）＝０で表すことにする。
点Ｐが図形内部にあるときは、２つの不等式、すなわち、
ｆA,B （Ｐ）＊ｆC,D （Ｐ）＜０、
ｆB,C （Ｐ）＊ｆD,A （Ｐ）＜０
が同時に成り立つ。
ただし、
ｆA,B （Ｐ）＝（ｙA−ｙB）＊（ｘ−ｘA）−（ｘA−ｘB）＊（ｙ−ｙA）
ｆB,C （Ｐ）＝（ｙB−ｙC）＊（ｘ−ｘB）−（ｘB−ｘC）＊（ｙ−ｙB）
ｆC,D （Ｐ）＝（ｙD−ｙC）＊（ｘ−ｘC）−（ｘD−ｘC）＊（ｙ−ｙC）
ｆD,A （Ｐ）＝（ｙA−ｙD）＊（ｘ−ｘD）−（ｘA−ｘD）＊（ｙ−ｙD）
とし、
Ｐ＝（ｘ，ｙ）、Ａ＝（ｘA，ｙA）、Ｂ＝（ｘB，ｙB）、Ｃ＝（ｘC，ｙC）、Ｄ＝（ｘD，ｙD）とした。
【０２０４】
なお、１つの物体が複数の近似図形で近似されている場合には（図５／図１２の近似図形数参照）、上記の処理は各近似図形について行われる。
【０２０５】
ステップＳ３５は、指示された点が物体領域内である場合にのみ行われる処理である。この場合、物体領域データに含まれている「関連情報へのポインタ」を参照し、このポインタ情報に基づいて関連情報を取得し、その表示等を行う（図２９の構成例では、これを関連情報呈示部３０３により行う）。また、関連情報としてプログラムが指定されている場合には、指定プログラムを実行したり、またその他、指定されている所定の動作を行う。なお、物体領域データに関連情報そのものが記述されている場合にはこれを表示等すればよい。
【０２０６】
図３１に、関連情報として映像中の物体の説明が付与されている場合の一例を示す。映像８００の再生中にポインティングデバイス８０２により指示された座標が物体８０１（を近似した図形の）領域内部であった場合、関連情報８０３が表示される。
【０２０７】
ステップＳ３６は、分岐処理であり、物体を指示されたフレームにおいてまだ他に物体領域データを持つ物体が存在しているかを判定し、存在している場合にはステップＳ３２へ処理を進め、そして存在しない場合には終了となる。
【０２０８】
次に、第２の実施形態のように物体の領域がその物体の特徴点として表現されている場合に対応する処理手順について説明する。
【０２０９】
ここでは、上記した第１の実施形態のような場合に対応するものとの相違点を中心に説明する。
【０２１０】
図３２に、本処理手順の一例を示す。ただし、図３２のフローチャートでは、映像の再生中に表示されている映像内をマウスカーソル等のポインティングデバイスを用いて指示された際の処理についてのみ示している（基本的には制御部３０２の処理に相当するものである）。全体的な流れとしては図３０のフローチャートと同様であるので、ここでは相違する点を中心に説明する（ステップＳ４１，Ｓ４２，Ｓ４５，Ｓ４６は、それぞれ、ステップＳ３１，Ｓ３２，Ｓ３５，Ｓ３６と同様である）。
【０２１１】
ステップＳ４３では、物体領域データから表示フレーム番号における物体の特徴点の位置座標を算出する。特徴点が複数ある場合には、全ての特徴点の座標を算出する。
【０２１２】
ステップＳ４４では、ステップＳ４３で算出された特徴点の位置とクリックされた座標との間の距離を、全ての特徴点について計算し、予め決められているしきい値よりも距離が小さい特徴点が１つ以上存在するか１つも存在しないかを判定する。あるいは、上記距離をある特徴点について計算し、それを予め決められているしきい値と比較する処理を繰り返し行い、該しきい値よりも距離が小さい特徴点が１つ見つかれば、その時点でこの処理をうち切るようにしてもよい。該しきい値よりも距離が小さい特徴点が１つ以上存在する場合にはステップＳ４５へ処理を進め、存在しない場合にはステップＳ４６へと処理を進める。
【０２１３】
このような処理により、物体の領域付近がポインティングデバイス等により指定された場合に、物体の特徴点座標から関連情報の表示を行うことができる。
【０２１４】
（第４の実施形態）
次に、第４の実施形態として、関連情報の表示等が可能な物体の領域を物体領域データを用いて明示的に表示する（ユーザに知らしめる）場合について説明する。この場合、関連情報の表示等が可能な物体には、関連情報ポインタを含む物体領域データが予め付与されている必要がある。
【０２１５】
本実施形態のブロック構成は例えば第３の実施形態（図２９）と同様である。
【０２１６】
もちろん、本実施形態もソフトウェアによっても実現可能である。
【０２１７】
以下、第１の実施形態のように物体の領域が近似図形として表現されている場合について説明する。
【０２１８】
図３３に、本実施形態における処理手順の一例を示す。
【０２１９】
ここでは、近似図形が楕円である場合を例にとって説明する。もちろん、他の近似図形の場合にも同様である。
【０２２０】
ステップＳ５１では、現在表示中の映像のフレーム番号を取得する。なお、フレーム番号ではなく、タイムスタンプを用いてもよい（以下では、フレーム番号として説明する）。
【０２２１】
ステップＳ５２では、ステップＳ５１で取得したフレーム番号において映像中に存在している物体を選択する。これは、映像に付与されている物体領域データの先頭フレーム番号と末尾フレーム番号の間に表示フレーム番号があるデータを見つけることにより行われる。
【０２２２】
次に、ステップＳ５３では、ステップＳ５２で選択された物体の物体領域データからスプライン関数データ（図６、図７参照）を取り出し、表示フレームにおける図形の代表点の座標を算出する。
【０２２３】
ステップＳ５４では、物体領域データの図形種ＩＤを参照してステップＳ５３で算出された代表点で表現される近似図形を求め、該近似図形（例えば楕円領域）内の画像表示を変更する。
【０２２４】
この変更方法には様々な方法が適用可能である。例えば、近似図形が楕円である場合、その楕円領域内の画像の輝度を予め定められた値だけ増加させる。この増加分をΔＹ、表示変更前の輝度をＹ、表示可能な輝度の上限をＹｍａｘとしたとき、楕円内の画素はＭＩＮ（Ｙ＋ΔＹ，Ｙｍａｘ）の輝度で表示を行い、楕円外の画素は輝度Ｙで表示を行う。ここでＭＩＮ（ａ，ｂ）はａ、ｂのうちの小さい方の値をとる関数である。
【０２２５】
図３４はこのような輝度を増加させる方法で物体領域を表示させた例である（なお、図３４においてハッチングされた部分は輝度の変更がなく、ハッチングされた部分は輝度が増加されたことを示している）。図３４（ａ）の画面１０００は表示中のフレームでステップＳ５４の表示変更処理前の表示状態であり、１００１は映像中の物体領域データを持つ物体を表している。図３４（ｂ）の画面１００２はステップＳ５４の表示変更後の表示で、１００３は物体１００１の領域を近似した楕円領域である。楕円領域１００３内だけ表示が明るくなり、関連情報の表示等が可能な物体であることがわかるようになっている。
【０２２６】
なお、１つの物体が複数の近似図形で近似されている場合には（図５／図１２の近似図形数参照）、上記の処理は各近似図形について行われる。
【０２２７】
ステップＳ５５は表示変更を行うべき物体が他にあるかどうかを判定する処理で、表示フレーム番号が物体領域データの先頭フレーム番号と末尾フレーム番号の間となっている未処理の物体があるかどうかを調べる。未処理の物体が存在する場合にはステップＳ５２から処理を繰り返し、存在しない場合には処理を終了する。
【０２２８】
このように、本物体領域データを用いて特定される映像中の物体の領域のうち、関連情報を持つ物体の領域の表示を変更することにより、関連情報があるかないかを一目で確認することが可能になる。
【０２２９】
関連情報の表示等が可能な物体の領域を明示的に示す方法としては、以上説明したような物体の領域内の輝度を変化させる方法の他に、様々な方法を用いることができる。以下、そのいくつかのバリエーションを示す。なお、以下の物体領域データを用いる各処理の手順は、基本的には図３３のフローチャートと同様で、ステップＳ５４を各々の該当する処理に変更すればよい。
【０２３０】
図３５に例示する表示方法は、画像１６００の外に関連情報を持つ物体の位置を表示する方法である。１６０１および１６０２が関連情報を持つ物体である。１６０３および１６０４はそれぞれ縦軸方向、横軸方向の物体の位置を表示するバーである。関連情報を持つ物体１６０１に対応する表示が１６０５および１６０６である。これらは、１６０１の領域を縦軸方向、横軸方向に射影した領域に、目印となるバーを表示したものである。同様に、１６０２に対しては１６０７，１６０８が領域を表示するバーである。
【０２３１】
物体の領域の各方向への射影は、これまでの実施形態で説明したようにして物体領域データの近似図形データから求めた当該フレームでの近似図形の代表点の座標と、図形種ＩＤとから、容易に求めることができる。
【０２３２】
なお、異なる物体に対しては、領域を示すバーは異なる表示形態（例えば異なる色）を用いるようにすると好ましい。
【０２３３】
本方法によれば、ユーザは１６０３と１６０４に表示されたバーに合わせて画像内をポインティングデバイスで指定することにより、関連情報を表示させることができる。
【０２３４】
図３６に例示する表示方法は、画像１７００の外に関連情報を持つ物体の位置を表示する他の方法である。画像１７００の中に関連情報を持つ物体１７０１および１７０２が存在している。縦方向と横方向の関連情報を持つ物体位置表示バー１７０３と１７０４に物体の位置が表示される。図３５の例と異なり、表示バーには物体の重心位置のみが表示される。１７０５および１７０６は物体１７０１の重心位置を表示している。また、１７０７および１７０８は物体１７０２の重心位置を表示している。
【０２３５】
物体の領域の各方向の重心も、これまでの実施形態で説明したようにして物体領域データの近似図形データから求めた当該フレームでの近似図形の代表点の座標と、図形種ＩＤとから、容易に求めることができる。
【０２３６】
本方法によれば、物体の大きさが大きい場合でも、物体位置表示バー上での表示が小さいため、見やすい表示となる。また、多くの物体位置を表示する場合にも同様に見やすい表示となる。
【０２３７】
図３７に例示する表示方法は、画像１８００の外に関連情報リストを表示する方法である。画像１８００に関連情報を持つ物体１８０１および１８０２が含まれている。１８０３は関連情報を持つ物体のリストである。このリストには、現在表示中の画像フレームにおいて、関連情報を持つ物体の情報が表示される。図３７の例では、物体の名称が表示されているが、これは、当該フレーム中に存在する物体の物体領域データから関連情報をたどった結果、得られたものである。
【０２３８】
本方法によれば、ユーザは１８０１または１８０２の領域をポインティングデバイスで指定するほか、リストに表示された名称を指定しても関連情報を表示させることができる。また、１８０３のリストに表示されている番号を指定しても関連情報が表示できるように構成可能であるため、リモコンなどポインティングデバイスがない場合でも対応可能である。
【０２３９】
図３８に例示する表示方法は、画像１９００の中の関連情報を持つ物体１９０１および１９０２をアイコンにより表示し、関連情報があることを示す方法である。アイコン１９０３が物体１９０１に、そしてアイコン１９０４が物体１９０２に対応している。
【０２４０】
上記のアイコンについては、例えば、これまでの説明のようにして近似図形を求め、当該フレームの映像データ中から該求めた近似図形を内包する所定の大きさの矩形の領域を切り出し、該切り出した矩形の領域を適宜縮小するなどして、アイコンとして表示すればよい。
【０２４１】
本方法によれば、映像中の物体の領域を指定するほか、アイコンを直接指定しても関連情報の表示が行える。
【０２４２】
図３９に例示する表示方法は、関連情報を持つ物体の領域を示すマップの表示により、関連情報の存在を示す方法である。画像２０００に関連情報を持つ物体１９０１および１９０２が含まれている。２００３は関連情報を持つ物体領域マップであり、マップは画像２０００の中のどこに関連情報を持つ物体領域があるかを示している。２００４は物体２００１を、２００５は物体２００２を表している。
【０２４３】
マップ２００３は、画像２０００を縮小したものであり、物体領域以外の画像表示は行わない（前述のようにして求めた近似図形のみ、縮小画像中の該当する位置に表示する）。
【０２４４】
なお、異なる物体に対しては、領域を示すバーは異なる表示形態（例えば異なる色）を用いるようにすると好ましい。
【０２４５】
本方法によれば、画像２０００中の物体を直接指定する他、マップ２００３上で表示されている物体領域を指定しても、関連情報の表示等を行うことができる。
【０２４６】
図４０に例示する表示方法は、画像中の関連情報を持つ物体をポインティングデバイスで指定することを容易にするために、映像再生をマウスカーソルの位置でコントロールするようにした方法である。２１００および２１０２は表示画面全体を表しており、２１０１および２１０３は表示画面上の画像が表示されている領域を表している。図４０（ａ）の表示画面２１００においてはマウスカーソル２１０４が画像２１０１の領域外にあるので、画像を通常の表示速度で再生させる。一方、図４０（ｂ）の表示画面２１０２ではマウスカーソル２１０５が画像領域２１０３の中に入っているので、画像の再生速度を遅くする、もしくは静止させる。
【０２４７】
なお、マウスカーソルが画像領域内に入った場合に、当該フレーム内に関連情報を持つ物体が存在するか否かを調べ（例えば当該フレーム番号と各物体領域データの先頭／最終フレーム番号を比較して調べる）、当該フレーム内に関連情報を持つ物体が存在するときだけ、画像の再生速度を遅くする、もしくは静止させるようにしてもよい。
【０２４８】
例えば映像中で高速に動いている物体をマウスカーソルで指定するのは難しい場合があるが、本方法によれば、このようにマウスカーソルの位置により再生速度を変化させることで、物体指定時の物体の動きを遅くさせもしくは静止させることができ、指定が容易になる。
【０２４９】
図４１に例示する表示方法は、画像中の関連情報を持つ物体をポインティングデバイスで指定することを容易にするための他の方法ある。２５００は再生されている映像である。２５０１は画像を獲得するポインタであり、このボタンをマウスポインタ２５０２で指定すると、指定された時点で表示されていた画像が獲得され、獲得画像表示部２５０３に表示される。２５００は２５０１指定後も再生が続けられる。しかし、獲得画像はしばらく２５０３に表示されるため、２５０３内に表示されている物体を指定することにより、指定された物体の関連情報を表示させることができる。
【０２５０】
なお、画像を獲得するボタン２５０１は必ずしも必要ではなく、２５０１を設けずにマウスカーソルが映像表示部２５００内に入ったときに自動的に画像が獲得されるようにしておいても良い。
【０２５１】
また、上記ボタンが指定された場合あるいはマウスカーソルが画像領域内に入った場合に、当該フレーム内に関連情報を持つ物体が存在するか否かを調べ（例えば当該フレーム番号と各物体領域データの先頭／最終フレーム番号を比較して調べる）、当該フレーム内に関連情報を持つ物体が存在するときだけ、画像を獲得し、表示するようにしてもよい。
【０２５２】
本方法によれば、ユーザは静止した画像から容易に関連情報の表示を指定できるようになる。
【０２５３】
以上、いくつかのバリエーションを例示したが、これらの他にも、関連情報の表示等が可能な物体の領域を明示的に示す方法や、指示をしやすくする方法など、ユーザの利用を支援する方法は、様々なものが考えられる。
【０２５４】
次に、第２の実施形態のように物体の領域がその物体の特徴点として表現されている場合について説明する。
【０２５５】
ここでは、上記した第１の実施形態のような場合に対応するものとの相違点を中心に説明する。
【０２５６】
まず、この場合のフローチャートは、基本的には図３３のフローチャートと同様で、ステップＳ５４の近似図形の代表点の算出が、物体の特徴点の算出となり、ステップＳ５５が該特徴点をもとにした種々の該当する処理となる。
【０２５７】
前述した図３４では、物体に対応する近似図形内の輝度を増加させたが、この場合には、例えば、特徴点が３以上あるならば、それらを頂点とする多角形を生成して、その内部の輝度を増加させるようにしてもよい。また、特徴点が２以上あるならば、それらを代表点とする何らかの図形を発生させて、その内部の輝度を増加させるようにしてもよい。あるいは、各特徴点を中心とするある程度の大きさをもつ円などの図形を発生させ、発生させた各図形を、輝度、色、点滅などにより目立つようにして表示するようにしてもよい。
【０２５８】
前述した図３５では、物体に対応する近似図形の両軸方向への射影をバーの形で表示したが、この場合には、例えば、特徴点が３以上あるならば、それらを頂点とする多角形を生成して、該多角形の両軸方向への射影をバーの形で表示するようにしてもよい。また、特徴点が２つであるならば、それらを頂点とする矩形もしくは長方形を生成して、その両軸方向への射影をバーの形で表示するようにしてもよい。一方、特徴点が１つであるならば、前述した図３６のような方法で表示することができる。
【０２５９】
前述した図３８では、近似図形をもとにするなどして物体の画像を切り出してアイコンとして表示したが、この場合も、例えば、特徴点をもとにして物体の画像を切り出してアイコンとして表示することが可能である。
【０２６０】
前述した図３９では、近似図形をマップ表示したが、この場合も、例えば、前述のように特徴点をもとにして発生した何らかの図形をマップ表示することが可能である。
【０２６１】
なお、図３７、図４０、図４１の方法は、この場合も同様に可能である。
【０２６２】
以上、いくつかのバリエーションを例示したが、これらの他にも、関連情報の表示等が可能な物体の領域を明示的に示す方法や、指示をしやすくする方法など、ユーザの利用を支援する方法は、様々なものが考えられる。
【０２６３】
（第５の実施形態）
次に、第５の実施形態として、映像中の物体を検索する方法について説明する。
【０２６４】
本実施形態のブロック構成は例えば第３の実施形態（図２９）と同様である。なお、例えば図２９において、関連情報呈示部がない構成も可能であり（例えば、物体の検索自体を目的とし、関連情報を用いないシステムの場合）、また指示入力部がない構成も可能である（例えば、検索の指示にＧＵＩを用いない場合）。もちろん、本実施形態もソフトウェアによっても実現可能である。
【０２６５】
第３の実施形態では、楕円を用いる際に代表点を２つの焦点と楕円上の一点に取る場合について説明したが、ここでは、楕円の代表点として楕円の外接矩形の３頂点を用いる場合を例に取って説明する。もちろん、どのような代表点の取り方を用いても同じようにハイパーメディア検索が実現可能である。
【０２６６】
なお、以下のＶ1〜Ｖ4 、Ｐ、Ｑ、Ｆ1、Ｆ2、Ｃ0、Ｔ、Ｕ、Ｃはベクトル量である。
【０２６７】
本発明では、物体の領域の軌跡を記述しているために、物体の通過した点、通過しなかった点を推定することにより物体の検索ができる。例えば、「この交差点の真ん中を通過してこちらの車線に走り去った車を検索せよ」とか、「ここから道路に進入したがこちらの車線には来なかった車を検索せよ」といった検索ができる。
【０２６８】
図４２や図４３は、このような検索を行うための処理手順の例を示したものである。
【０２６９】
図４２は、物体の形の表現として矩形を用いた際の処理手順の一例である。
【０２７０】
ここでは、通過した点または通過しなかった点としてＱが指定されているものとする。
【０２７１】
まず、ステップＳ１００で、時間ｔに物体の出現した時間がセットされる。ステップＳ１０１では、ある時間ｔにおける矩形の代表点Ｖ1 ，Ｖ2 ，Ｖ3 の座標を取り出す。これは、対応する時間におけるスプライン関数の値として算出される。３つの矩形の頂点から残りの頂点の座標は、
Ｖ4 ＝Ｖ1 −Ｖ2 ＋Ｖ3  
として簡単に求まる。
【０２７２】
次に、ステップＳ１０２において、以下の式で表現される４つの関数の値を求める。
ｆ1(Ｐ)＝（Ｖ2y−Ｖ1y）（ｘ−Ｖ1x）−（Ｖ2x−Ｖ1x）（ｙ−Ｖ1y）
ｆ2(Ｐ)＝（Ｖ2y−Ｖ3y）（ｘ−Ｖ2x）−（Ｖ2x−Ｖ3x）（ｙ−Ｖ2y）
ｆ3(Ｐ)＝（Ｖ3y−Ｖ4y）（ｘ−Ｖ3x）−（Ｖ3x−Ｖ4x）（ｙ−Ｖ3y）
ｆ4(Ｐ)＝（Ｖ1y−Ｖ4y）（ｘ−Ｖ4x）−（Ｖ1x−Ｖ4x）（ｙ−Ｖ4y）
ただし、Ｖi ＝（Ｖix，Ｖiy）とする。
【０２７３】
ステップＳ１０３では、求めた４つの関数に対して、
ｆ1(Ｑ)ｆ3(Ｑ)≦０  and  ｆ2(Ｑ)ｆ4(Ｑ)≦０
が成立するかどうかを判定する。
【０２７４】
成立する場合には、物体は時刻ｔに指定された点Ｑを通過することになるため、物体は点Ｑを通過すると判定する（ステップＳ１０４）。成立しない場合には、時刻ｔには点Ｑを通過しないため、他の時間において通過したかどうかを引き続き調べる。
【０２７５】
ステップＳ１０５では、全ての時間ｔについて調査したかどうかを判定するため、ｔが物体が画面から消えた時間と同じかどうかを調べる。もしも同じならば処理を終了し、物体は点を通過しなかったと判定する（ステップＳ１０７）。ｔが物体が消えた時間よりも小さければ、ステップＳ１０６においてｔを１だけ増加させてＳ１０１からの処理を繰り返す。
【０２７６】
以上の処理を検索対象となっている全ての物体に対して行うことにより、検索条件を満たす物体を検索できる。
【０２７７】
図４３は、物体の形の表現として楕円を用いた際の処理手順の一例である。
【０２７８】
まず、ステップＳ１１０で、時間ｔに物体の出現した時間がセットされる。
【０２７９】
次に、ステップＳ１１１で、ある時間ｔにおける楕円の代表点Ｖ1 ，Ｖ2 ，Ｖ3 の座標を取り出す。これら代表点は、楕円の外接矩形の３頂点であり、１つの辺を挟んで時計回りにＶ1 ，Ｖ2 ，Ｖ3 と連続して並んでいる。これを算出する処理は矩形に対して行うのと同様の処理である。
【０２８０】
次に、ステップＳ１１２で、以下の式で表されるａ、ｂ、および点Ｆ１，Ｆ２を求める（Ｆ１，Ｆ２はａとｂの大小関係に応じて以下のように求める）。
【０２８１】
ａ＝｜Ｖ2−Ｖ1｜／２
ｂ＝｜Ｖ2−Ｖ3｜／２
Ｆ1＝Ｃ0＋ｅ（Ｖ2−Ｖ1）／２        （ａ＞ｂのとき），
Ｃ0＋ｅ（Ｖ2−Ｖ3）／２        （ａ≦ｂのとき）
Ｆ2＝Ｃ0−ｅ（Ｖ2−Ｖ1）／２        （ａ＞ｂのとき），
Ｃ0−ｅ（Ｖ2−Ｖ3）／２        （ａ≦ｂのとき）
ただし、Ｃ0とｅは次の通りである（ｅはａとｂの大小関係に応じて異なる）。
Ｃ0＝（Ｖ1＋Ｖ3）／２
ｅ＝｛√（ａ2−ｂ2）｝／ａ        （ａ＞ｂのとき），
｛√（ｂ2−ａ2）｝／ｂ        （ａ≦ｂのとき）
次に、ステップＳ１１３において、次の条件が満たされるかどうかを判定する（条件はａとｂの大小関係に応じて異なる）。
ａ＞ｂのときの条件      ｜Ｆ1−Ｑ｜＋｜Ｆ2−Ｑ｜≦２ａ
ａ≦ｂのときの条件      ｜Ｆ1−Ｑ｜＋｜Ｆ2−Ｑ｜≦２ｂ
この条件が満たされている場合には、点Ｑは時刻ｔに楕円の内部にあることになる。従って、物体は点Ｑを通過したと判定し、処理を終了する（ステップＳ１１４）。一方、条件が満たされない場合には、点Ｑは時刻ｔにおいて楕円の外にあることになる。従って、他の時刻ｔについて同様の処理を続ける。
【０２８２】
ステップＳ１１５は終了条件で、ｔが物体が画面から消失した時刻であるかどうかを判定する。消失時刻である場合には、物体は点Ｑを通過しなかったと判定し、処理を終了する（ステップＳ１１７）。ｔが消失時刻でなけでば、ステップＳ１１６でｔを増加させ、ステップＳ１１１から処理を繰り返す。
【０２８３】
ここまでの処理を全ての検索対象の物体に対して行うことにより、検索条件を満たす物体を検索できる。
【０２８４】
なお、上記では、指定点が近似図形に含まれるか否かを通過したか否かの判断基準としたが、例えば、指定点が近似図形の近傍に位置した場合も通過したとみなす場合や、指定点が一定フレーム以上連続して近似図形に含まれたときに始めて通過したと判断する場合など、種々の基準が考えられる。
【０２８５】
なお、物体の形の表現として他の図形が用いられる場合も図形に応じた同様の処理を行うことによって、検索条件を満たす物体を検索することができる。
【０２８６】
また、複数の通過点あるいは複数の非通過点が指定されている場合には、それら全ての指定点に対して同じ処理を行えばよい。
もちろん、１または複数の通過点と１または複数の非通過点を混在して指定することも可能である。
また、複数の通過点または非通過点について組み合わせ論理を用いて検索することも可能である。例えば、「ａ点またはｂ点のいずれか一方のみを通過し、かつ、ｃ点およびｄ点のいずれも通過していない物体を検索せよ」といった検索も可能である。
【０２８７】
ところで、通過点による検索は、物体が通過点にどのくらい存在していたかで検索ができるように拡張することができる。このような検索には、「１０分以上立ち読みしていた人を検索せよ」とか「キャッシュディスペンサーの前に３分以上いた人を検索せよ」などがある。このような検索を行うには、指定された位置に物体が存在していた時間をカウントし、ユーザにより指定された時間より多くの時間となった物体だけを検索結果として提示すればよい。
【０２８８】
さらに別の検索拡張例として、物体の大きさ（面積）による条件を付加した場合について説明する。
【０２８９】
物体の形状が矩形もしくは楕円で表現されている場合、ある時刻ｔにおける物体の面積は、
矩形の場合には、
ＳR ＝｜Ｖ2−Ｖ1｜｜Ｖ3−Ｖ2｜
楕円の場合には、
ＳE ＝ａｂπ
により計算できる。
【０２９０】
この値を用いて、物体が指定点を通過するか否かだけでなく、面積がＳS以上ＳL以下というような条件を用いて検索ができる。例えば、「道を歩く人を検索せよ。ただし、犬や猫は検索しないこと」といった要求に対して、通常の犬や猫よりも大きな面積を指定しておくことにより検索の精度を向上させることができる。
【０２９１】
次に他の検索例として、似たような軌跡を描いて移動した物体の検索の方法について説明する。
【０２９２】
第１の物体の軌跡と第２の物体の軌跡をそれぞれＴ、Ｕとする。第１の物体の存在時間と第２の物体の存在時間をそれぞれＮT、ＮUとする。ただし、ＮT≧ＮUが成り立っているものとする。さらに、どちらの物体の出現時間もｔ＝０であるものとする。これらの条件は、適当にＴとＵを入れ替えて、時間軸の原点をずらすことにより常に満たすことができる。
【０２９３】
このとき、ＴとＵの距離ｄ(Ｔ，Ｕ)を以下のように定義する。
【０２９４】
【数１】
0004226730.tif 000002
【０２９５】
ここで、ｔにおけるＴの座標をＴ(ｔ)と表し、Ｅ(Ｐ，Ｑ)はユークリッド距離を表すものとした。
【０２９６】
この軌跡間の距離を用いて、ユーザによって指定された物体の軌跡と他の物体の軌跡との距離を、他の全ての物体についてそれぞれ算出し、最も距離の短い物体を提示するか、または距離の短い物体をユーザにより指定された数だけで提示することで、似ている軌跡を描く物体の検索が行える。
【０２９７】
また、ユーザによりマウス等の入力装置により描かれた軌跡と類似した軌跡を描く物体を検索することも可能である。この場合には、ユーザにより描かれた軌跡には時間情報が含まれていないため、ｄ(Ｔ，Ｕ)とは別の方法で軌跡間の距離を算出する必要がある。そのためには、軌跡Ｔとユーザにより描かれた軌跡Ｕとの距離ｄ’(Ｔ，Ｕ)を次のように計算する。
【０２９８】
【数２】
0004226730.tif 000003
【０２９９】
ここで、ユーザにより描かれた軌跡を点列Ｕi（０≦ｉ＜ＮPU）により表す。ＮPUは点列の数である。この距離の短い物体を、類似した軌跡を描く物体として１つまたは数個提示することで検索が行える。
【０３００】
また、物体の中心の軌跡が記述されている場合には、これらの軌跡をＴおよびＵとしてｄ(Ｔ，Ｕ)の短い物体を検索すればよい。ただし、物体の形を近似した矩形や楕円の軌跡のみの情報しか得られない場合には、中心の軌跡を推定してから物体の軌跡間の距離を算出する。ある時刻ｔにおける中心Ｃの推定値は、矩形または楕円の頂点の座標Ｖ1 ，Ｖ2 ，Ｖ3 から次のように推定する。
【０３０１】
【数３】
0004226730.tif 000004
【０３０２】
この推定により、全ての物体の軌跡の中から、類似した軌跡を検索することができる。
【０３０３】
なお、上記では、物体の領域に対する近似図形の代表点を用いる場合を例として説明したが、第２の実施形態のように物体の領域の特徴点を用いる場合にも同様に可能である。この場合に、物体が指定点を通過したか否かの判断は、例えば、特徴点と指定点との距離が基準値以下か否かによって行えばよい。
【０３０４】
なお、以上の各実施形態あるいは各構成は、任意に組み合わせて実施可能である。
【０３０５】
以上説明した各構成は、コンピュータに所定の手段を実行させるための（あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるための）プログラムを記録したコンピュータ読取り可能な記録媒体としても実施することもできる。
【０３０６】
本発明は、上述した実施の形態に限定されるものではなく、その技術的範囲において種々変形して実施することができる。
【０３０７】
【発明の効果】
本発明によれば、映像中における対象となる物体の領域を該物体の領域に対する近似図形の代表点または該物体の領域の特徴点の位置データをフレームの進行に沿って並べたときの軌跡を近似した関数のパラメータとして記述することにより、映像中の所望の物体の領域を少ないデータ量で記述でき且つその作成やそのデータの扱いも容易にすることができる。
【０３０８】
また、本発明によれば、ユーザによる映像中の物体の指示やその判定を容易にすることができる。
【０３０９】
また、本発明によれば、映像中の物体の検索を容易にすることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態に係る物体領域データ変換装置の構成例を示す図
【図２】映像中の物体の領域を物体領域データで記述するための処理の概要を説明するための図
【図３】物体の領域を楕円で近似する例について説明するための図
【図４】物体の領域を近似する楕円の代表点を求める例について説明するための図
【図５】物体領域データのデータ構造の一例を示す図
【図６】物体領域データ中の近似図形データのデータ構造の一例を示す図
【図７】近似図形データ中の代表点軌跡データのデータ構造の一例を示す図
【図８】近似図形を平行四辺形とした場合の代表点の例について説明するための図
【図９】近似図形を多角形としたときの代表点の例について説明するための図
【図１０】同実施形態における処理手順の一例を示すフローチャート
【図１１】映像中の物体の領域を複数の楕円で表現した例を示す図
【図１２】複数の近似図形データを含む物体領域データのデータ構造の一例を示す図
【図１３】映像中の物体の領域を物体領域データで記述するための他の処理の概要を説明するための図
【図１４】近似矩形を求める処理手順の一例を示すフローチャート
【図１５】傾斜した細長い物体を傾斜を持たない矩形で近似した様子を示す図
【図１６】物体をその傾斜に応じた傾斜を持つ矩形で近似した様子を示す図
【図１７】近似矩形を求める処理手順の他の例を示すフローチャート
【図１８】近似矩形から近似楕円を求める方法について説明するための図
【図１９】近似矩形から近似楕円を求める処理手順の一例を示すフローチャート
【図２０】隣接するフレーム間で近似図形の代表点同士を対応付ける方法について説明するための図
【図２１】隣接するフレーム間で近似図形の代表点同士を対応付けるための処理手順の一例を示すフローチャート
【図２２】物体領域データのデータ構造の他の例を示す図
【図２３】図形種ＩＤと図形の種類と代表点数との対応の一例を示す図
【図２４】関数ＩＤと関数形式と関数パラメータと制約条件との対応の一例を示す図
【図２５】関連情報のデータ構造の具体例を示す図
【図２６】関連情報のデータ構造例の他のの具体例を示す図
【図２７】本発明の第２の実施形態に係る物体領域データ変換装置の構成例を示す図
【図２８】同実施形態における処理手順の一例を示すフローチャート
【図２９】本発明の第３の実施形態に係る情報処理装置の構成例を示す図
【図３０】同実施形態における処理手順の一例を示すフローチャート
【図３１】物体領域データを利用したハイパーメディア・コンテンツの表示例を示す図
【図３２】同実施形態における処理手順の他の例を示すフローチャート
【図３３】本発明の第４の実施形態における処理手順の一例を示すフローチャート
【図３４】関連情報を持つ物体領域の表示を変更する例を示す図
【図３５】関連情報を持つ物体領域の位置を表示する一例を示す図
【図３６】関連情報を持つ物体領域の位置を表示する他の例を示す図
【図３７】関連情報を持つ物体領域の説明リストを表示する例を示す図
【図３８】関連情報を持つ物体領域をアイコン表示する例を示す図
【図３９】関連情報を持つ物体領域の位置をマップ表示する例を示す図
【図４０】物体領域の指定を容易にするために画像再生速度を制御する例を示す図
【図４１】物体領域の指定を容易にするために画像キャプチャを可能とする例を示す図
【図４２】本発明の第５の実施形態における処理手順の一例を示すフローチャート
【図４３】同実施形態における処理手順の他の例を示すフローチャート
【符号の説明】
１００，２３０…映像データ記憶部
１０１…領域抽出部
１０２…領域の図形近似部
１０３…図形代表点抽出部
１０４…代表点の曲線近似部
１０５，２３５…関連情報記憶部
１０６，２３６…領域データ記憶部
２３３…特徴点抽出部
２３４…特徴点の曲線近似部
３０１…映像データ表示部
３０２…制御部
３０３…関連情報呈示
３０４…指示入力部
【図１】
0004226730.tif 000005
【図２】
0004226730.tif 000006
【図３】
0004226730.tif 000007
【図４】
0004226730.tif 000008
【図５】
0004226730.tif 000009
【図６】
0004226730.tif 000010
【図７】
0004226730.tif 000011
【図８】
0004226730.tif 000012
【図９】
0004226730.tif 000013
【図１０】
0004226730.tif 000014
【図１１】
0004226730.tif 000015
【図１２】
0004226730.tif 000016
【図１３】
0004226730.tif 000017
【図１４】
0004226730.tif 000018
【図１５】
0004226730.tif 000019
【図１６】
0004226730.tif 000020
【図１７】
0004226730.tif 000021
【図１８】
0004226730.tif 000022
【図１９】
0004226730.tif 000023
【図２０】
0004226730.tif 000024
【図２１】
0004226730.tif 000025
【図２２】
0004226730.tif 000026
【図２３】
0004226730.tif 000027
【図２４】
0004226730.tif 000028
【図２５】
0004226730.tif 000029
【図２６】
0004226730.tif 000030
【図２７】
0004226730.tif 000031
【図２８】
0004226730.tif 000032
【図２９】
0004226730.tif 000033
【図３０】
0004226730.tif 000034
【図３１】
0004226730.tif 000035
【図３２】
0004226730.tif 000036
【図３３】
0004226730.tif 000037
【図３４】
0004226730.tif 000038
【図３５】
0004226730.tif 000039
【図３６】
0004226730.tif 000040
【図３７】
0004226730.tif 000041
【図３８】
0004226730.tif 000042
【図３９】
0004226730.tif 000043
【図４０】
0004226730.tif 000044
【図４１】
0004226730.tif 000045
【図４２】
0004226730.tif 000046
【図４３】
0004226730.tif 000047