(57)【要約】【課題】  時空間領域情報の入力・編集作業を効率的に行うための時空間領域情報処理方法を提供すること。【解決手段】  映像情報記憶部１０１は、映像データを記憶する。時空間領域情報記憶部１０２は、映像データ中の任意の領域の任意の複数フレームにわたる推移を表すものとして、該領域を示す所定の近似図形の各代表点ごとに、当該代表点の時間軸方向の軌跡について特定可能な情報を記述した時空間領域情報を記憶する。時空間領域情報編集処理部１０５は、編集対象の時空間領域情報に基づいて各フレームにおける近似図形の位置形状を求め、表示部１０３にて、複数フレームのフレーム画像と近似図形を表示し、入力部１０４にて、表示された近似図形の位置形状に対する所定の編集操作を入力し、入力された編集操作に基づいて、対象の時空間領域情報を修正する。【選択図】図３
2005084805.tif 000002
【特許請求の範囲】
【請求項１】
映像データ中における任意の領域の複数フレームにわたる推移を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象にし、該時空間領域情報を画面上に表示し編集を施すための時空間領域情報処理方法であって、
対象にした前記領域の時空間領域情報に基づき前記代表点を複数フレームにわたって求め、各フレームごとに該代表点に基づき該領域を示す近似図形を前記画面上に表示する処理を行うステップと、
表示された任意のフレームにおける前記近似図形に対する編集操作を入力するステップと、
入力された前記編集操作に基づいて、前記時空間領域情報を更新するステップと、
更新された前記時空間領域情報を対象として、前記処理を行うステップとを有することを特徴とする時空間領域情報処理方法。
【請求項２】
前記処理にあたっては、前記近似図形の代表点をも表示することを特徴とする請求項１に記載の時空間領域情報処理方法。
【請求項３】
前記近似図形の代表点が複数存在する場合に、該代表点を表示するにあたっては、複数フレームにわたって推移する代表点ごとに表示形態を異ならせることを特徴とする請求項２に記載の時空間領域情報処理方法。
【請求項４】
前記時空間領域情報は、前記領域が存在するフレーム範囲を特定可能な情報を含むものであり、
前記処理にあたっては、前記フレーム範囲以外のフレームについて、前記時空間領域情報に基づき前記領域を推測し、この推定した領域をも表示することを特徴とする請求項１に記載の時空間領域情報処理方法。
【請求項５】
前記処理にあたっては、各フレームごとに当該フレームのフレーム画像をも表示することを特徴とする請求項１に記載の時空間領域情報処理方法。
【請求項６】
前記編集操作を入力するにあたっては、編集操作された後の近似図形の形状が、当該編集操作されたフレームに隣接するフレームにおける近似図形の形状の平行移動、Ｘ軸方向の拡大若しくは縮小、又はＹ軸方向の拡大若しくは縮小の操作の合成で表現できるように、前記編集操作を制限することを特徴とする請求項１に記載の時空間領域情報処理方法。
【請求項７】
前記時空間領域情報が前記代表点の軌跡を特定するためのスプライン関数に係る情報を含むものである場合に、前記時空間領域情報を更新するにあたって、或るフレームにおいて前記編集操作が入力されたときは、当該或るフレームを前記代表点の軌跡のスプライン関数における節点とすることを特徴とする請求項１に記載の時空間領域情報処理方法。
【請求項８】
編集の対象にする前記領域を選択するための一覧表を前記画面上に表示するステップを更に有し、
前記一覧表において或る領域が選択された場合に、該或る領域に係る前記時空間領域情報を対象として、前記処理を行うことを特徴とする請求項１に記載の時空間領域情報処理方法。
【請求項９】
前記一覧表は、各領域について、前記時空間領域情報の全部若しくは一部又はこれを加工したものと、これに付帯する関連情報との少なくとも一方を要素として持つことを特徴とする請求項１に記載の時空間領域情報処理方法。
【請求項１０】
映像データ中における任意の領域の複数フレームにわたる推移を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象にし、該時空間領域情報を画面上に表示し編集を施すための時空間領域情報処理方法であって、
前記複数フレームのうちの特定のフレームを指定する第１の情報及び該フレームから抽出すべき前記領域を指定する第２の情報を入力するステップと、
前記第１の情報により指定される特定のフレームを基点として、前記第２の情報により指定される領域のフレーム間にわたる推移を追跡して、複数フレームのそれぞれにおける当該領域の形状を特定するステップと、
複数フレームのそれぞれについて、特定された前記領域の形状に基づいて、当該領域を示す近似図形の代表点を求めるステップと、
複数フレームのそれぞれについて求められた前記近似図形の代表点に基づいて、前記時空間領域情報を生成するステップとを有することを特徴とする時空間領域情報処理方法。
【請求項１１】
前記特定のフレームは、前記領域に係る先頭のフレームであり、
前記追跡処理は、前記先頭のフレームから最後のフレームの方向に向かって行うことを特徴とする請求項１０に記載の時空間領域情報処理方法。
【請求項１２】
前記特定のフレームは、前記領域に係る最後のフレームであり、
前記追跡処理は、前記最後のフレームから先頭のフレームの方向に向かって行うことを特徴とする請求項１０に記載の時空間領域情報処理方法。
【請求項１３】
複数の領域に係る前記第２の情報を入力し、前記追跡を該複数の領域について同時に行うことを特徴とする請求項１０に記載の時空間領域情報処理方法。
【請求項１４】
映像データ中における任意の領域の複数フレームにわたる推移を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象にし、該時空間領域情報を画面上に表示し編集を施すための時空間領域情報処理システムであって、
対象にした前記領域の時空間領域情報に基づき前記代表点を複数フレームにわたって求め、各フレームごとに該代表点に基づき該領域を示す近似図形を前記画面上に表示する処理を行う手段と、
表示された任意のフレームにおける前記近似図形に対する編集操作を入力する手段と、
入力された前記編集操作に基づいて、前記時空間領域情報を更新する手段と、
更新された前記時空間領域情報を対象として、前記処理を行う手段とを備えたことを特徴とする時空間領域情報処理システム。
【請求項１５】
映像データ中における任意の領域の複数フレームにわたる推移を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象にし、該時空間領域情報を画面上に表示し編集を施すための時空間領域情報処理システムであって、
前記複数フレームのうちの特定のフレームを指定する第１の情報及び該フレームから抽出すべき前記領域を指定する第２の情報を入力する手段と、
前記第１の情報により指定される特定のフレームを基点として、前記第２の情報により指定される領域のフレーム間にわたる推移を追跡して、複数フレームのそれぞれにおける当該領域の形状を特定する手段と、
複数フレームのそれぞれについて、特定された前記領域の形状に基づいて、当該領域を示す近似図形の代表点を求める手段と、
複数フレームのそれぞれについて求められた前記近似図形の代表点に基づいて、前記時空間領域情報を生成する手段とを備えたことを特徴とする時空間領域情報処理システム。
【請求項１６】
映像データ中における任意の領域の複数フレームにわたる推移を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象にし、該時空間領域情報を画面上に表示し編集を施すための時空間領域情報処理システムとしてコンピュータを機能させるためのプログラムであって、
対象にした前記領域の時空間領域情報に基づき前記代表点を複数フレームにわたって求め、各フレームごとに該代表点に基づき該領域を示す近似図形を前記画面上に表示する処理を行う機能と、
表示された任意のフレームにおける前記近似図形に対する編集操作を入力する機能と、
入力された前記編集操作に基づいて、前記時空間領域情報を更新する機能と、
更新された前記時空間領域情報を対象として、前記処理を行う機能とを実現させるためのプログラム。
【請求項１７】
映像データ中における任意の領域の複数フレームにわたる推移を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象にし、該時空間領域情報を画面上に表示し編集を施すための時空間領域情報処理システムとしてコンピュータを機能させるためのプログラムであって、
前記複数フレームのうちの特定のフレームを指定する第１の情報及び該フレームから抽出すべき前記領域を指定する第２の情報を入力する機能と、
前記第１の情報により指定される特定のフレームを基点として、前記第２の情報により指定される領域のフレーム間にわたる推移を追跡して、複数フレームのそれぞれにおける当該領域の形状を特定する機能と、
複数フレームのそれぞれについて、特定された前記領域の形状に基づいて、当該領域を示す近似図形の代表点を求める機能と、
複数フレームのそれぞれについて求められた前記近似図形の代表点に基づいて、前記時空間領域情報を生成する機能とを実現させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像中の任意の時空間領域形状と映像の任意のフレーム画像を画面上に表示し、表示された形状を操作することによって時空間領域情報を入力、編集する時空間領域情報処理方法、時空間領域情報処理システム及びプログラムに関する。
【背景技術】
【０００２】
近年、映像画像処理技術の急速な発展により、映像や画像をデジタルデータとして扱うことが一般化してきている。このデジタル化によりデータ量が大きい映像画像データを効率的に圧縮する技術が確立された。また、インターネットや衛星放送・ＣＡＴＶなどのネットワーク技術の発展に伴い、大量の映像データを扱うことができるようになってきており、映像や画像情報を蓄積しておいてニーズに合わせて取り出し利用する映像画像データベースやビデオオンデマンドが実用の段階に入ろうとしている。他にも遠隔地からの自動監視システムもメジャーなものになってきている。このように映像や画像を利用しようとするとき、画面内になにがあるかを認識したり、逆に望む物体があるような映像を検索抽出したり、映像を分類したいという要望がある。
【０００３】
このような要望に答えるため、映像中の複数フレームにわたる任意の時空間領域情報を効率よく記述するための手法が既に提案されている（例えば、特許文献１又は２参照）。
【０００４】
また、これらの時空間領域情報を作成したり編集したりするため、時空間領域形状をＸ、Ｙ、時間の３次元空間中に表示し、表示された３次元空間中で時空間領域を操作する手法が提案されている（例えば、特許文献３参照）。
【特許文献１】特開２００１−１１８０７５号公報
【特許文献２】特開２００１−１１１９９６号公報
【特許文献３】特開２００２−３５９７７７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００５】
ところが、新たに時空間領域情報を入力したり、既にある時空間領域情報を編集しようとする際には、情報を数値入力したり、フレーム単位に入力・編集していたため、前後のフレームや時空間領域の全時間における形状を考慮しながら時空間領域情報を入力したり、編集したりすることが困難であった。
【０００６】
また、３次元空間中での時空間領域の操作は、正確な座標がわかりずらかったり隠れの問題があり熟練を要するため、時空間領域の編集作業を支援する手法が必要となっていた。
【０００７】
本発明は、上記事情を考慮してなされたもので、時空間領域情報の入力・編集作業を効率的に行うための時空間領域情報処理方法、時空間領域情報処理システム及びプログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明は、映像データ中における任意の領域の複数フレームにわたる推移を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象にし、該時空間領域情報を画面上に表示し編集を施すための時空間領域情報処理方法であって、対象にした前記領域の時空間領域情報に基づき前記代表点を複数フレームにわたって求め、各フレームごとに該代表点に基づき該領域を示す近似図形を前記画面上に表示する処理を行い、表示された任意のフレームにおける前記近似図形に対する編集操作を入力し、入力された前記編集操作に基づいて、前記時空間領域情報を更新し、更新された前記時空間領域情報を対象として、前記処理を行うことを特徴とする。
【０００９】
本発明によれば、画面上に映像の複数のフレームにわたって当該フレームにおける近似図形（または、当該フレームにおける近似図形とフレーム画像）を表示し、表示された近似図形をユーザが操作するすることによって、他のフレームに及ぼす影響を確認しながら時空間領域を入力、編集することができるようになる。
【００１０】
本発明は、映像データ中における任意の領域の複数フレームにわたる推移を表すものとして記述された、該領域を示す近似図形の代表点の軌跡を特定可能な時空間領域情報を対象にし、該時空間領域情報を画面上に表示し編集を施すための時空間領域情報処理方法であって、前記複数フレームのうちの特定のフレームを指定する第１の情報及び該フレームから抽出すべき前記領域を指定する第２の情報を入力し、前記第１の情報により指定される特定のフレームを基点として、前記第２の情報により指定される領域のフレーム間にわたる推移を追跡して、複数フレームのそれぞれにおける当該領域の形状を特定し、複数フレームのそれぞれについて、特定された前記領域の形状に基づいて、当該領域を示す近似図形の代表点を求め、複数フレームのそれぞれについて求められた前記近似図形の代表点に基づいて、前記時空間領域情報を生成することを特徴とする。
【００１１】
本発明によれば、ユーザは或る１フレームの領域形状の入力を入力することによって、自動的に領域の追跡および領域形状の近似を行い時空間領域情報を作成することが可能となる。
【００１２】
なお、装置に係る本発明は方法に係る発明としても成立し、方法に係る本発明は装置に係る発明としても成立する。  
また、装置または方法に係る本発明は、コンピュータに当該発明に相当する手段を実行させるための（あるいはコンピュータを当該発明に相当する手段として機能させるための、あるいはコンピュータに当該発明に相当する機能を実現させるための）プログラムとしても成立し、該プログラムを記録したコンピュータ読み取り可能な記録媒体としても成立する。
【発明の効果】
【００１３】
本発明によれば、時空間領域情報の入力・編集作業を効率的に行うことが可能になる。
【発明を実施するための最良の形態】
【００１４】
以下、図面を参照しながら本発明の実施形態について説明する。
【００１５】
本実施形態に係る時空間領域情報処理システムは、ユーザが時空間領域情報に対して編集等の処理を行うための機能を有するシステムである。
【００１６】
最初に、時空間領域情報について、図１及び図２を参照しながら説明する。
【００１７】
なお、時空間領域情報の内容、生成方法、利用方法などについては、例えば、前掲の特許文献１や特許文献２などに詳しく開示されている（それらに開示されている物体領域データが、この時空間領域情報の一形態に相当する）。
【００１８】
時空間領域情報は、種々の目的のために表示画面（例えばＧＵＩ画面）上に設けられる特定の領域の出現から消失までの時間的空間的領域（例えば、各フレームにおける２次元的領域の時間的推移）を示す情報である。また、時空間領域情報は、通常、映像（あるいは動画像）データに付随する情報である。映像データの内容そのものは、実写したもの、実写したものを加工したもの、ＣＧ、アニメーション、それらを組み合わせたもの等、どのようなコンテンツでもよい。なお、動画像データは、複数のフレームからなるものを想定して説明する。
【００１９】
この特定の領域は、例えば、映像データ中に存在する特定の物体（オブジェクト）を示す領域として利用することができる。この場合、あるフレームにおけるその特定の領域の形状が、そのフレームにおけるその特定の物体領域を表す（もしくは近似して表す）ものである。ここで、物体領域とは、映像中における一纏まりの領域部分であり、例えば、人、動物、植物、車、建物、道、川、太陽、雲など（あるいはその一部分、例えば人の頭、車のボンネット、建物の玄関など）、オブジェクトとして把握し得るものであれば、どのようなものでも扱うことができる。また、独立したものであってもよいし、ものの一部（例えば人の頭、車のボンネット、建物の玄関）であってもよいし、ものの集合（例えば鳥や魚の群）であってもよい。
【００２０】
図１に、以下の説明で用いる時空間領域情報のデータ構造の一例を示す。図１に示されるように、本例の時空間領域情報は、時空間領域情報識別情報（以下、ＩＤ情報）１０１、先頭時刻１０２、最終時刻１０３、形状フラグ１０４、軌跡データ１０５を含むものである。
【００２１】
ＩＤ情報１０１は、時空間領域ごとに付与される識別情報である。
【００２２】
先頭時刻１０２と最終時刻１０３は、当該ＩＤ情報に対応する時空間領域が存在する先頭と最終の時刻である。先頭時刻と最終時刻は、タイムスタンプによって表現してもよいし、フレーム番号で表現してもよい。
【００２３】
形状フラグ１０４は、領域形状がどのように表現されているかを示すものである。領域形状は、例えば、矩形、楕円、多角形などで表現されているため、それらを一意に区別するような情報が記述される。多角形の場合には、頂点数情報も形状フラグに付加される。
【００２４】
軌跡データ１０５は、時空間領域を表現するためのパラメータデータである。これは、先頭時刻から最終時刻までの時空間領域形状が決定できるようなものである。例えば、領域形状が矩形や多角形の場合における、各頂点の軌跡を関数近似したときのパラメータ、領域形状が楕円の場合における楕円の外接矩形頂点の軌跡を関数近似したときのパラメータ、などである。１０６のように、軌跡データ１０５は、１つの代表点について、Ｘ座標軌跡とＹ座標軌跡を別々に記述するため、軌跡データは、代表点数×２だけ存在する。
【００２５】
図２に、図１の時空間領域情報における各々の軌跡データ１０５のデータ構造の一例を示す。この例は、スプライン関数などで関数補間された連続する軌跡を表すためのもので、時間とＸ座標やＹ座標などのパラメータとの関係を格納するためのものである。
【００２６】
節点数２０１は、スプライン関数の節点の数を表しており、節点数−１個の多項式のデータ２０６があることを示している。スプライン関数は、隣接する節点の間の区間ごとにそれぞれ別の多項式で表現されるため、節点の数に対応した数の多項式が必要となる。したがって、節点フレーム番号、多項式の係数などを含むデータ２０６は、複数繰り返し記述される。
【００２７】
先頭節点時刻２０２は、スプライン関数の最初の節点の時刻を表す。
【００２８】
節点時刻２０３は、当該多項式データの終わりの節点時刻を表しており、この節点時刻まで多項式のデータ２０６が有効であることを示している。これはフレーム番号の代わりにタイムスタンプによって記述してもよい。多項式の係数データの数は、スプライン関数の最高次数により変化する（最高次数をＫとすると、係数データの数はＫ＋１となる）。そのため、係数データ数を多項式次数２０４に保存してある。多項式次数２０４の後には、多項式次数＋１個に相当する数の多項式係数２０５が続く。
【００２９】
時空間領域情報の表現の仕方は、上記の例に限定されるものではなく、各フレームにおける領域の位置情報が一意に決定するようなものであれば、どのようなものでもよい。例えば、あるフレームにおける領域形状と、そのフレームの領域形状から各フレームにおける時空間領域情報への領域変換を示す変換パラメータによって記述する方法がある。領域変換を示す変換パラメータの形式には、例えば、平行移動・一次変換・アフィン変換などがあるため、それらを一意に区別するような情報も記述される。このような時空間領域のさまざまな表現の方法についても前掲の特許文献１や特許文献２などに詳しく開示されている。
【００３０】
次に、このような時空間領域情報の利用方法について簡単に説明する。
【００３１】
映像データを表示する機能及び該映像データに付随する時空間領域情報を利用する機能を有するシステムでは、時空間領域情報に基づいて対象となるフレームにおける物体領域の近似図形の各代表点を求め（１つのフレームに複数の物体領域の近似図形が存在することもある）、該物体領域の近似図形の各代表点から該フレームにおける該近似図形の領域を求め、そして、映像データ上に該近似図形の外形を表示したり、あるいは映像データのうち近似図形の内部に相当する範囲を特定の表示形態で表示したり、あるいはユーザが画面上に表示中の映像上をマウスなどのポインティングデバイス等で指示した場合に例えばその時刻（フィールド）に物体領域の近似図形が存在し且つ指示位置が近似図形の内部であればその対象物体が指示されたと判断し何らかの処理を行うなどによって、効果的なシステムあるいはグラフィカル・ユーザ・インタフェース（ＧＵＩ）などを提供することができる。
【００３２】
例えば、時空間領域情報に関連情報（例えば、文字、音声、静止画、動画等、あるいはそれらを適宜組み合わせたもの、またはその格納アドレスを示すポインタ情報）が付加されている場合あるいは時空間領域情報とは別に各ＩＤ番号の情報に関連する関連情報を含むデータベースが存在するなどの場合に、ハイパーメディアや物体検索に用いることができる。例えば、ユーザが当該物体（又は当該物体及びその近傍）をマウス等で指定することにより、指定された時刻・場所が物体領域の内部であるか外部であるかを判定し、内部であると判定されれば、その物体に関する関連情報を検索させたり、表示させたりすることができる。例えば、映像が映画などのコンテンツ、物体が俳優等の登場人物もしくは他の登場物体、関連情報がその俳優もしくはその役柄等に関する説明であれば、映画を視聴している視聴者は、所望の俳優に関する説明をその俳優の画像をクリックするだけで閲覧することができる。同様に、電子百科事典、電子カタログ等のあらゆる電子コンテンツに適用可能である。
【００３３】
また、関連情報は、例えば、プログラムもしくは計算機の動作を記述したデータまたはその格納アドレスを示すポインタ情報であってもよい。この場合には、ユーザが当該物体を指定することにより、計算機に所定の動作を行わせることができる。
【００３４】
また、例えば、物体検索では、物体の通過位置、非通過位置、ある位置における大きさ、ある位置における滞在時間などを検索キーとして条件に合う物体を検索することができる。いずれの検索キーに対しても、物体の存在する時間区間に対して逐次代表点座標を取り出し、任意の点が代表点で構成される図形の内部か外部かを判定したり、面積を計算することにより条件を満たすかどうかが判断できる。また、例えば、関連情報にキーワードを記述しておけば、物体をキーワード検索することができる。さらに、関連情報にその物体から抽出した、シェープ、テクスチャ、アクティビティ、カラーなどの特徴量を記述しておけば、そのような特徴量をもとにオブジェクト検索することができる。また、例えば、時空間領域情報を解析することにより得られる、物体のシェープ、テクスチャ、アクティビティ、カラーなどの特徴量に基づいて、不審な人物等の監視を行う、監視システムを実現することができる。
【００３５】
なお、本実施形態の時空間領域情報処理システムは、作成者側のシステムに搭載することもできるし、ユーザ側のシステムに搭載することもできる。また、時間領域情報を生成する機能を有するシステムに搭載して、当該システムで生成された時間領域情報を編集対象とすることもできるし、時間領域情報を生成する機能を有するシステム又は時間領域情報を生成する機能を有しないシステムに搭載して、外部から読み込んだ時間領域情報を編集対象とすることもできる。
【００３６】
さて、以下では、本実施形態の時空間領域情報処理システムについて詳しく説明する。
【００３７】
図３に、本実施形態に係る時空間領域情報処理システムの構成例を示す。図３に示されるように、本時空間領域情報処理システムは、映像情報記憶部３０１、時空間領域情報記憶部３０２、表示部３０３、入力部３０４、時空間領域情報編集処理部３０５を備えている。
【００３８】
この時空間領域情報処理装置は、計算機上でプログラムを実行する形で実現することができる。また、そのプログラムを、他のソフトウェアの一機能として組み込むようにすることも可能である。また、必要に応じて、その計算機に、所望の機能を有するＯＳやドライバソフト、パケット通信用ソフト、暗号ソフト等といったソフトウェア、あるいは通信インタフェース装置や外部記憶装置や入出力装置等といったハードウェアを搭載あるいは接続することができる。
【００３９】
映像情報記憶部３０１は、映像データが記憶されているもので、例えば、ハードディスクや光ディスク、半導体メモリなどで構成される。
【００４０】
時空間領域情報記憶部３０２は、映像情報記憶部３０１に保存されている映像データにおける、近似矩形もしくは近似多角形の各頂点の軌跡や近似楕円に外接する矩形の各頂点の軌跡などによって表された時空間領域情報が記憶されているもので、例えば、ハードディスクや光ディスク、半導体メモリなどで構成される。この時空間領域情報は例えば図１に示されるようなデータ構造をもつ。
【００４１】
映像情報記憶部３０１と時空間領域情報記憶部３０２は、同じ物理デバイス上に存在していても、違う物理デバイス上に存在していてもよい。
【００４２】
時空間領域情報編集処理部３０５は、映像データや時空間領域情報の表示に関する処理や、時空間領域情報の編集に関する処理などを行う。また、新たに時空間領域情報を作成する機能も有する。
【００４３】
表示部３０３は、映像情報や時空間領域情報などに関する表示を行うためのものであり、例えば、ＣＲＴや液晶ディスプレイ等、情報を表示可能なものであれば、どのようなものでもよい。
【００４４】
入力部３０４は、ユーザからの指示入力や選択入力等を入力するためのものであり、例えば、キーボードやマウス等ユーザから入力可能なものであれば、どのようなものでもよい。なお、ここでは、表示部３０３と入力部３０４によりグラフィカル・ユーザ・インタフェースを構成するものとしている。
【００４５】
図４に、本実施形態に係る時空間領域情報処理システムに関する表示方法の一例を示す。
【００４６】
フレーム画像４０１は、映像データから抽出した各フレームの画像情報である。フレーム画像４０１は、フレーム番号にしたがって並べられて表示される。通常、全フレームのフレーム画像が表示されるが、選択されたフレームのみを表示してもよい。例えば、数フレームごとなど一定間隔で間引いて表示したり、映像の変化が大きいところや時空間領域の動きの大きいところなど映像情報や時空間領域情報の特徴を利用して表示するフレームを決めるなどの方法がある。なお、図４の具体例では、一部のフレーム（フレーム１０〜２１）についてサムネール表示した場合を例示している。
【００４７】
なお、フレーム画像４０１は、表示するか否かをユーザが選択可能にしてもよい。
【００４８】
近似図形４０２は、編集対象となる時空間領域情報から得られた当該フレームにおける１又は複数の近似図形の位置形状を示す。近似図形４０２は、フレーム画像４０１に重ね合わせて描画される。フレームによっては、近似図形が存在しないこともある。なお、図４の具体例では、近似図形が多角形（ここでは五角形）の場合を例示している。
【００４９】
近似図形は矩形や多角形の頂点座標（近似図形が楕円の場合は外接矩形の頂点座標）で表されているため、例えば、これら頂点を○や×で表示したり、近似図形の輪郭を実線や破線にて表示することができる。近似図形の内部もしくは外部の領域を輝度を落として表示したり、モノクロ画像にしたり、モザイクを描けたり、ある色で塗りつぶすなどなんらかの画像処理を行って表示してもよい。また、これらの表示方法を組み合わせて表示してもよい。
【００５０】
好ましくは、近似図形の頂点を区別できるように表示してもよい。例えば、近似図形が矩形であったときは４つの頂点で構成されるが、１番目の頂点を赤色、２番目の頂点を青色．．．、と言った具合に色分けして表示してもよい。また、それぞれの頂点のそばに頂点番号を記載してもよい。
【００５１】
フレーム情報４０３には、対応するフレームのフレーム画像４０１や近似図形４０２に関する情報が表示される。フレーム情報４０３には、どのような情報を表示するようにしても構わず、例えば、フレームの時刻情報や時空間領域情報の節点番号等を表示することができる。
【００５２】
スクロールバー４０４は、１画面内にすべてのフレーム画像４０１を表示することができないときに、表示されていないフレーム画像にアクセスするための手段である。スクロールバー４０４を操作することによって、現在表示されている時刻の前のフレーム画像や後のフレーム画像を画面内に表示することができる。もちろん、この手段はスクロールバーに限定されるものではなく、このように表示されていないフレーム画像にアクセスできるものであれば、例えば、ボタン等、どのようなインターフェースでもよい。
【００５３】
時空間領域情報選択リスト４０５は、編集する時空間領域情報を選択するためのものである。時空間領域情報選択リスト４０５には、例えば、時空間領域情報のＩＤ情報および（例えば当該時空間領域情報がどのようなものであるかについて記載されている）関連情報が表示される。なお、関連情報に加えて、あるいは関連情報の代わりに、時空間領域情報のうちの所定の情報（例えば、図１の一部又は全部あるいはこれを加工した情報）を表示してもよい。
【００５４】
選択されている時空間領域情報は、例えば、反転表示されるなどによって一目でわかるようになっている。もちろん、反転表示に限定されるものではなく、選択されている時空間領域情報とそうでない時空間領域情報が区別できるような方法であれば、どのような表示方法を採用してもよい。
【００５５】
編集すべき時空間領域情報の選択は、例えば、マウス等で所望の時空間領域情報選択リスト４０５をクリックすることによって行う。もちろん、編集する時空間領域を選択できる方法であれば、どのように方法であってもよい。
【００５６】
なお、選択された時空間領域情報の関連情報を編集可能としてもよい。
【００５７】
フレーム画像４０１は、通常、映像の１フレームの画像の全部を表示するが、例えば、近似図形４０２とその周辺のみなど、映像の１フレームの画像の一部のみを表示するようにしてもよい。逆に、映像の１フレームの画像より広い領域をフレーム画像４０１として表示して、近似図形４０２の位置が映像の１フレームの画像の外側にある（あるいは、近似図形４０２の一部が映像の１フレームの画像の外側にある）場合にも、近似図形４０２を表示できるようにしてもよい。また、任意の倍率に拡大や縮小操作を施して表示してもよい。このようにフレーム画像４０１に表示する画像を操作したとしても近似図形４０２の位置形状はフレーム画像４０１と対応するように表示される。
【００５８】
近似図形４０２は、通常、時空間領域が存在するフレームのみに表示されるが、時空間領域が存在するフレーム以外においても、そのフレームにおける近似図形形状を推測して表示してもよい。
【００５９】
この推定方法にはどのような方法を利用してもよいが、例えば、時空間領域が存在するフレームのうち表示するフレームに最も近いフレームでの近似形状をそのまま表示してもよいし、時空間領域が存在する任意の２フレームの頂点座標を直線近似して表示するフレームにおける頂点座標を算出してもよいし、代表点軌跡関数を算出し表示するフレームにおける該軌跡上の座標を算出してもよい。また、例えばオプティカルフローを求めるなど映像情報を利用して時空間領域内の点が表示するフレームにおいてどこに動いたかを算出してもよい。
【００６０】
時空間領域が存在するフレームでの近似図形の表示形態と、時空間領域が存在するフレーム以外においての近似図形の表示形態を変化させてもよい。時空間領域が存在するフレームでの近似図形の表示形態と、時空間領域が存在するフレーム以外においての近似図形の色や形などの表示形態を異なるものにすることで、ユーザにとって容易に両者を区別可能となる。
【００６１】
通常、時空間領域情報選択リスト４０５にて選択されている時空間領域情報のみが近似図形４０２として表示されるが、選択されていない時空間領域情報も近似図形４０２として表示してもよい。選択されている時空間領域情報に対応する近似図形４０２と、選択されていない時空間領域情報に対応する近似図形４０２との色や形などの表示形態を異なるものとしてもよい。表示形態を異なるものにすることで、ユーザにとって容易に両者を区別可能となる。
【００６２】
ユーザは、近似図形４０２をマウスやキーボード等の入力機器を用いて操作することにより、選択した時空間領域情報を編集する。
【００６３】
時空間領域情報の編集としては、例えば、次のようなものが考えられる。  
・近似図形の代表点の移動  
・近似図形の代表点の追加  
・近似図形の代表点の削除  
・近似図形の平行移動  
・近似図形の回転  
・近似図形の拡大  
・近似図形の縮小  
・近似図形の形状の変更（例えば、楕円近似から矩形近似への変更）
これらの編集操作は、例えば、キーボードによる座標位置の数値入力やマウスによるドラッグ・アンド・ドロップ操作など近似図形４０２を操作できるような方法であればどのようなものでもよいし、複数の方法の組み合わせでもよい。例えば、矩形や多角形の頂点をマウスでドラッグすることによってドラッグした頂点の座標を動かすようにすることができる。また、例えば、マウスで選択した頂点の座標をキーボードで数値入力することによって頂点の座標を変更するようにすることができる。
【００６４】
その際に、画面上に操作のためのガイドを表示してもよいし、表示したガイドを操作できるようにしてもよい。例えば、楕円（例えば近似図形が楕円の場合の楕円や近似図形が矩形の場合の当該矩形に外接又は内接する楕円）の長径と短径をガイドとして表示したり、近似図形の重心位置をガイドとして表示して重心位置を操作することによって、近似図形を平行移動できるようすることができる。
【００６５】
図５に、フレーム１４におけるｉｄ＝１の時空間領域情報に係る近似図形の１つの頂点を移動させる編集操作の例を示す。
【００６６】
ユーザにより編集操作が行われた場合、編集後の時空間領域情報をあらためて求める（時空間領域情報を更新する）。編集後の時空間領域情報を計算する方法は、基本的には、編集内容に応じて、編集が波及する時空間領域情報の範囲を特定し、該当する部分を計算して、編集の反映された時空間領域情報を求めるものであるが（また、編集後の時空間領域情報の計算方法は、時空間領域情報のデータ構造にも依存するが）、具体的には、どのようなものであってもよい。例えば、前掲の特許文献３に開示された方法を使用することも可能である。
【００６７】
ユーザが近似図形４０２を操作することによって、選択した時空間領域情報を編集した結果、他のフレームに表示している近似図形４０２の位置形状に変更が起きるときには、変更が起きたフレームの近似図形４０２を表示し直す。これにより、ユーザは常に他のフレームに与える影響を確認しながら時空間領域の編集作業を進めることが出来る。
【００６８】
図６に、フレーム１４におけるｉｄ＝１の時空間領域情報に係る近似図形の１つの頂点を移動させる編集操作を行った後に、時空間領域情報が更新され、更新された時空間領域情報をもとに表示をし直した例を示す。なお、ここでは、フレーム１２とフレーム１６がキーフレームで、編集されたフレーム１４では領域の形状の変化が一番大きく、編集されたフレーム１４とキーフレームとの間では編集されたフレーム１４からフレームが遠ざかるにつれてその領域の形状の変化が小さくなり、キーフレームでは領域の形状に変化がないような場合を例示している。
【００６９】
なお、図４の画面においても、近似図形４０２（又はその近傍）をマウス等で指定することにより、関連情報の表示等を可能にしてもよい。
【００７０】
図７に、時空間領域情報処理システムの時空間領域情報編集処理部３０５の処理手順の一例を示す。  
まず、時空間領域情報記憶部３０２に記憶されている時空間領域情報を読み込むとともに、当該時空間領域情報に関連する映像情報を映像情報記憶部３０１から読み込む（ステップＳ１）。
【００７１】
次に、ステップＳ１で読み込んだ映像情報および時空間領域情報を、所定の表示方法で表示部３０４に表示するための処理を行う（ステップＳ２、Ｓ３）。例えば、図４の時空間領域情報処理システムに関する表示方法の一例に示したように表示する。
【００７２】
次に、ユーザからの入力を受け付ける（ステップＳ４，Ｓ５）。  
ユーザから表示方法に関する入力（例えば、図４のスクロールバー４０４、時空間領域情報選択リスト４０５の操作や、近似図形４０２の表示方法の変更など）があった場合には（ステップＳ６）、表示方法の設定を変更し（ステップＳ７）、変更した表示方法の設定に従って、ステップＳ２及び又はステップＳ３を再度行う。そして、再度、ユーザからの入力待ち状態に戻る（ステップＳ４，Ｓ５）。
【００７３】
ユーザから時空間領域情報の編集に関する入力（例えば、前述したような近似図形４０２の形状の修正等や、時空間領域が存在するフレームの変更等）があった場合には（ステップＳ８）、時空間領域情報の編集（更新）の処理を行い（ステップＳ９）、そして、ステップＳ２及び又はステップＳ３を再度行う。そして、再度、ユーザからの入力待ち状態に戻る（ステップＳ４，Ｓ５）。
【００７４】
また、その他の入力があった場合には（ステップＳ１０）、該当する処理を行って（ステップＳ１１）、必要に応じてステップＳ２及び又はステップＳ３を行い、そして、ユーザからの入力待ち状態に戻る（ステップＳ４，Ｓ５）。
【００７５】
そして、例えばマウスにより終了ボタンが押され、あるいは終了コマンドが入力されるなどによって、この編集の終了の指示が入力された場合には（ステップＳ１０）、編集した時空間領域情報を、時空間領域情報記憶部３０２に保存する（ステップＳ１２）。
【００７６】
ユーザの編集操作から編集後の時空間領域情報を計算するとき（ステップＳ９）、編集後の時空間領域の形状を自動的に加工することもできる。例えば、近似図形の位置のみが変化して形状が変わらないことがわかっている場合には、ユーザの操作により近似図形の形状の変更があったとしても編集後の時空間領域情報の計算時には近似図形の形状が変わらないように（つまり始めのフレームの近似図形の平行移動のみで他のフレームの近似図形が表現できるように）することができる。他にも近似図形が楕円で示されていて真円に近い形状であるとき、編集後の時空間領域情報におけるあるフレームの近似図形が他のフレームの近似図形の平行移動およびＸ軸方向もしくはＹ軸方向の拡大縮小操作の組み合わせで表せるように（つまり楕円の回転がおきないように）することができる。
【００７７】
また、編集後の時空間領域情報を計算するとき（ステップＳ９）、時空間領域情報を構成する代表点軌跡を自動的に加工することもできる。例えば、代表点軌跡がスプライン関数で表現されているとすると、通常は編集前のスプライン関数の節点時刻を保存して編集後の代表点軌跡を計算するが、編集があったフレームに節点を追加して編集後の代表点軌跡を計算してもよい。このようにするとデータ量が増大する反面、スプライン関数に近似する際の近似誤差は小さくすることができる。
【００７８】
なお、上記の手順では、一連の処理が終了する際に、ステップＳ１２で編集後の時空間領域情報を時空間領域情報記憶部２に保存したが、ステップＳ９において編集後の時空間領域情報を時空間領域情報記憶部２に保存してしまう方法もある
また、この編集について、いわゆるアンドゥー、リドゥーを任意に可能としてもよい。
【００７９】
もちろん、これまで説明した手順は一例であり、その他にも種々のバリエーションが可能である。
【００８０】
ところで、図７のステップＳ１では、時空間領域情報記憶部３０２及び映像情報記憶部３０１から時空間領域情報を読み込んだが、その代わりに、新たに時空間領域情報を作成し、これを編集対象としてもよい。
【００８１】
図８に、新たに時空間領域情報を作成すべき処理手順の一例を示す。
【００８２】
まず、ステップＳ２１で、作成すべき時空間領域情報の先頭フレームにおける領域形状を入力する。これは映像中のどの領域に関する時空間領域情報を作成すべきかを指定するものであり、例えば、マウスで領域の輪郭をなぞったり、領域内の一点を選んだり、領域に含まれる特徴的な色を選ぶなどどのような方法によってもよい。
【００８３】
次に、ステップＳ２２で、指定した領域が次のフレームにおいてどこに移動したかを算出する。これは例えば、オプティカルフローを使う方法や、ブロックマッチングを利用する方法、フレーム画像の領域分割やエッジ位置による方法などどのような手法を用いてもいいし、これらの組み合わせ手法によってもよい。
【００８４】
ステップＳ２２の領域追跡処理を、終了フレームまで繰り返して行う。終了フレームであるかどうかの判定（ステップＳ２３）は、あらかじめ終了フレームを決めておいてもよいし、処理中のユーザからの割り込み入力によってもよい。また、領域追跡中の条件によって自動的に終了させてもよい。例えば、初期フレームの領域の情報と追跡中のフレームの領域の情報との類似度を計算し、類似度が一定値以下になったら追跡を終了するなどの方法がある。
【００８５】
ステップＳ２４では、ステップＳ２１からステップＳ２３までの処理により得られた各フレームの領域形状から時空間領域情報に変換する。１フレームごとに矩形や楕円や多角形に近似した後に、頂点や外接矩形の頂点でフレーム間の関係付けを行い時空間領域情報に変換する方法が一般的であるが、各フレームの領域形状をＸ，Ｙ，時間の３次元ボリュームデータとみなして、ボリュームデータの表面を近似する方法を利用するなど、どのような方法によってもよい。
【００８６】
好ましくは、作成すべき時空間領域の終了フレームにおいて領域形状を入力して、以前のフレームに向かって領域の追跡を行ってもよい。また、作成すべき時空間領域内の任意のフレームにおいて領域形状を入力して、前後のフレームに向かって領域の追跡を行ってもよい。
【００８７】
また、好ましくは、ステップＳ２１において複数の領域形状を入力して、ステップＳ２２にて入力した複数の領域形状を同時に追跡してもよい。追跡処理は各フレームにおいて、各領域ごとに次フレームにおける移動先位置を算出する。時空間領域への変換は全領域の追跡処理が終了してから行ってもよいし、各領域の追跡処理が終了するごとにそれぞれ行ってもよい。
【００８８】
新たに時空間領域情報が作成された場合、図４の画面においては、時空間領域情報選択リスト４０５において対応する情報が追加される。
【００８９】
なお、図７で説明したサムネール表示・編集・時空間領域情報の再計算・再表示の処理と、図８で説明した新たな時空間領域情報の作成とは、独立して実施可能である。
【００９０】
なお、以上の各機能は、ソフトウェアとして実現可能である。また、本実施形態は、コンピュータに所定の手段を実行させるための（あるいはコンピュータを所定の手段として機能させるための、あるいはコンピュータに所定の機能を実現させるための）プログラムとして実施することもでき、該プログラムを記録したコンピュータ読取り可能な記録媒体として実施することもできる。
【００９１】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００９２】
【図１】本発明の一実施形態に係る時空間領域情報のデータ構造の一例を示す図
【図２】同時空間領域情報の軌跡データのデータ構造の一例を示す図
【図３】同実施形態に係る時空間領域情報処理システムの構成例を示す図
【図４】同実施形態における表示方法の一例を示す図
【図５】同実施形態における表示方法の一例を示す図
【図６】同実施形態における表示方法の一例を示す図
【図７】同実施形態における処理手順の一例を示すフローチャート
【図８】新たに時空間領域情報を作成する処理手順の一例を示すフローチャート
【符号の説明】
【００９３】
３０１…映像情報記憶部、３０２…時空間領域情報記憶部、３０３…表示部、３０４…入力部、３０５…時空間領域情報編集処理部
【図１】
2005084805.tif 000003
【図２】
2005084805.tif 000004
【図３】
2005084805.tif 000005
【図４】
2005084805.tif 000006
【図５】
2005084805.tif 000007
【図６】
2005084805.tif 000008
【図７】
2005084805.tif 000009
【図８】
2005084805.tif 000010