(57)【要約】【課題】動画像において隠蔽された被写体像を提示できるようにする。【解決手段】一連の画像フレームを入力し、前記一連の画像フレーム内で物体が占める領域を示す領域情報を入力し、前記一連の画像フレームにおける第１の画像フレーム内の注目点を入力し、前記注目点に対応する物体の隠蔽物体領域を前記領域情報に基づいて推定し、推定された隠蔽物体領域の輝度値を前記一連の画像フレームから求めることにより提示用画像フレームを生成する。【選択図】図１
2006190207.tif 000002
【特許請求の範囲】
【請求項１】
一連の画像フレームを入力するステップと、
前記一連の画像フレーム内で物体が占める領域を示す領域情報を入力するステップと、
前記一連の画像フレームにおける第１の画像フレーム内の注目点を入力するステップと、
前記注目点に対応する物体の隠蔽物体領域を前記領域情報に基づいて推定するステップと、
推定された隠蔽物体領域の輝度値を前記一連の画像フレームから求めることにより提示用画像フレームを生成するステップとを有する画像生成方法。
【請求項２】
前記領域情報を入力するステップに代えて、前記一連の画像フレームから前記領域情報を推定するステップを有する請求項１記載の画像生成方法。
【請求項３】
前記隠蔽物体領域の概略形状を推定するステップと、
推定された概略形状を前記第１の画像フレームに重ねて提示するステップとを有する請求項１又は２記載の画像生成方法。
【請求項４】
前記隠蔽物体領域の輝度値を複数の画像フレームについて推定するステップと、
複数の画像フレームについて推定された複数の輝度値から一つの輝度値を決定するステップとを具備する請求項１又は２記載の画像生成方法。
【請求項５】
第１の画像フレーム内で物体が占める領域を示す第１領域情報を入力するステップと、
第２の画像フレーム内で物体が占める領域を示す第２領域情報を入力するステップと、
前記第２領域情報に対し変換パラメータを変えながら異なる変換を施すことにより、複数の変形第２領域情報を生成するステップと、
前記第１領域情報と前記複数の変形第２領域情報の各々との類似度を算出するステップと、
算出された類似度に基づいて前記変換パラメータを選択するステップと、
選択された変換パラメータを、フレーム間で同一物体を対応付ける情報として出力する画像処理方法。
【請求項６】
前記類似度を算出するステップは、
前記第１領域情報上の点から前記変形第２領域情報までの市街地距離若しくはユークリッド距離、又は、前記第２領域情報上の点から前記変形第１領域情報までの市街地距離若しくはユークリッド距離のいずれかを算出する距離算出ステップと、
前記第１領域情報上のＮ個の点又は前記第２領域情報上のＮ個の点に対して前記距離算出ステップを実行するステップと、
前記距離算出ステップにより得られたＮ個の点からの距離のうちＫ番目（０≦Ｋ≦Ｎ）の値を前記類似度として出力するステップとを有する請求項５記載の画像処理方法。
【請求項７】
請求項１記載の物体の領域情報を推定する画像処理方法であって、
前記一連の画像フレームに基づく時空間画像の各３次元画素について領域を区別する情報を与えた３次元ラベル画像を準備するステップと、
前記時空間画像内に３次元処理ボックスを配置するステップと、
前記３次元処理ボックスに対し、該３次元処理ボックスよりも体積が大きく、かつ、画像データが相似な領域に相当するペアレントボックスを求めるステップと、
前記３次元ラベル画像に対し、前記ペアレントボックスから前記３次元処理ボックスへの写像を施すステップとを有する画像処理方法。
【請求項８】
任意の注目フレームを先頭フレームとし、前記先頭フレームから所定数のフレームだけずらしたフレームを終端フレームとした時空間画像及び３次元ラベル画像を入力として、前記注目フレームを切り替えるステップを有する請求項７記載の画像処理方法。
【請求項９】
ｎ次元画像データ（ｎは２以上の整数）を入力するステップと、
前記ｎ次元画像データに対する領域分割によりｎ次元ラベル画像を生成する領域分割ステップと、
前記ｎ次元画像データ内にｎ次元処理ボックスを配置するステップと、
前記ｎ次元処理ボックスに対し、該ｎ次元ボックスよりも測度が大きく、かつ、画像データが相似な領域であるペアレントボックスを求めるステップと、
前記ｎ次元ラベル画像に対し、前記ペアレントボックスから前記ｎ次元ボックスへの写像を施すステップとを有する画像処理方法。
【請求項１０】
前記領域分割ステップは、
前記ｎ次元画像データ及びそのエッジ強度を入力するステップと、
前記ｎ次元画像データの一部の画素に対するラベルを入力するステップと、
エッジ強度のしきい値Ｔの初期値を設定するステップと、
前記ラベルが設定されておらず、かつ、前記エッジ強度がしきい値Ｔ以下の各画素に対し、隣接する画素に前記ラベルが設定されていればそのラベルを設定するラベル領域成長ステップと、
前記しきい値Ｔの値を増やしながら前記ラベル領域成長ステップを別途定めた条件を満たすまで繰り返すステップとを有する請求項９記載の画像処理方法。
【請求項１１】
前記エッジ強度を、注目画素とその周囲の画素の重みつき和によって得られる値の絶対値とする請求項１０記載の画像処理方法。
【請求項１２】
任意の注目フレームを先頭フレームとし、
前記先頭フレームから所定数のフレームだけずらしたフレームを終端フレームとしたｎ次元画像データ及びｎ次元ラベル画像を入力として、前記注目フレームを切り替える請求項９記載の画像処理方法。
【請求項１３】
動画像の画像フレームを時系列に並べた時空間画像データ中の任意の注目フレームを先頭フレームとし、前記先頭フレームから所定数のフレームだけずらしたフレームを終端フレームとしたデータを入力する第１ステップと、
前記時空間画像データ中の各画素に対し、領域を区別する情報を与えた時空間ラベル画像または被写体領域と背景領域とを区別する情報を与えた時空間マスク画像のいずれかに相当する時空間領域情報画像を準備する第２ステップと、
前記時空間画像データ内に、チャイルドボックスを配置する第３ステップと、
前記チャイルドボックスに対し、該チャイルドボックスよりも体積が大きく、かつチャイルドボックス内の時空間画像データが相似な領域であるペアレントボックスを求める第４ステップと、
前記３次元領域情報画像に対し、前記ペアレントボックスから前記チャイルドボックスへの写像を施す第５ステップと、
前記注目フレームを切り替えながら前記第１ステップ乃至第５ステップを実行するステップを有し、
前記第４ステップでは、前記ペアレントボックスの候補となるフレームを、前記ペアレントボックスの中心フレームと前記チャイルドボックスの中心フレームの差が別途定めた値となるフレームに限定することを特徴とする画像処理方法。
【請求項１４】
一連の画像フレームを入力する手段と、
前記一連の画像フレーム内で物体が占める領域を示す領域情報を入力する手段と、
前記一連の画像フレームにおける第１の画像フレーム内の注目点を入力する手段と、
前記注目点に対応する物体の隠蔽物体領域を前記領域情報に基づいて推定する手段と、
推定された隠蔽物体領域の輝度値を前記一連の画像フレームから求めることにより提示用画像フレームを生成する手段とを具備する画像生成装置。
【請求項１５】
第１の画像フレーム内で物体が占める領域を示す第１領域情報を入力する手段と、
第２の画像フレーム内で物体が占める領域を示す第２領域情報を入力する手段と、
前記第２領域情報に対し変換パラメータを変えながら異なる変換を施すことにより、複数の変形第２領域情報を生成する手段と、
前記第１領域情報と前記複数の変形第２領域情報の各々との類似度を算出する手段と、
算出された類似度に基づいて前記変換パラメータを選択する手段と、
選択された変換パラメータを、フレーム間で同一物体を対応付ける情報として出力する手段とを具備する画像処理装置。
【請求項１６】
ｎ次元画像データ（ｎは２以上の整数）を入力する手段と、
前記ｎ次元画像データに対する領域分割によりｎ次元ラベル画像を生成する領域分割手段と、
前記ｎ次元画像データ内にｎ次元処理ボックスを配置する手段と、
前記ｎ次元処理ボックスに対し、該ｎ次元ボックスよりも測度が大きく、かつ、画像データが相似な領域であるペアレントボックスを求める手段と、
前記ｎ次元ラベル画像に対し、前記ペアレントボックスから前記ｎ次元ボックスへの写像を施す手段とを具備する画像処理装置。
【請求項１７】
一連の画像フレームを入力する手順と、
前記一連の画像フレーム内で物体が占める領域を示す領域情報を入力する手順と、
前記一連の画像フレームにおける第１の画像フレーム内の注目点を入力する手順と、
前記注目点に対応する物体の隠蔽物体領域を前記領域情報に基づいて推定する手順と、
推定された隠蔽物体領域の輝度値を前記一連の画像フレームから求めることにより提示用画像フレームを生成する手順とをコンピュータに実行させるための画像生成プログラム。
【請求項１８】
第１の画像フレーム内で物体が占める領域を示す第１領域情報を入力する手順と、
第２の画像フレーム内で物体が占める領域を示す第２領域情報を入力する手順と、
前記第２領域情報に対し変換パラメータを変えながら異なる変換を施すことにより、複数の変形第２領域情報を生成する手順と、
前記第１領域情報と前記複数の変形第２領域情報の各々との類似度を算出する手順と、
算出された類似度に基づいて前記変換パラメータを選択する手順と、
選択された変換パラメータを、フレーム間で同一物体を対応付ける情報として出力する手順とをコンピュータに実行させるための画像処理プログラム。
【請求項１９】
ｎ次元画像データ（ｎは２以上の整数）を入力する手順と、
前記ｎ次元画像データに対する領域分割によりｎ次元ラベル画像を生成する領域分割手順と、
前記ｎ次元画像データ内にｎ次元処理ボックスを配置する手順と、
前記ｎ次元処理ボックスに対し、該ｎ次元ボックスよりも測度が大きく、かつ、画像データが相似な領域であるペアレントボックスを求める手順と、
前記ｎ次元ラベル画像に対し、前記ペアレントボックスから前記ｎ次元ボックスへの写像を施す手順とをコンピュータに実行させるための画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、例えば２次元のカメラで撮影された動画像において、一部の映像シーンで他の物体により隠蔽された被写体があるとき、被写体の隠蔽領域を推定して提示するための画像生成方法、画像生成装置、および画像生成プログラムならびに画像処理方法、画像処理装置、および画像処理プログラムに関する。
【背景技術】
【０００２】
撮影された映像シーンにおいて隠蔽された被写体を見たいという要求がある。
【０００３】
この実現にあたり、従来、例えば下記非特許文献１に記載されているように、あらかじめ隠蔽された領域を含んだ映像を多数撮影して３次元空間に対応するデータを保持しておき、ユーザにより３次元空間中の位置（すなわち視点）を変化させる指示があると、これに応じて視点を変化させた３次元空間の画像を提示するようにしている。
【０００４】
下記非特許文献１に記載された画像提示処理の概略手順は次の通りである。隠蔽された領域をユーザが見るためには、先ず３次元空間における視点変更のユーザ指示を受け付ける。つまり、隠蔽された領域をあらわにするような視点に変更する。受け付けた指示に従い、画像提示処理プログラムは、保持している３次元画像情報に基づいて２次元表示画像を生成する。２次元表示画像の生成は、あらかじめ撮影しておいた多視点の画像から、上記ユーザ指示による視点にもっとも近い画像を探し出し、必要に応じて補間を行うことにより行われる。生成された２次元表示画像を提示することにより、ユーザは３次元画像において隠蔽された領域を見ることができる。
【非特許文献１】S. E. Chen, "QuickTime VR: an image-based approach to virtual environment navigation", Proceedings of the 22nd annual conference on Computer graphics and interactive techniques (ACM SIGGRAPH 95), pp.29-38, 1995.
【発明の開示】
【発明が解決しようとする課題】
【０００５】
３次元空間において隠蔽された被写体を画像として提示するにあたり、任意の視点に対応した画像情報が既に得られている場合に限っては、上記非特許文献１に記載のような従来技術は有効である。しかしながら、２次元の動画像撮影用カメラによって撮影されたような画像は視点が固定であったり、視点情報が欠落していたりする。つまり、３次元空間上の任意の視点に対応した画像が常に準備される訳ではない。したがって、ユーザによる視点変更の指示に応じて提示すべき画像を再構成することは本来的にできない。
【０００６】
そして、上記２次元の動画像撮影用カメラ（例えば防犯カメラなど）によって撮影された画像についても、隠蔽された被写体を画像として提示できる技術を実現することが要請されている。
【０００７】
そこで本発明は、２次元の動画像撮影用カメラによって撮影された画像のように視点が固定であったり、視点情報が欠落しているような場合であっても、隠蔽された被写体を画像として提示できるようにするための画像生成方法、画像生成装置、および画像生成プログラムならびに画像処理方法、画像処理装置、および画像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明の一観点に係る画像生成方法は、一連の画像フレームを入力するステップと、前記一連の画像フレーム内で物体が占める領域を示す領域情報を入力するステップと、前記一連の画像フレームにおける第１の画像フレーム内の注目点を入力するステップと、前記注目点に対応する物体の隠蔽物体領域を前記領域情報に基づいて推定するステップと、推定された隠蔽物体領域の輝度値を前記一連の画像フレームから求めることにより提示用画像フレームを生成するステップとを有する画像生成方法である。
【発明の効果】
【０００９】
本発明によれば、動画像において隠蔽された被写体像を提示できるようになる。
【発明を実施するための最良の形態】
【００１０】
(用語の定義)  
本発明の実施形態を説明するにあたり、以下の用語を定義する。
【００１１】
２次元のユークリッド距離空間の部分集合を「画面」と称する。画面を構成する単位領域(画面に含まれる２次元の集合)を「画素」と称する。画素は、例えば画面を左右、上下それぞれ等間隔に区切られた領域とする。画面の区切り方はこれに限定されず、例えばゆがみがあっても良いし、正６角形を用いてハチの巣状に区切られていても良い。画素に関連付けられたベクトルを「輝度値」と称する。輝度値は、例えばデジタルカメラにおける３次元のＲＧＢ値やＹＵＶ値に相当し、色を表す。各画素に輝度値が関連付けられた画面全体を「画像」又は「静止画像」と称する。時系列順に並べられた複数の画像を「動画像」と称する。また、動画像中の一枚の画像を「画像フレーム」と称する。すなわち、動画像は一連の画像フレームから構成される。
【００１２】
入力された情報等に基づく画像処理によって未知の情報を決定することを「推定」と称する。画像内の各画素が被写体であるか背景であるかを区別するデータ（例えば０，１の２値、あるいは０〜１の範囲の小数値）を「マスク画像」と称する。また、画像内の各画素がどの領域に属するかをあらわすデータ（例えば画素ごとにＮ個の領域に対応する１、２、３、４、・・・、Ｎという領域番号を付与したデータ）を「ラベル画像」と称する。
【００１３】
図１は本発明の一実施形態に係る画像生成装置のブロック図である。同図に示すように、画像生成装置１００は、動画像記憶部１０１、領域情報記憶部１０２、隠蔽領域推定部１０３、画像生成部１０４を具備する。画像生成装置１００には表示装置１０５およびマウス１０６が接続されている。動画像記憶部１０１は動画像入力部１０７を介して入力された動画像の一連の画像フレームを記憶する。また、領域情報記憶部１０２は領域情報入力部１０８を介して入力された物体の領域情報を記憶する。この物体の領域情報は、入力された動画像の一連の画像フレームの各々において物体が占める領域を示す領域情報である。
【００１４】
ユーザは、表示装置１０５を観察しながらマウス１０６を操作することにより、一連の画像フレームにおける第１の画像フレーム内の注目点を入力することができる。隠蔽領域推定部１０３は、入力された注目点に対応する物体の隠蔽物体領域を、領域情報記憶部１０２に記憶された領域情報に基づいて推定する。画像生成装置１００は、推定された隠蔽物体領域の輝度値を動画像記憶部１０１に記憶された動画像データから求めることにより提示用画像フレームを生成する。生成された提示用画像フレームは例えば表示装置１０５により表示される。
【００１５】
画像生成装置１００は、動画像記憶部１０１に記憶された一連の画像フレームに基づいて、物体の領域情報を推定する領域情報推定部を具備してもよい。物体の領域情報の推定については後に詳述する。
【００１６】
尚、本発明は、コンピュータを画像生成装置１００として機能させるプログラムとして実施することもできる。この場合、本発明に係るプログラムは、コンピュータ内のプログラム記憶装置に格納される。プログラム記憶装置は、例えば不揮発性半導体記憶装置や磁気ディスク装置等からなる。上記プログラムが図示しないＣＰＵからの制御でランダムアクセスメモリ（ＲＡＭ）に読み込まれ、同ＣＰＵにより実行されることにより、コンピュータを画像生成装置１００として機能させることができる。なお、このコンピュータには、各種コンピュータ資源を管理し、ファイルシステムや各種通信機能、ならびにグラフィカルユーザインタフェース（ＧＵＩ）等を提供するオペレーティングシステムも導入されている。
【００１７】
本発明の実施形態に係る画像生成方法の概要を、図２を参照しながら説明する。
【００１８】
動画像において、隠された領域の画像が他のフレームに含まれていることはしばしばある。この例を図２に示す。図２は、被写体201と、当該視点から見た際の該被写体201に対する障害物202とが同時に撮影された動画像の画像フレームを示したものである。図２の中央のフレームにおいて、被写体201の中央付近は障害物202に阻まれて見ることができない。しかし、中央のフレームで見えない部分は、左のフレームや右のフレームでは見えている。例えば中央のフレームを注目フレームとするとき、本発明の実施形態に係る画像生成方法は、他のフレームで見えている画像から中央のフレームにおいて障害物２０２等によって見ることができない隠蔽物体領域を推定し、この中央のフレームについて、隠蔽物体領域の輝度値を求めることにより提示用画像フレームを生成するというものである。
【００１９】
(物体領域情報が既知の場合の処理手順)  
動画像に物体領域情報が付与されており、それが利用可能である場合、該物体領域情報は領域情報入力部１０８を介して本装置１００に入力され、領域情報記憶部１０２に記憶される。以下、このように物体領域情報が既知である場合の処理手順を図３に示すフローチャートを参照しながら説明する。物体領域情報は、具体的には、画像中の物体の存在する領域をあらわすデータからなる。例えば図２に示した左フレームの被写体201の物体領域情報は、図４の黒領域701のように示すことができる。
【００２０】
図３に示すように、はじめに、注目点の入力、例えばユーザによる物体指定の入力を受理する(S101)。上述したように、この注目点の入力はマウス１０６等を用いて行うことができる。次に、領域情報記憶部１０２に記憶されている物体領域情報に基づいて、注目点を含む物体（指定物体）について、その隠蔽物体領域を複数のフレームに対して推定し(S102)、注目フレーム以外のフレームの物体領域の画像から注目するフレームにおける隠蔽物体領域の画像を求め、注目フレームの画像を更新する(S103)。最後に、隠蔽物体領域を含む、更新後の注目フレーム画像を表示する(S104)。なお、S104においては、被写体201を含む注目フレームの全体を表示してもよいし、隠蔽物体領域に相当する画像部分の輝度値が更新された被写体201のみからなる画像を抽出して提示してもよい。
【００２１】
(プレビュー表示)  
物体領域情報を利用して、注目点の指定による画像選択の際にユーザに対してフィードバック(プレビュー)を提示することが好ましい。これを図５のフローチャートに沿って説明する。図６の左側に示すようにユーザがマウスカーソル３０１を画像中の物体上に移動させた場合を考える(クリックはされていない)。ここで、物体領域情報を参照することにより、マウスカーソル３０１に対応する物体領域を知ることができる(S601)。マウスカーソル３０１によってどの領域が選択されようとしているのかを図６の右側に示すように概略形状マーク401として画面に表示する(S602)。これは、MPEG-7のメタデータのように物体領域情報が概略のみを含む場合であっても適用可能である。なお、物体領域情報が付与されていない場合でも、ユーザに画像を提示する前に個々の物体領域を求めておけば同様の処理を実現可能である。
【００２２】
(変形例)  なお、本実施形態ではマウス１０６を用いる操作例としているが、マウスカーソル３０１を動かして決定する操作には、キーボードやジョイスティックやリモコン(上下左右への移動、決定にそれぞれキーボードのボタンを使用) 、音声認識(上下左右、決定を声で指示する、オブジェクトが既知の場合はあらかじめオブジェクトの順序を用意しておき、マウスカーソルを上下左右に移動させるかわりに次のオブジェクトへの移動を声で指示するなど)等を使用しても良い。
【００２３】
(隠された領域の推定方法)  
図３のS102(注目点に対応する物体領域の推定)における具体的な処理手順を図７のフローチャートに従って説明する。物体領域情報が与えられると、図８の801に示すようにフレームごとの物体領域は既知となるが、隠された領域は背景と同じように扱われるために未知の領域である。例えば、図８において被写体801の下部が欠落していることはこの時点ではわからない。しかし、図８の被写体801と別のフレームの被写体(図４の被写体701)が同じ被写体であることは既知である。そこで、対象フレームの形状801(S1501)、参照フレームの形状(S1502)が与えられたら、被写体701に例えばアファイン変換(平行移動、回転などの線形変換による変形，図９参照)を施した変形被写体(S1503)すなわち変形領域情報を多数用意し（例えば−１６〜＋１６画素の範囲の平行移動、−１５度〜＋１５度までの回転、０．８０〜１．２０までのサイズ変更をそれぞれ別途定めた間隔で変化させたパターンを用意する）、それぞれの変形被写体と被写体801とを比較して類似度Ｈを算出し(S1504)、最も被写体との類似度Ｈが近いものを探す(S1505)。これにより、図４の被写体701と図８の被写体801とを対応付けるアファイン変換のパラメータが得られる。
【００２４】
このようにアファイン変換のパラメータは、参照フレームの領域から現在フレームの領域への変形をあらわすパラメータであって、例えば「前のフレームを左に１画素、下に４画素ずらし、１０度左回転したものを０．９倍に縮小」といったアファイン変換（他の変換も表現可能）を具体的に特定するパラメータである。本実施形態において上記のように求められたアファイン変換のパラメータによれば、現在フレームで欠落する部分が、参照フレームでどの部分に対応するかがわかる。すなわち、参照フレーム内の輝度値（コピー元）を決めることができる。
【００２５】
領域情報を比較する類似度Ｈとしては、例えば参考文献１（Haifeng Xu et al., "Automatic Moving Object Extraction for Content-Based Applications", IEEE Transactions on Circuits and Systems for Video Technology, pp.796-812, vol.14, no.6, June 2004.）に記載の拡張ハウスドルフ距離や、変形被写体と被写体801で異なる領域の画素数とすることができる。
【００２６】
ここで、拡張ハウスドルフ距離について説明する。はじめに、点と点の距離をユークリッド距離又は市街地距離として定義する。このとき、領域Ｘ上の１点ｘと領域Ｙの距離は「領域Ｙ上のすべての点ｙに対し点ｘとの距離を算出したとき、その最小値」となる。このとき、領域Ｘから領域Ｙへの拡張ハウスドルフ距離は、領域Ｘ上のＮ個の点に対して「領域Ｘ上の１点ｘと領域Ｙの距離」を求めれば、そのＫ番目（０≦Ｋ≦Ｎ）の値として求められる。領域Ｘから領域Ｙへの拡張ハウスドルフ距離と領域Ｙから領域Ｘへの拡張ハウスドルフ距離は同じとは限らず、別の値が得られることもある。特に、一方の領域Ｘが他方の領域Ｙに含まれている場合は、領域Ｘ（小さいほうの領域）から領域Ｙ（大きいほうの領域）への距離は０となる。この(方向を持つ)拡張ハウスドルフ距離を使い、例えばこの２つの距離の最大値、あるいはいずれか一方の値を用いて類似度とする。
【００２７】
図９に示される黒領域は、物体領域に対応するラベルを表している。対象フレーム(図９のX03)に対して最も類似度の近いフレームを参照フレームX01、参照フレームX02から探し、X03の画像と重ねる(OR領域を算出する)と、X04、X05のように、それぞれ被写体の一部が欠落した画像を生成できる。これらを重ね合わせる(OR領域を算出する)と、障害物に隠される前の被写体の形状(X06)がわかる。得られた形状X06には存在するがX03には存在しない部分を、以後の復元の対象とする。この例はすべての参照フレームのOR領域を計算する場合であるが、対象フレームと個々の参照フレームを重ねた形状(X04、X05のような形状)が多数あると、それらすべてのOR領域の計算によりノイズ等を含む可能性が高くなる。この場合、あらかじめしきい値を決めておき、画素ごとに、対象フレームと個々の参照フレームを重ねた形状が何回出現するかをカウントし、その数がしきい値以上である場合にのみ物体領域であると判断することとすれば、ノイズの影響が抑えられるので好ましい。
【００２８】
(隠された領域の別の推定方法)  
なお、S102(注目点に対応する物体領域の推定)における物体領域の推定において、アファイン変換のパラメータを得るために拡張ハウスドルフ距離による類似度を用いる方法を説明したが、例えば参考文献２（金子敏充，堀修，「小領域のブロックマッチングを複数用いたロバストなオブジェクト追跡法」，電子情報通信学会論文誌Ｄ−ＩＩ，Ｖｏｌ．Ｊ８５−Ｄ−ＩＩ，Ｎｏ．７，ｐｐ．１１８８−１２００，２００２年７月）に記載された方法を用いることによっても、アファイン変換のパラメータを推定できる。また、変形の種類はアファイン変換に限定されない。例えば、２次の変換、つまりアファイン変形に加えてｘの２乗、ｙの２乗およびｘとｙの積を考慮した変換を用いても良い。
【００２９】
(欠落領域の画像の輝度値を求める方法)  
図３のS103(画像フレームの物体領域を推定・更新)における具体的な処理手順を説明する。欠落領域の画像の輝度値を求めるには、S102のステップにより対応づけられた領域のうち、801に含まれないが変形被写体に含まれる領域の画像のみを元画像に重ね書きすれば良い。
【００３０】
しかし、そのまま上書きを行うと、被写体801と変形被写体の境界付近に不自然さが残ってしまう。この不自然さは、境界部分を空間方向あるいは時間方向でぼかすことにより軽減できる。「空間方向でぼかす」とは、例えば、被写体801と変形被写体の境界の周囲１画素を対象として、それぞれの画素の輝度値をその画素を含む３×３画素の輝度値の平均値で置き換えることである。これにより境界付近が適度にぼやけることから、重ね書きによる不自然さが軽減される。「時間方向でぼかす」とは、例えば、複数フレームにおいて同様の方法で被写体801の輝度値を推定して複数の変形被写体を得て、被写体801とそれらの変形被写体の(各画素で隠されていない部分について)平均値を算出して輝度値を求めることである。
【００３１】
(物体領域情報が付与されていない場合の方法１：背景静止時)  
物体領域情報が既知の場合の処理手順について以上説明したが、次に、物体領域情報が付与されておらず既知でない場合について説明する。物体領域情報が付与されていない場合でも、図３のフローチャートのS102よりも前に物体領域情報の推定を行うステップが追加される。ここで、背景が静止していると仮定するとき(これは例えば監視カメラで撮影した映像では適切な仮定である)、物体情報の推定は例えば次に説明する３段階のステップで行う。
【００３２】
ステップ１：移動物体検出  
ステップ２：複数の画像フレームでの同一物体の対応付け  
ステップ３：各フレームにおける物体領域情報の算出  
上記ステップ１、２には例えば参考文献３（藤吉弘亘，榎本暢芳，長谷川修，金出武雄，「アクティビティモニタリング−屋外監視映像の要約とＷＷＷ上表示・検索システム−」第７回画像センシングシンポジウム講演論文集，ｐｐ．４２３−４２８，Ｊｕｎｅ  ２００１）に記載された方法を利用できる。この参考文献３の方法では、動画像を入力とし、物体を含む矩形領域を得る。背景が静止していると仮定して移動物体を検出し、カルマンフィルタに基づく物体追跡により同一物体を対応付ける。この時点で物体ごとに、動画像(時空間画像)を３次元の画像とみなした場合の、３次元のチューブ状の領域が得られている。ステップ３では参考文献４（竹島秀則，井田孝，堀修，松本信幸，「時空間画像の自己相似性を用いたオブジェクト輪郭の抽出」，電子情報通信学会技術報告（信学技報）ＯＩＳ２００３−３７，ｐｐ．３９−４４，Ｓｅｐｔ．２００３．）又は参考文献５（T.Yoshida and T.Shimosato, "Motion Image Segmentation Using 3-d Watershed Algorithm", in Proceedings of IEEE International Conference on Image Processing 2001 vol II, pp.773-776.）に記載された方法により、時空間画像空間上の大まかな領域に基づく正確な領域を算出する。なおステップ３では、フレームごとに上記参考文献１に記載されたWatershedや、参考文献６（Kass, A. Witkin, and D. Terzopoulos, "Snakes: Active contour models", International Journal of Computer Vision, vol. 1, no. 4, pp. 321-331, 1987.）や、参考文献７（Takashi Ida and Yoko Sambonsugi, "Self-Affine Mapping System and Its Application to Object Contour Extraction", IEEE Transactions on Image Processing, Vol.9, No.11, November 2000.）に記載された方法を用いて大まかな形状から真の形状を得ても良い。このようにして物体領域情報が得られたら、図３のフローチャートのS102以降を実施できるようになる。
【００３３】
(物体領域情報が付与されていない場合の方法２：背景静止の仮定なし)  
物体領域情報が付与されていない場合の別の方法として、時空間画像を用いた例を説明する。この方法は次に説明する３ステップで構成され、背景が静止しているという仮定を必要としない。
【００３４】
ステップ１：時空間画像に対して領域分割を行う。  
ステップ２：各物体に対して画像フレームごとに特徴量を算出する(多くの場合、ステップ１では過剰分割されるが、この状態でステップ２を行う)。  
ステップ３：ステップ２の結果から同一と考えられる物体を統合する。  
上記ステップ１では、参考文献８（M. A. El Saban and B. S. Manjunath, "Video region segmentation by spatio-temporal watersheds", IEEE International Conference on Image Processing (ICIP), Barcelona, Spain, vol. 1, pp. 349-352, Sep. 2003.）や参考文献９（Y. Ueshige, Y. Kuroki, and T. Ohta, "Region Segmentation for Video by Using 3D-IFS Coding", in Proceedings of 22nd Picture Coding Symposium, pp.378-380.）に記載された時空間画像の領域分割を使い、動画像に対する領域分割を行う。ステップ２では、各物体に対して特徴量、例えばＲＧＢ色の平均値及び分散を計算する。ステップ３では、（Ｒ平均，Ｇ平均，Ｂ平均，Ｒ分散，Ｇ分散，Ｂ分散）の６つのパラメータに対してそれぞれ差分絶対値を求め、その重みつき総和(重みは別途定める)が別途定めたしきい値以下の場合に同一と判断し統合する。これによって、動画像中で物体ごとに分割された領域が得られる。このようにして物体領域情報が得られたら、先の場合と同様に、図３のフローチャートのS102以降を実施できるようになる。
【００３５】
(マルチラベル縮小写像による3D-IFS領域分割 − 位置づけ)  
上記参考文献９に示された時空間の領域分割は、静止画の手法である参考文献１０（特開平8-329255号公報（フラクタル領域分割））を時空間に拡張した拡大写像に基づくものであり、ノイズには強いが、拡大写像により得られる領域境界は不安定なものとなる。さらに、時空間画像全体を処理した後にK-Means法や周期点の分類で領域の決定を行うため、逐次処理が困難である。そこで、本発明の実施形態では、静止画を対象とする参考文献１１（特開2001-188910号公報（マルチラベルのフィッティング及び領域分割、以下、「2D-IFS領域フィッティング」と称する））に記載の方法を改良した新しい方法(以下、「3D-IFS領域フィッティング」と称する)を利用する。2D-IFS領域フィッティングは縮小写像を使うため領域境界は安定するが、この方法に関する時空間画像への適用を示唆する従来技術は存在しない。そこで本発明の実施形態では、動画像（時空間画像）を対象とするが上記参考文献１１と同様に拡大写像を使わない方法をとることで、時空間画像を用いる場合に必要な領域分割を安定に行う。さらに、Watershedとの組み合わせによる高精度化及び時空間画像の逐次処理の方法を与える。
【００３６】
(マルチラベル縮小写像による3D-IFS領域分割方法)  
時空間画像は３次元の画素によって構成される３次元画像の一種である。以下、時空間画像の領域分割について、図１０のフローチャートに従って説明する(この手法は３次元画像にもそのまま適用できる)。はじめに、時空間画像及び初期ラベルを入力として与える(S1601)。次に、時空間の３次元で、３次元処理ボックスを配置する(S1602)。次に、それぞれの処理ボックスに対して、画像中で処理ボックス内の画像と相似な領域を探す(S1603)。S1603の探索はフラクタル符号化として知られ、例えば、図１１の時空間画像において、図１２のチャイルドボックス1201の処理ボックスが与えられたら、画像中で1202と相似に近い部分である図１２のペアレントボックス1202を探す処理のことである。これにより、それぞれの処理ボックス(チャイルドボックス)とそれに対応する相似な領域(ペアレントボックス)が求められる。ここで、ペアレントボックスの形は、ペアレントボックスからチャイルドボックスへの写像が縮小写像となるように決めておけばよいが、以下では、ペアレントボックスが、チャイルドボックスの各辺を２倍した形状に相当するものであるとして説明する。この場合、得られたペアレントボックスからチャイルドボックスへの写像は、４画素の内容を１画素に写像する（図１３参照）。ラベル画像に対してこの写像を適用する場合、写像後のラベル値を４画素の内容の多数決で決めるようにすると（２つのラベルが同数の場合はあらかじめ定めた基準で決める、例えば最大値や最小値を選ぶ）、上記参考文献１１と同様に、同一領域には同じラベルが付与されるようになる。なお、S1601の初期ラベルとしては、例えば全画素に独立したラベル値を与えればよい。また、別の領域分割手法の出力を3D-IFS領域フィッティングの入力としても良い。Watershedの出力を3D-IFS領域フィッティングの入力とする例は後述する。S1602の処理ボックスの配置については、フラクタル符号化のように時空間画像の画素全体を覆うように配置すれば良い。また、マスク画像を対象とした上記参考文献７や参考文献１２（特開2004-240913号公報（時空間フラクタル輪郭抽出法））に記載の方法を一般のラベル画像に拡張し、ラベル画像をスキャンしながら、注目画素の近傍に異なるラベル値を持ち、かつ、処理ボック
スが配置されていない場所に処理ボックスを配置しても良い。
【００３７】
3D-IFS領域フィッティングの上記参考文献９にはない利点は、逐次処理が可能な点である。図１４に時間軸と処理対象とするフレームとの関係を示す。図１４で処理中のフレームと記載された部分が、上述した3D-IFS領域フィッティングの画像全体にほぼ対応する。この方法のフローチャートを図１５に示す。
【００３８】
はじめに、先頭フレームを動画像の先頭に設定し(S2301)、終端フレームを例えば先頭フレーム＋２０フレームというように、別途定めたフレーム数だけずらしたフレームとする(S2302)。次に、図１４の1801を対象として3D-IFS領域フィッティングを行う(S2303)。動画像の終端まで処理を行ったか調べ(S2304)、終端でなければ先頭フレームを１フレームずらしたフレームとしてS2301以降のステップを繰り返す。具体的には、例えば先に図１４の1801を処理したのであれば、次に１フレームずらした1802を対象として3D-IFS領域フィッティングを行う。以下、1803、1804に示すように１フレームずつずらしながら同様に3D-IFS領域フィッティングを繰り返す。これにより、一度に画像処理を行うフレーム数が一定となるため、時間さえかければ入力フレーム数が多くても、限られたメモリで時間方向のつながりを考慮したラベル画像を得ることができる。
【００３９】
ここで、3D-IFS領域フィッティングの効果を高める探索範囲限定法について、概要を説明する（ペアレントボックスとチャイルドボックスの相似比は1/2とする）。３次元のフラクタル符号化では、例えばペアレントボックスの候補として、チャイルドボックスを含むすべてのボックスを候補としている。図１６を例に説明する。図１６は、チャイルドボックス２４０１がフレーム９〜１４にあるとき、ペアレントボックス２４０２の候補としてフレーム４〜１４、フレーム５〜１５、・・・、９〜１９が探索の対象となり、その結果ペアレントボックス７〜１７が選ばれた状態を示している。これに対し、図１７のように常にチャイルドボックスの端フレームとペアレントボックスの端フレームが重なるように探索を行うと（以下、「探索範囲限定法」と称する）、つまりこの例では探索範囲を９〜１９のみに限定すると、以下の２つの効果を得ることができる。  
（効果Ａ）ラベル数が増えない領域分割を実現できる。  
（効果Ｂ）常に端フレームに対応したラベルデータが得られる。  
ここで用いる領域分割は、隠された部分を他のフレームに対応付けるためのものである。したがって、対応付けにおいて余分な領域が発生しない手法は望ましく、上記効果Ａは重要である。はじめに効果Ａが得られる理由を説明する。探索範囲限定法により得られたチャイルドボックス・ペアレントボックスでは、S1604の写像を行う際に、フレーム４〜５がフレーム９に、フレーム６〜７がフレーム１０に、・・・、フレーム１３〜１４がフレーム１４に、それぞれコピーされる。したがって、フレーム１４以外のすべてのフレームは過去フレームからコピーされる。ここで、写像前にはフレーム１４のデータが存在しないと考えて、Ｓ１６０４の写像においてフレーム１４のラベル値を決める際に、フレーム１３・フレーム１４の４画素の多数決の代わりにフレーム１３の２画素の最大値（または最小値）で決めるようにすると上記効果Ａが得られる。あるいはＳ１６０４の前にフレーム１４にフレーム１３の内容をコピーしても同様に上記効果Ａが得られる。あるいは、同数の場合の決定方法として最小値（最大値）を用いているのであれば、フレーム１４のすべての画素に、フレーム１３のすべての画素よりも大きい（または小さい）未使用の異なるラベル値を割り当てても上記効果Ａが得られる。
【００４０】
次に、上記効果Ｂが得られる理由を説明する。探索範囲限定法を使えば、探索に必要な画像はチャイルドボックスの端フレームを超えることはない。したがって、端フレームにチャイルドボックスの端フレームが重なるように配置すれば、そのチャイルドボックスに対応したラベルデータが得られる。なお、探索範囲限定法そのものは、3D-IFS領域フィッティングに限定されず、入力がラベル画像ではなくマスク画像の場合(上記参考文献１２で述べられているトラッキング手法)にも適用可能である。探索範囲限定法では端フレームのマスク画像は既知のマスク画像からコピーされてくるために、上記参考文献１２で必要であった未来のフレームを予測する処理が不要になる。この予測処理は容易ではないことから、探索範囲限定法により予測不要となることは上記参考文献１２の方法に対しても有益である。
【００４１】
マスク画像とラベル画像の両方（以下、領域情報画像）における探索範囲限定法の流れについて、図１０および図１８〜図２１を参照して説明する。なおこの例では、図１０に示されたラベル画像は領域情報画像と読み替えて説明する。S1601により処理すべき画像・領域情報画像が与えられる。図２１は時空間中の領域情報画像をあらわしており、2901は既知の被写体領域（ラベル画像での領域１）である。これをｘ軸に垂直な切断面で切断すると、その領域情報画像の領域境界は例えば図１８の2603のようになっている。ここで、2601は輝度値画像内の被写体である。このように、当初は領域情報画像の被写体と輝度値画像の被写体とは位置が大幅にずれている。チャイルドボックスの配置(S1602)により配置されたチャイルドボックスの１つを2602に示す。2602に対して探索範囲限定法で右端フレームが重なるようにペアレントボックスの探索(S1603)を行うと、図１９の2701が見つかる。この2602と2701の組を使って領域情報画像の写像(S1603)を適用すると、図２０の2801に示すように領域境界がより右端フレーム（２つのボックスが重なっているフレーム）に近いほうへ移動する。ここで、チャイルドボックスとペアレントボックスの相似比が1/2であるため、S1603を適用すると左側の領域がコピーされてくる。写像S1603を１回行うと、チャイルドボックスの左端フレームから（旧領域境界フレーム＋右端フレーム／２）フレーム（すなわち新領域境界フレーム）までは、旧領域境界フレーム以前のフレームからのコピーになる。新領域境界フレームから右端フレームまでは旧領域境界フレーム以前のフレームからのコピーにはならないが、先の例と同様、（１）多数決（または上記参考文献１２の方法）を行う際に新領域境界フレームから右端フレームまでのデータを除外し、（２）写像S1603の前に旧領域境界フレーム以前のデータを旧領域境界フレーム以降にコピーしておくようにすれば、右端フレームまでのすべてのフレームが旧領域境界フレームからのコピーとなり、探索範囲限定法の効果を生かすことができる。なお、処理を簡単にするために旧領域境界フレーム以降のデータをあらかじめ定めたパターン（例えば、被写体領域と背景領域がフレーム内の１画素ごとに交互にあらわれるパターン）やあらかじめ定めた単一領域で埋めても良い。
【００４２】
なお、先の例では探索範囲限定法の探索範囲として、チャイルドボックスの時刻の端フレームとペアレントボックスの時刻の端フレームとが重なっている場合について述べたが、探索範囲限定法の適用範囲はこれに限定されない。一般に、ペアレントボックスの中心フレームとチャイルドボックスの中心フレームの差をあらかじめ定めた値に固定しておけば、所望のフレームのラベル画像（またはマスク画像、以下同じ）をその周囲のフレームのラベル画像から推定することができる。例えば、ペアレントボックスの中心フレームとチャイルドボックスの中心フレームが重なるように（ペアレントボックスの中心フレームが写像Ｓ１６０４によってチャイルドボックスの中心フレームに写像されるように）探索範囲を設定すれば、重なった中心フレームのラベル画像は先の図１６の例における端フレームのように、必ず他のフレームからコピーされる。
【００４３】
(Watershedでセグメンテーションされた画像のフィッティング)  
Watershed（ウォーターシェッド）と3D-IFS領域フィッティングとを組み合わせると、より精度の高い領域分割を実現できる。この手法はWatershedと3D-IFS領域フィッティングの組み合わせだけでなく、Watershedと2D-IFS領域フィッティングの組み合わせに対しても同じように適用できる。説明の便宜上、２次元の場合について図示する。図２２は入力画像の例である。図２３は2D-IFS領域フィッティング、図２４はWatershedで領域分割を行った例である(白線は領域境界)。この例におけるそれぞれの領域境界の持つ性質を図２５に纏める。Watershedはテクスチャの多い場所、IFS領域フィッティングはテクスチャの少ない場所での過分割(領域境界が生成されてほしくない場所での分割)が認められる。2D-IFSフィッティングや3D-IFSフィッティングは他の領域分割結果を入力として受け取ることができるため、他の領域分割結果と組み合わせることは容易である。特に、WatershedのようにIFS領域フィッティングと異なる性質を持つ領域分割手法と組み合わせると、両方の長所を併せ持つ手法となる可能性がある。Watershedで得られたラベル画像を2D-IFSフィッティングの入力とした場合の結果を図２６に示す。個々の手法を単独で適用した場合と比べ、不要な領域境界が削減されている。同様に、Watershedと3D-IFS領域フィッティングとの組み合わせにおいては、Watershedを２次元又は３次元で行い、その結果に対して3D-IFS領域フィッティングを適用することで領域分割を実現する。
【００４４】
ここで用いたWatershedについては、例えば参考文献１３（L. Vincent and P. Soille, "Watersheds in Digital Spaces: An Efficient Algorithm Based on Immersion Simulations", IEEE Transactions on Pattern Analysis and Machine Intelligence, vol.13, no.6, June 1991.）に記載されており、具体的には以下のステップからなる。  
(ステップ1)各画素のエッジ強度を検出する。  
(ステップ2)エッジ強度の極小点にシードを配置する。  
(ステップ3)水位(しきい値)を例えばエッジ強度の最小値に初期設定する。  
(ステップ4)ラベルを持たず、かつラベルの周囲の点であり、かつエッジ強度が水位以下である場合に、  
(ステップ4-a)周囲のラベルが１種類であればそのラベルを設定する。
【００４５】
(ステップ4-b)あるいは、周囲のラベルが２種類以上であれば、その画素を領域境界とする。
【００４６】
(ステップ5)全画素にラベル値が設定されるまで水位を上げながら(ステップ4)を繰り返す。
【００４７】
図２７は、Watershedと2D-IFSフィッティングを使った領域分割の手順を示すフローチャートである。
【００４８】
はじめに、Watershedのしきい値を設定する(S1701)。次に、先に述べたWatershedの(ステップ4)に従って領域成長する(S1702)。次に、先に述べたWatershedの(ステップ5)に従ってしきい値を上げながらS1702を繰り返す。これによりラベル画像が得られるので、これを2D-IFSフィッティングあるいは3D-IFSフィッティングの入力として、図１０のフローチャートにおけるS1602以下と同じ処理を行う。なお、ここでは２次元、３次元についてのみ述べたが、例えば３次元空間画像に時間を加えた４次元画像のように、４次元以上を対象としても良い。また、Watershedは各ラベルが隣接画素のみに広がるため、参考文献１４（T. Yoshida and T. Shimosato, "Motion Image Segmentation Using 3-D Watershed Algorithm", in Proceedings of IEEE International Conference on Image Processing 2001, pp.773-776, 2001.）に記載のように逐次計算も可能である(この参考文献１４では２値のラベルについて述べているが、多値のラベルについてもそのまま適用可能である)。したがって、Watershedと3D-IFS領域フィッティングを組み合わせた手法についても、Watershedを逐次に行いながら、その出力を逐次的に3D-IFS領域フィッティングの入力として与えれば、逐次処理が可能である。なお、参考文献１５（D. Zhong et al. “Video object model and segmentation for content-based video indexing” in Proceedings of IEEE Symposium on Circuits and Systems 1997, pp.1492-1495）のように、Watershedの後に領域統合を行ってもよい。この場合、Watershedの後に2Dや3DのIFSフィッティングを適用し、その後に領域統合をしてもよいし、IFSフィッティングを先に行っても良い。
【００４９】
以上に述べたように、改良された領域分割を用いると、２次元の動画像撮影用カメラによって撮影された画像に対して、ユーザの指示により画像の隠れた領域を表示する際に、これをより精度よく表示させることができるようになる。具体的には、例えば被写体が車であったときに、クリックによって表示される部分がその欠落部の一部のみとなったり、クリックで指示された領域がすべて表示されているとみなされてしまうために隠れた領域が表示されないといった問題が改善される。
【００５０】
以上説明した本発明の実施形態によれば、２次元の動画像撮影用カメラによって撮影された画像に対して、ユーザの指示により画像の隠れた領域を表示させ、本発明の方法を搭載した機器の操作性を向上させることができる。
【００５１】
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
【図面の簡単な説明】
【００５２】
【図１】本発明の一実施形態に係る画像生成装置のブロック図
【図２】本発明の実施形態に係る画像生成方法の概要を説明するための図であって、入力動画像中の画像フレームの例を示す図
【図３】物体領域情報が既知である場合の処理手順を示すフローチャート
【図４】図２に示された動画像の左の画像フレームに対応する物体領域情報を示す図
【図５】選択領域のユーザへのフィードバック提示の処理手順を示すフローチャート
【図６】フィードバック提示の例を示す図
【図７】注目点に対応する物体領域の推定の処理手順を示すフローチャート
【図８】図２に示された動画像の中央の画像フレームに対応する物体領域情報を示す図
【図９】隠された領域の推定方法を説明するための図
【図１０】マルチラベル縮小写像による3D-IFS領域分割方法の処理手順を示すフローチャート
【図１１】時空間画像の一例を示す図
【図１２】時空間画像において、チャイルドボックスの処理ボックスと、ペアレントボックスを示す図
【図１３】チャイルドボックスとペアレントボックスとの相似関係を示す図
【図１４】処理中フレームを時間軸に沿って示す図
【図１５】3D-IFS領域フィッティングにおける逐次処理の手順を示すフローチャート
【図１６】チャイルドボックスとペアレントボックスの選択範囲を示す図
【図１７】チャイルドボックスとペアレントボックスの選択範囲を示す図
【図１８】探索範囲限定法を説明するための図
【図１９】探索範囲限定法を説明するための図
【図２０】探索範囲限定法を説明するための図
【図２１】探索範囲限定法を説明するための図であって、時空間中の領域情報画像を示す図
【図２２】入力画像の一例を示す図
【図２３】図２２の入力画像について、2D-IFS領域フィッティングを行った結果を示す図
【図２４】図２２の入力画像について、Watershedで領域分割を行った結果を示す図
【図２５】IFS領域フィッティングとWatershedとについて、領域境界の持つ性質の比較結果を示す図
【図２６】Watershedで得られたラベル画像を2D-IFSフィッティングの入力とした場合の処理結果を示す図
【図２７】Watershedと2D-IFSフィッティングを使った領域分割の手順を示すフローチャート
【符号の説明】
【００５３】
１００…画像生成装置；
１０１…動画像記憶部；
１０２…領域情報記憶部；
１０３…隠蔽領域推定部；
１０４…画像生成部；
１０５…表示装置；
１０６…マウス；
１０７…動画像入力部；
１０８…領域情報入力部
【図１】
2006190207.tif 000003
【図２】
2006190207.tif 000004
【図３】
2006190207.tif 000005
【図４】
2006190207.tif 000006
【図５】
2006190207.tif 000007
【図６】
2006190207.tif 000008
【図７】
2006190207.tif 000009
【図８】
2006190207.tif 000010
【図９】
2006190207.tif 000011
【図１０】
2006190207.tif 000012
【図１１】
2006190207.tif 000013
【図１２】
2006190207.tif 000014
【図１３】
2006190207.tif 000015
【図１４】
2006190207.tif 000016
【図１５】
2006190207.tif 000017
【図１６】
2006190207.tif 000018
【図１７】
2006190207.tif 000019
【図１８】
2006190207.tif 000020
【図１９】
2006190207.tif 000021
【図２０】
2006190207.tif 000022
【図２１】
2006190207.tif 000023
【図２２】
2006190207.tif 000024
【図２３】
2006190207.tif 000025
【図２４】
2006190207.tif 000026
【図２５】
2006190207.tif 000027
【図２６】
2006190207.tif 000028
【図２７】
2006190207.tif 000029