"階層フレーム単位での繰り返し計算により、アフィン動きモデルを計算する動きモデル計算ステップと、階層フレーム単位での繰り返し計算により、前記動きモデル計算ステップにより計算されたアフィン動きモデルに基づいて、ラベルマップを計算する領域ラベリングステップとを有し、前記モデル計算ステップでは、前記領域ラベリングステップによる繰り返し計算の途中結果を使用し、前記領域ラベリングステップでは、前記モデル計算ステップによる繰り返し計算の途中結果を使用する情報処理方法。階層フレーム単位での繰り返し計算により、アフィン動きモデルを計算する動きモデル計算部と、階層フレーム単位での繰り返し計算により、前記動きモデル計算部により計算されたアフィン動きモデルに基づいて、ラベルマップを計算する領域ラベリング部とを有し、前記モデル計算部は、階層フレーム単位の繰り返し計算の途中結果を、前記領域ラベリング部に出力し、前記領域ラベリング部は、階層フレーム単位の繰り返し計算の途中結果を、前記モデル計算部に出力する情報処理装置。前記領域ラベリング部は、それぞれの画素に対して、ラベルの境界を更新する境界更新処理、又は、計算された動きモデルが当てはまらない領域を検出する新領域検出処理、を択一的に実施する請求項2に記載の情報処理装置。少なくとも、画像の時空間輝度勾配を計算する共通演算部をさらに有し、前記モデル計算部及び前記領域ラベリング部は、前記共通演算部による計算結果を利用する請求項2に記載の情報処理装置。前記共通演算部は、さらに、動き精度評価指標を計算し、前記モデル計算部は、前記共通演算部により計算された動き精度評価指標に基づいて、アフィン動きモデルに関する重み付けを行い、前記領域ラベリング部は、前記共通演算部により計算された動き精度評価指標に基づいて、ラベルマップを決定するためのエネルギー関数値を算出する請求項4に記載の情報処理装置。本発明は、効率的に動領域抽出処理を行う情報処理装置を提供する。本発明に係る情報処理方法は、階層フレーム単位での繰り返し計算により、アフィン動きモデルを計算する動きモデル計算ステップと、階層フレーム単位での繰り返し計算により、前記動きモデル計算ステップにより計算されたアフィン動きモデルに基づいて、ラベルマップを計算する領域ラベリングステップとを有し、前記モデル計算ステップでは、前記領域ラベリングステップによる繰り返し計算の途中結果を使用し、前記領域ラベリングステップでは、前記モデル計算ステップによる繰り返し計算の途中結果を使用する。本発明に係る情報処理装置は、階層フレーム単位での繰り返し計算により、アフィン動きモデルを計算する動きモデル計算部と、階層フレーム単位での繰り返し計算により、前記動きモデル計算部により計算されたアフィン動きモデルに基づいて、ラベルマップを計算する領域ラベリング部とを有し、前記モデル計算部は、階層フレーム単位の繰り返し計算の途中結果を、前記領域ラベリング部に出力し、前記領域ラベリング部は、階層フレーム単位の繰り返し計算の途中結果を、前記モデル計算部に出力する。好適には、前記領域ラベリング部は、それぞれの画素に対して、ラベルの境界を更新する境界更新処理、又は、計算された動きモデルが当てはまらない領域を検出する新領域検出処理、を択一的に実施する。好適には、少なくとも、画像の時空間輝度勾配を計算する共通演算部をさらに有し、前記モデル計算部及び前記領域ラベリング部は、前記共通演算部による計算結果を利用する。好適には、前記共通演算部は、さらに、動き精度評価指標を計算し、前記モデル計算部は、前記共通演算部により計算された動き精度評価指標に基づいて、アフィン動きモデルに関する重み付けを行い、前記領域ラベリング部は、前記共通演算部により計算された動き精度評価指標に基づいて、ラベルマップを決定するためのエネルギー関数値を算出する。本発明によれば、より効率的に動領域抽出処理を行うことができる。次に、図を参照して、本発明の実施形態を説明する。図1は、画像処理システム1の概要を例示する図である。図1に例示するように、画像処理システム1は、情報処理装置10と、カメラ20とを含む。情報処理装置10は、後述する動領域抽出プロセッサ5がインストールされたコンピュータ端末である。カメラ20は、動画像を撮影する画像入力装置であり、撮影された動画像のデータを情報処理装置10に出力する。図2は、比較例の動領域抽出処理の全体動作を説明するフローチャートである。図3は、比較例のアフィン動きモデル推定処理をより詳細に説明するフローチャートである。図4は、比較例の境界更新処理又は新領域検出処理をより詳細に説明するフローチャートである。図5は、ラベルマップ推定処理をより詳細に説明するフローチャートである。図2に示すように、情報処理装置10は、カメラ20から入力された動画像データに関して、動画像を構成する連続フレーム毎に、S100~S160の処理を実行する。ステップ100S100において、情報処理装置10は、アフィン動きモデル推定処理を行う。より具体的には、アフィン動きモデルθとは、図14の式のように、6つのパラメータの組み合わせで動き場全体を表現できる。平行移動回転発散収縮を基本とした様々な動きを表現でき、座標におけるxy軸方向の動きベクトルは式のように書ける。動画像からアフィン動きモデルを推定するには、情報処理装置10は、画面の各画素から計算される時空間輝度勾配IxIyItを用いて,輝度勾配行列GGsを計算する。そして逆行列G1を計算し、アフィン動きモデルθG1Gsを計算する。動領域抽出では、アフィン動きモデル推定の精度を向上させるためPSMアルゴリズム比較例又はRMRアルゴリズム本実施形態を採用している。PSMアルゴリズムでは動きモデル推定をする際、図3の4つの繰り返し計算を行い、推定精度を向上させている。各繰り返しは、図9に示されているように、階層ピラミッド単位、階層単位、階層フレーム単位、階層画素単位と入れ子構造の繰り返し計算を行う。階層フレーム単位の繰り返しは、動きモデルを足し込んでいき精度を向上させる。階層単位の繰り返しは、画像の大きな動きに対応させるために上位の低解像度画像での推定結果を下位の画像で利用する。階層ピラミッド単位の繰り返しは、アフィン動きモデル推定の際の外れ値を、ロバスト推定器であるMestimatorを用いて画素単位で重みの評価指標qiによって重みwiを計算し、推定精度を向上させている。ステップ120S120において、情報処理装置10は、境界更新処理を行う。より具体的には、予測マップeと動きモデルθの二つから最適な境界を持つラベルマップeに更新する。更新には、図15のエネルギー関数Uを最小化し,最適なラベルマップを推定する。oは画像と動きモデルから計算される観測値オブザベーションであり、動きモデルによって計算される動きの信頼性の評価に用いられる。このステップも、アフィン動きモデル推定処理と同様に、繰り返し処理を行いラベルマップの推定結果を向上させている。ただし、階層ピラミッド単位の繰り返し処理は除く。ステップ140S140において、情報処理装置10は、新領域検出処理を行う。より具体的には、それぞれの領域において,推定された動きモデルが当てはまらない領域を検出する。具体的には、それぞれの領域に対して動きモデルが適合するstatic領域、適合しないmobile領域に分割する。これには境界更新ステップで用いたようなエネルギー最小化を行う。またこのステップも境界更新ステップと同様な繰り返し処理を行うことによって推定結果を向上させている。ステップ160S160において、情報処理装置10は、ラベルマップ予測処理を行う。より具体的には、ラベルマップeと動きモデルθの二つから、時刻t1におけるラベルマップを予測する。具体的には、各画素の移動先を動きモデルによって計算し、ラベルを移動させる。そして時刻t1では、予測マップeを用いてアフィン動きモデル推定を行う。上記の動領域抽出処理による領域抽出例が、図13である。次に、比較例の動領域抽出プロセッサ9を説明する。図6は、比較例の動領域抽出プロセッサ9の機能ブロック図である。図6に例示するように、比較例の動領域抽出プロセッサ9は、4フレームの画像データを保存する画像メモリ900と、動きモデル計算部920と、領域ラベリング部930と、ラベルマップメモリ940と、2つの動きモデルメモリ950と、2つの領域テーブルレジスタ960と、ラベルマップ推定部970と、制御部980とを有する。また、アフィン動きモデル推定部及び領域更新新領域検出部には、それぞれ輝度勾配演算部910が設けられている。この動領域抽出プロセッサ9には、画像メモリ900として、前後フレーム2枚が2つずつ存在する。これはスループットを向上させるため、一つのフレーム対に対してアフィン動きモデル推定と領域更新新領域検出をパイプライン処理し、二つのフレーム対を同時に処理していることによる。これをフレームパイプライン処理と呼び、図11Aに示す。それゆえ、動きモデルメモリ950、及び、領域テーブルレジスタ960もそれぞれ2つずつ存在する。比較例の動領域抽出プロセッサ9は、動領域抽出処理各ステップを階層ピラミッド単位で逐次処理する必要があった。そしてスループットを向上させるために、フレームパイプライン手法を取り入れた。しかしフレームパイプライン手法により、画像メモリ900及び動きモデルメモリ950をチップ内部に前後2フレーム分持つ必要があるためにチップ面積の増加に繋がった。また、動きモデル推定ステップと領域更新新領域検出ステップにおいて、輝度勾配、動きの精度評価指標といった類似した計算を行うが、別々の演算器で処理を行っていることもハードウェア規模の増加に繋がっている。次に、本実施形態における動領域抽出処理を説明する。図7は、本実施形態における動領域抽出処理のフローチャートである。なお、本図の各ステップのうち、図2~図5に示されたステップと実質的に同一のものには、同一の符号が付されている。図7に例示するように、本実施形態の動領域抽出処理S20において、情報処理装置10は、輝度勾配計算S102、動き精度指標計算S124、重み計算S110、輝度勾配行列計算S104、及び領域ラベリングS220を、階層画素単位で繰り返し実施する。ここで、領域ラベリングS220は、図2の境界更新S120又は新領域検出S140を択一的に実施する処理であり、その詳細は図9Bを参照して後述する。次に、情報処理装置10は、動きモデル推定S106を実施する。情報処理装置10は、輝度勾配計算S102から動きモデル推定S106までの処理を、階層フレーム単位及び階層単位で繰り返し実施する。次に、情報処理装置10は、ラベルマップ推定S160を実施する。情報処理装置10は、輝度勾配計算S102からラベルマップ推定S160までの処理、動画像連続フレーム単位で繰り返し実施する。このように、本実施形態の動領域抽出処理S20は、比較例の動領域抽出処理S10と比較して、より少ない処理量となっている。次に、上記動領域抽出処理を実行するハードウェアを説明する。図8は、本実施形態における動領域抽出プロセッサ5の機能ブロック図である。図8に例示するように、動領域抽出プロセッサ5は、画像メモリ500と、共通演算部510と、動きモデル計算部520と、領域ラベリング部530と、ラベルマップメモリ540と、動きモデルメモリ550と、領域テーブルレジスタ560と、ラベルマップ推定部570と、制御部580とで構成されている。なお、動領域抽出プロセッサ5の外部には、推定マップ600と、領域テーブルメモリ610とが設けられている。画像メモリ500は、前後2フレームの画像データを保存するために、第1画像メモリ500Aと、第2画像メモリ500Bとを含む。共通演算部510は、動きモデル推定処理と領域ラベリング処理とで共通の演算を行う論理ブロックである。より具体的には、共通演算部510は、輝度勾配の算出と、動き精度評価指標の算出とを行う。動きモデル計算部520は、動きモデル推定を行う論理ブロックである。領域ラベリング部530は、領域ラベリングを行う論理ブロックである。ラベルマップメモリ540は、ラベルマップを保存するためのメモリである。動きモデルメモリ550は、動きモデルを保存するためのメモリである。領域テーブルレジスタ560は、領域テーブルを保持するレジスタである。ラベルマップ推定部570は、ラベルマップ予測を行う論理ロジックである。制御部580は、他の構成を制御するコントローラーである。以上説明したように、本実施形態の動領域抽出プロセッサ5は、図9に示すように、動きモデル推定処理と領域ラベリング境界更新と新領域検出処理との間の連携強化、画素単位のパイプライン処理の実現、及び、要素処理輝度勾配の算出などの共通化と簡単化、によって、比較例と比較して、アーキテクチャの50削減、及び、4.2倍のスループットを実現している。すなわち、比較例の動領域抽出プロセッサ9は、最終的な動きモデル推定の結果を用いて領域ラベリングを行い、処理が逐次的に行われていた。一方、本実施形態の動領域抽出プロセッサ5は、下記の2つの改良点によって、動きモデル推定と領域ラベリングが緊密に連携し、処理の収束が速くなった。さらに、本実施形態の動領域抽出各ステップ処理で、階層フレーム単位の1回前の繰り返し計算の推定結果を利用することで、ステップ単位での並列計算が実現できる。改良点の1つ目は、動きモデル推定にRMRアルゴリズムを採用した。比較例で用いられるPSMアルゴリズムは、動きモデル計算及び重み計算を、階層ピラミッド単位で繰り返し計算する。それに対し、本実施形態のRMRアルゴリズムは、図9Aのように、動きモデル計算及び重み計算を、階層フレーム単位で交互に繰り返し計算する。さらに階層フレーム単位で1回前の繰り返し計算結果を用いることで、動きモデル計算及び重み計算を並列に計算することが可能となる。また、本実施形態では、重み計算に関して、動き精度評価指標qiを領域ラベリングステップの動き精度評価指標と共通化しεiとした。改良点の2つ目は、動きモデルと領域ラベリングの処理順序を変更した点である。動きモデル推定ステップでRMRアルゴリズムを採用することによって、領域ラベリングと同様な階層フレームごとの繰り返し処理を行うようになる。そこに注目して、図9Aのように、階層フレーム単位の処理を、動きモデル推定処理、境界更新処理、新領域検出処理の順で処理していき、その結果を次の階層フレーム単位の繰り返し計算の時に利用する。これによって、次の繰り返しで最新の動きモデルと最新のラベルマップを利用できる。その後、一つ下の階層の階層フレーム単位の繰り返し計算を同様に行う図9A中の3。したがって、本実施形態のアルゴリズムは、図10に示すように、比較例のアルゴリズムより、頻繁に処理結果を交換するアルゴリズムとなる。これにより動領域抽出処理の収束が速くなり、繰り返し回数を削減できる。また、比較例のアルゴリズムの境界更新は、更新対象の1画素に対し複数ラベルのエネルギー計算を行う必要がある。複数ラベルのエネルギー計算には、各ラベルの示す動きに従って移動した画素と、その周囲の画素の値が必要であり、同時読み出しが極めて困難である。それゆえ、1画素1サイクルのパイプライン処理が困難である。さらに境界更新と新領域検出が独立に行われるため、1画素あたり最低2サイクル必要である。そこで、本実施形態の動領域抽出プロセッサ5では、図9Bに示すように、境界更新の候補ラベル数を削減し、境界更新と新領域検出を統合した。以下で、動領域抽出全体での画素単位のパイプライン処理を実現するにあたり必要なアルゴリズム最適化について述べる。まず、本実施形態の動領域抽出プロセッサ5では、領域ラベリングステップにおいて、1画素の処理は境界更新か新領域検出のどちらかのみ行う、という処理の二者択一化を行った。比較例のアルゴリズムでは、境界更新処理を境界のみで行い、新領域検出処理を全画素で行っていた。本実施形態のアルゴリズムでは、境界更新処理を境界のみで行い、新領域検出処理をそれ以外境界以外の画素で行う。こうすることで、同じラスタスキャン中に2ステップの処理を同時に行うことができ、処理を統合できる。さらに、本実施形態では、境界更新ステップにおける参照ラベルを、注目画素のラベルと、周囲に存在するラベルの2つに制限した。言い換えると、更新後なりうるラベルが、元のラベルか、周りにあるラベルかの2種類に制限した。本例の動領域抽出プロセッサ5は、ラベルが3種類以上ある場合に、例えば、ラベル番号の最も若い物を1つ選択する。そして元のラベルをstatic、周りにあるラベルをmobileとして扱う。この変更によって、境界検出が新領域検出と同様な処理を行うことになる。新領域検出に関しては、比較例と変わらず、staticとmobileのラベル2種類である。ラベル決定法に関しては、エネルギー計算対象のラベルはstaticのみとなる。これにより1画素1サイクルのパイプライン処理が可能になる。また、比較例の動領域抽出アルゴリズムは、各ステップにおいて類似した計算が存在し、それを逐次的に何度も計算させていた。本実施形態のアルゴリズムは、類似した計算を共通化させ、演算器を共有させるために、共通化と簡単化を行った。輝度勾配計算輝度勾配演算部910による計算は,動きモデル推定の輝度勾配行列GGsの計算に必要であり、また動きモデル推定の重みwiの計算、境界更新のエネルギー関数U1、新領域検出のエネルギー関数U1で必要になる動きの精度評価指標に必要となる。これらは、共通の計算を行っており、本実施形態では、処理の内容を共通化し、演算部共通演算部510を動きモデル計算部520アフィン動きモデル推定処理と領域ラベリング部530領域更新新領域検出処理とに共用させる。動き精度評価指標は、動きモデル推定の重み計算、領域ラベリングのエネルギー関数U1において必要である。動領域抽出処理全体で画素単位のパイプライン処理を実現するために、動きモデル推定の重み計算と、領域ラベリングの動きの精度評価指標計算とを共通化し、計算回路を一つにする。具体的には、図12に示すように、演算式を簡単化し共通化し、共通演算部510により計算させることとした。また境界更新のエネルギー関数を新領域検出のエネルギー更新と共通とした。以上説明したように、本実施形態の動領域抽出プロセッサ5によれば、比較例と比較して、画像メモリ及び動きモデルメモリが50となる。また、アフィン動きモデル推定処理、領域更新処理、及び新領域検出処理の共通演算である輝度勾配計算と動き精度評価指標計算が共通化され、動きモデル推定処理及び領域ラベリング処理が並列に画素パイプライン処理を行う。さらに、境界更新処理及び新領域検出処理が一つの論理ブロックに統合される。より詳細には、本実施形態の動領域抽出プロセッサ5は、動きモデル推定及び領域ラベリングの繰り返し計算を、階層フレームごとに交互に計算することによって、動きモデルとラベルマップの情報交換が緊密になり、分割結果収束までの繰り返し回数が削減できる。また、同じ画像の動領域抽出処理に対し、図11に示すように、動きモデル推定及び領域ラベリングの処理を階層フレーム単位で反復させて計算させることができるようになった。さらに動領域抽出処理全体で見たときに画素単位のパイプライン処理が可能になり、図11Bに示すように、動きモデル推定及び領域ラベリングを並列に計算させることができるようになった。結果、フレームパイプライン手法を用いずにスループットを向上させることができ、内部の画像メモリ、及び、動きモデルメモリを50に削減することができる。また、各ステップの要素処理エネルギー計算を簡単化共通化し、これらのロジックに関して、比較例のアーキテクチャの50削減した。比較例と本実施形態とで同精度の領域抽出結果を得る場合、本実施形態の動領域抽出プロセッサ5は、比較例と比較して、4.2倍のスループットを達成できる。図13Bは、上記動領域抽出プロセッサ5により運転中の動画像を抽出した抽出例である。図13Bに例示するように、運転中のオブジェクトである2台の車を抽出できている。また、背景の発散の動きも抽出できており、比較例による抽出例図13Aと比較しても、十分な抽出精度が得られている。また、動領域抽出処理では、連続フレームの処理を行うにつれ、領域境界がオブジェクトの境界に過渡的に収束していくことがある。上記動領域抽出プロセッサ5によれば、この境界収束の速度向上がみられた。これは、動領域抽出プロセッサ5が、比較例に比較して、動きモデル推定処理と領域ラベリング処理の繰り返しが頻繁になったことによる。これによれば、抽出性能の向上が期待できる。"