(57)【要約】【課題】カメラと撮影対象が移動する状態での撮影画像列から３次元的な撮影対象の形状と運動を基に撮影対象に対応付けられた領域検出を行う。 【解決手段】画像取得手段の画像に含まれる領域を抽出し、抽出された領域の対応付けを行い、対応付けられた領域の撮像画像の座標を用いて領域の形状を推定し、画像特徴量に対応した領域における剛体運動を推定し、推定された剛体運動を基にした領域の統合または分離を行うことで、誤った画像特徴量の対応を削減することができる。【選択図】図１
2011003029.tif 000002
【特許請求の範囲】
【請求項１】
複数の撮像画像を入力する画像取得手段と、
前記入力された複数の撮像画像の各々に対して、各画素の属性に従って複数の領域を抽出する領域抽出手段と、
前記領域抽出手段により抽出された複数の領域の各々の属性に従って、撮像画像間で対応する領域を決定する領域対応付け手段と、
前記対応する領域の画像内の特徴点の座標に基づいて特徴点の３次元位置を推定することにより、前記領域の形状を推定する領域形状推定手段と、
前記対応する領域における各特徴点の３次元位置に基づいて運動を計算することにより、前記対応する領域の剛体運動を推定する領域剛体運動推定手段と、
前記複数の領域のうちの１つの領域と他の領域とを統合した場合に推定される剛体運動の精度が、前記１つの領域と前記他の領域とのそれぞれについて前記剛体運動推定手段により推定された剛体運動よりも高いと判定された場合に、前記１つの領域と前記他の領域とを統合する領域変更手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記領域変更手段は、前記複数の領域のうち１つの領域に関して推定された剛体運動の精度が所定のレベルを下回った場合に、前記１つの領域を複数の領域に分離することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記領域変更手段により変更された領域について、前記領域形状推定手段と前記領域剛体運動推定手段と前記領域変更手段を繰り返し機能させる繰り返し制御手段を更に備え、
前記繰り返し制御手段は、繰り返しの前後における前記領域形状推定手段による推定結果の差が所定の推定結果に関する閾値より小さくなった場合に前記繰り返しを停止することを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記繰り返し手段は、繰り返しの前後における前記領域変更手段による変更後の領域の個数の差が所定の領域の個数に関する閾値よりも小さくなった場合に前記繰り返しを停止することを特徴とする請求項３に記載の画像処理装置。
【請求項５】
入力工程が複数の撮像画像を入力する入力工程と、
抽出工程が前記入力された複数の撮像画像の各々に対して、各画素の属性に従って複数の領域を抽出する抽出工程と、
領域対応付け工程が前記抽出された複数の領域の各々の属性に従って、撮像画像間で対応する領域を決定する領域対応付け工程と、
形状推定工程が前記対応する領域の画像内の特徴点の座標に基づいて特徴点の３次元位置を推定することにより、前記領域の形状を推定する形状推定工程と、
運動推定工程が前記対応する領域における各特徴点の３次元位置に基づいて運動を計算することにより、前記対応する領域の剛体運動を推定する運動推定工程と、
統合工程が前記複数の領域のうちの１つの領域と他の領域とを統合した場合に推定される剛体運動の精度が、前記１つの領域と前記他の領域とのそれぞれについて前記推定された剛体運動よりも高いと判定された場合に、前記１つの領域と前記他の領域とを統合する統合工程と、
を備えることを特徴とする画像処理装置の制御方法。
【請求項６】
請求項５に記載の画像処理の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項７】
請求項６のプログラムを記録したコンピュータ読み取り可能な記録媒体。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像画像列に含まれる移動する撮影対象を含む領域を検出する画像処理装置および画像処理方法に関する。
【背景技術】
【０００２】
撮像対象のサイズが撮像装置から撮像対象までの距離と比較して十分小さい場合、または撮像装置（以下、カメラと称す）の移動量が撮像対象までの距離より十分小さい場合は、観察する対象をほぼ平面として見ることができる。つまり、撮影対象の空間的な広がりに対して撮影装置の移動による変化が小さい場合には、観察している対象の変化が小さいという前提で複数の射影近似が利用できる。射影近似には、中心射影を線形近似した弱中心射影や擬似中心射影、さらには平行投影などがある。
【０００３】
非特許文献１によれば、射影近似において画像中の特徴点の３次元位置は、透視投影の計算を線形化して表現することができる。ここでは、静止したカメラ座標系を世界座標系と同一視し、ＸＹ面を画像面、Ｚ軸をカメラの光軸と見なす。物体に任意に物体座標系を固定し、α番目の特徴点ｐαの物体座標系に関する座標を（ａα，ｂα，ｃα）とする。時刻κでの物体座標系の原点の位置ベクトルをｔκ、各座標基底ベクトルを｛ｉκ，ｊκ，ｋκ｝とすると、特徴点ｐαの時刻κにおける位置ｒκαは、次式（１）のように示される。
【０００４】
【数１】
2011003029.tif 000003
【０００５】
中心射影の近似である平行投影を仮定すると、点ｒ＝（Ｘ，Ｙ，Ｚ）Ｔの画像座標は（Ｘ，Ｙ）となる。ベクトルｔκ，｛ｉκ，ｊκ，ｋκ｝の投影、すなわちＺ軸座標をのぞいた２次元ベクトルをｔ'κ，｛ｉ'κ，ｊ'κ，ｋ'κ｝とする。それらをκ=１，・・・，Ｍに渡って縦に並べた２Ｍ次元ベクトルをｍ０，ｍ１，ｍ２，ｍ３とすると、式（１）で定義した２Ｍ次元ベクトルｐαが式（２）のように表せる。
【０００６】
【数２】
2011003029.tif 000004
【０００７】
各特徴点の移動軌跡は２Ｍ次元空間の１点として表せる。そしてＮ個の点ｐαが｛ｍ０，ｍ１，ｍ２，ｍ３｝の張る４次元部分空間に含まれることになる。
【０００８】
複数物体の分離は、２Ｍ次元空間の点集合をお互いに異なる４次元部分空間に分割することになる。
【０００９】
非特許文献２では、上述の２Ｍ次元空間の分離について因子分解を用いて分離する方法が開示されている。
【００１０】
一方、複数物体の分離は画面座標における特徴点の２次元的な分布を用いても分離することができる。非特許文献３では、道路を走行する車両追跡法として特徴点の軌跡群をグラフ分割アルゴリズムによりクラスタリングすることで車両の追跡を行う方法が開示されている。画面上にある特徴点の群をグラフにより表現し、過去フレームにおける追跡情報を拘束条件としてグラフ分割問題として定式化し、複数物体の分離する方法を開示している。
【００１１】
さらに、幾何的な特徴によらず、画素の色情報を用いて領域を検出するセグメンテーションの技術も画面上の物体領域の分離をすることができる。非特許文献４では、グラフカットと呼ばれる物体と背景のセグメンテーションに関する技術が開示されている。画素の集合と近傍のピクセルの集合との関係をグラフで表現し、エッジ上の画素に対してどちらのグラフノードに属するかのコストを計算してどちらの領域に属するかを計算する。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】「因子分解を用いない因子分解法：複数物体分離」金谷健一、電子情報通信学会技術研究報告 PRMU98-26  pp. 1-8  1998.
【非特許文献２】「A multiple factorization method for motion analysis」 J. Costeria and T. Kanade, Proc. 5th Int. Conf. Computer Vision (ICCV95), pp.1071-1076, 1995
【非特許文献３】「拘束付きグラフ分割を用いたオクルージョンに強い車両追跡」安部、小沢、電子情報通信学会論文誌Ａ、 Vol.J90-A  No.12 pp.948-959  2007
【非特許文献４】「Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images」 Y. Boykov, M.Jolly, Proc. of International Conference of Computer Vision, vol.I, pp.105-112, 2001
【非特許文献５】「ロボットビジョンの基礎」出口光一郎、コロナ社，２０００年６月
【発明の概要】
【発明が解決しようとする課題】
【００１３】
非特許文献１、２に述べられている技術は、カメラと撮影対象の関係が撮影画像列の前後では大きく変化しないという前提をもとに、平行射影により特徴点の射影を近似できる範囲においては上手く働く。しかし、実際には画像から観測される撮影対象に属する特徴点の様子には、平行射影で近似できない「見え具合」が生じる。すなわち、撮影対象のサイズとカメラとの位置、もしくは複数の撮影対象とカメラの相対的な運動により、「見え具合」の違いや遮蔽が発生する。特に、カメラが大きく回り込んで撮影する場合や、撮影対象が回転している場合には、特徴点の追跡に失敗することも多くなる。さらに、射影近似による３次元の推定誤差の影響も大きいため、カメラの焦点距離と撮影対象との距離が近接している場合には、物体の形状推定の精度が低くなる。
【００１４】
また射影変換によらず、２次元的な領域の変化を求める非特許文献３の方法では、領域が重なる場合に、再度分離して動く対象を適切に分離することが難しい。それは、領域の３次元的な運動を想定していないため、それぞれの領域の奥行きが違っていても画面座標では同じになるため、オクルージョンが発生した際にそれらの領域が同じ領域として判断されてしまう。
【００１５】
非特許文献４では、事前の知識として背景領域と前景領域の色の属性を指示する必要があり、非特許文献３と同様に対象の３次元的な運動を想定していないので、領域が混在する場合にはその領域を分離することが難しくなる。
【００１６】
このように従来技術では、撮影対象の奥行き方向の空間的な広がりが、カメラの移動量に対して大きい場合、特にカメラと対象空間の距離が近い場合には、領域の対応付けが困難となる。それは、一般的なビデオカメラによる撮影において、撮影者がカメラを手に持って、前の人や物を撮影した画像を撮影する場合に発生する。その撮影した画像列から領域の対応を求める際に、平行射影では近似できない撮影対象の動きに対して、非特許文献１や２による方法では領域の対応付けがうまく行かない。
【００１７】
上述の問題点は、撮影対象の空間の３次元的な位置を考慮して、領域の３次元運動を推定しながら対応付けを行うことで、基本的には解決することができる。そこで、本発明は上記問題点に鑑み、カメラと撮影対象が移動する状態での撮影画像列から３次元的な撮影対象の形状と運動を基に撮影対象に対応付けられた領域検出を行うことを目的とする。
【課題を解決するための手段】
【００１８】
本発明は、撮像画像列から撮影対象の領域を検出する画像処理装置であって、
複数の撮像画像を入力する画像取得手段と、入力された複数の撮像画像の各々に対して、各画素の属性に従って複数の領域を抽出する領域抽出手段と、領域抽出手段により抽出された複数の領域の各々の属性に従って、撮像画像間で対応する領域を決定する領域対応付け手段と、対応する領域の画像内の特徴点の座標に基づいて特徴点の３次元位置を推定することにより、領域の形状を推定する領域形状推定手段と、対応する領域における各特徴点の３次元位置に基づいて運動を計算することにより、対応する領域の剛体運動を推定する領域剛体運動推定手段と、複数の領域のうちの１つの領域と他の領域とを統合した場合に推定される剛体運動の精度が、１つの領域と前記他の領域とのそれぞれについて剛体運動推定手段により推定された剛体運動よりも高いと判定された場合に、１つの領域と前記他の領域とを統合する領域変更手段と、を備えることを特徴とする画像処理装置を利用することで従来の問題点を解決することができる。
【発明の効果】
【００１９】
本発明による画像処理装置により撮像画像から撮影対象に対応付けられた領域検出を行うことができる。
【図面の簡単な説明】
【００２０】
【図１】実施形態１に係る画像処理装置の主要部分の構成を示す図である。
【図２】実施形態１に係る画像処理装置を利用する構成を示す図である。
【図３】実施形態２に係る画像処理装置の主要部分の構成を示す図である。
【図４】実施形態２に係る統合分離制御部の処理手続きのフローを示す図である。
【図５】本発明の他の実施形態に係る画像処理方法を実装したプログラムを利用して撮影対象のデータを共有する構成を示す図である。
【発明を実施するための形態】
【００２１】
以下の説明では、本発明の例示的実施形態を開示する。
【００２２】
＜実施形態１＞
まず、本発明の実施形態１について説明する。
（構成）
図１は、実施形態１に係る、画像処理装置のうちの一つである画像処理装置の主要部の構成例を示すものである。図１に示すように、画像処理装置は、画像取得部１０、領域抽出部２０、領域対応付け部３０、領域形状推定部４０、領域剛体運動推定部５０および領域統合分離部６０から構成される。
【００２３】
画像取得部１０は、例えば撮像装置により取得された２以上の画像をメモリに書き込んで画像データとする。また領域抽出部２０は、その取得された画像から属性に基づいて領域を抽出する。領域対応付け部３０は、その抽出されたそれぞれの領域の対応付けを行い、領域形状推定部４０はその結果を用いて領域の形状を推定する。領域剛体運動推定部５０は、領域形状推定部４０で推定された複数の形状推定結果を用い領域の剛体運動を推定する。また領域統合分離部６０は、領域剛体運動推定部５０により推定された剛体運動の結果を用いて、複数の領域の統合または分離を行う。これにより、撮像画像から撮影対象に対応付けられた領域検出を行い、撮影対象の位置と姿勢を推定することができる
図２は、実施形態１における、画像処理装置と接続された他の主要機能の構成を示す。本発明の画像処理装置は、図２に示すような画像処理装置１００のような形態で利用することができる。画像処理装置１００には、撮像装置２００からの撮影対象を映した映像が入力される。この画像処理装置１００においてこの映像情報から領域情報が生成される。さらに、画像処理装置１００には、この領域情報を利用して画像を合成する画像合成装置３００が接続されている。画像合成装置３００で生成された合成画像は、画像提示装置４００により確認することができる。なお、撮像装置２００、画像合成装置３００、画像提示装置４００は、本発明の実施例を利用する例の一つとしてあげたものであり、画像処理装置の入力と出力に関する機構や信号のフォーマットを規定するものではない。
【００２４】
例えば、撮像装置２００としては光・電子変換素子であるＣＣＤやＣＭＯＳの半導体素子を利用した装置を使うことができる。なお、撮像装置を構成するレンズには、一般的には光学歪みが存在するが、これらは校正パターンを用いてカメラキャリブレーションを行い、事前に補正値を取得することが可能である。また、一般的にはビデオカメラ等で撮影し、任意の媒体に記録した動画ファイルから撮像画像列を抽出して利用することもできる。さらに、撮影されている画像列を、ネットワークを経由して受信して利用することもできる。
【００２５】
画像合成装置３００の例としては、画像信号を利用してコンピュータグラフィックスと合成することができれば良いので、画像入力インターフェースボートを有するパーソナルコンピュータを利用することができる。また、画像合成装置のほか、移動する撮影物体の領域を記録装置に保存して、撮影した画像の情報として利用しても構わない。
【００２６】
図２の構成では、それぞれの装置が別々の機器として分離して構成されているが、入出力用のケーブルで装置間が接続されていても構わない。また、プリント基板上に構成されるバスを利用して情報をやりとりしても構わない。例えば、デジタルカメラのように撮像機能と画像を表示する画像呈示機能を有する場合に、本発明の画像処理装置の機能を内蔵していても構わない。
（画像取得部）
まず、画像取得部１０について説明する。ここでは、撮影対象を含む撮像画像とは、２次元の画像として例えばカラー画像を取得するものである。カラー画像とは、画素と呼ばれる単位で構成されており、画素には例えばＲＧＢの色の情報が格納されている。この画素を縦横の２次元方向の配列に並べることで実現されている。例えばＶＧＡ（Ｖｉｄｅｏ  Ｇｒａｐｈｉｃｓ  Ａｒｒａｙ）サイズのカラー画像は、ｘ軸（横）方向６４０画素、ｙ軸（縦）方向４８０画素の２次元配列で表現されており、各画素内に、その位置における色の情報が例えばＲＧＢ形式で格納されている。なお、カラー画像の代わりに、白黒画像を用いる場合は、当該白黒画像の画素値は、各撮像素子への光量を示す濃度値となる。
【００２７】
画像取得部１０では、撮影対象を含む画像を撮像装置より取得できるようになっていれば良く、実際には画素配列の大きさやカラーの配置や階調数、さらには撮像装置のカメラパラメータは既知とする。
（領域検出部）
領域検出部２０は、画像取得部１０により得られた撮像画像から領域を抽出する処理を行う。ここで言う領域の抽出とは、２次元画像上の属性が共通している小領域を検出することである。この時点において、領域は、移動している撮影対象の一部なのか、それとも背景の一部なのかは不明である。画素の属性は、色や濃度勾配を利用することができる。その属性に関しては撮影対象の色や柄などに依存する場合もあるので、複数の属性を用いて領域検出をすることが可能である。
【００２８】
例えば、色が類似する領域を検出するには、画素の色であるＲＧＢの色情報をＨＳＶ表色系に変換し、その際の色相情報を利用することで、同じ色を有する隣接領域を検出することができる。一般に、カラーラベリングと呼ばれる画像処理を用いることで実現することができる。また、テクスチャ情報を利用することもできる。濃度分布の局所領域の周期性や方向性を抽出する画像特徴量もしくは濃度勾配の値を用いて、同じ柄の領域を検出することができる。
【００２９】
さらに、非特許文献４で開示されているグラフカットによる領域検出を利用することで、複数の色の属性を有する領域を一つの領域として検出することが可能である。ここでは、領域検出のために類似した属性を有する隣接画素の範囲が検出できれば良い。従って既存の領域検出が利用できる。
（領域対応付け部）
領域対応付け部３０は、前記領域検出部２０により検出された撮像画像間の画素の領域に対して、画像特徴量を利用して領域の対応付けを決定する。前記の領域検出部２０により検出された領域の境界付近では照明不足や他の物体による遮蔽による影響で恒常的に安定して検出できるものでは無い。そこで、濃度勾配の特徴的な領域を、領域検出部２０で検出された領域ごとに抽出する。
【００３０】
例えば、画像特徴量としては局所的な領域の画素の濃度勾配がコーナーの形状を有しているかどうかを利用できる。例えば、Ｈａｒｒｉｓオペレータを用いることで、注目画素の近傍領域の濃度勾配を計算し、そのヘッシアン行列の値を用いて濃度勾配の曲率を算出し、角や隅の特徴を有する領域の画像特徴量を算出することができる。また、画像中の濃度勾配として輪郭や線分を検出するＳｏｂｅｌフィルター、Ｃａｎｎｙフィルター、またＧａｂｏｒ特徴量などを用いることで、エッジ成分の画像特徴量を算出することができる。ここでは、画像処理の分野で利用されている画像特徴量の算出方法を利用する。
【００３１】
非特許文献１，２で述べられているように、撮影対象と撮像装置との距離が十分にあって撮影対象の動きが平行移動に近い場合は、撮像画像列の前後では、画像特徴として検出した特徴量の変化は少ないことが前提となっている。
【００３２】
しかし、一般的には手動による撮影では撮影対象と撮像装置との関係や撮影対象の動きは制約されていないので、このように検出した画像特徴量の比較だけでは画像特徴量を精度良く算出することは難しい。そこで、複数の画像特徴量を用いて領域の初期の対応を求めることとする。
【００３３】
時刻κにおけるφ番目の領域Ｌに属するα番目の特徴点Ｐφκαの画面座標をＸφκα＝｛Ｘφκα，Ｙφκα｝とする。撮像画像の座標ベクトルＸにおける濃度をＩ（Ｘ）で表すと、特徴点における局所画像の各画素の濃度値はＩ（Ｘφκα＋Δｓ）で表せる。ここで、Δｓは局所画像の範囲を示すもので、Δｓ＝｛ｓｘ，ｓｙ｝とする。ｓｘは特徴点のＸ軸方向の相対位置で、ｓｙはＹ軸方向の相対位置である。撮影画像がカラー画像であるとすると、局所画像の濃度Ｉには、赤、緑、青の要素が含まれ、Ｉ（Ｘφκα＋Δｓ）={Ｉ（Ｘφκα＋Δｓ）r, Ｉ（Ｘφκα＋Δｓ）g，Ｉ（Ｘφκα＋Δｓ）b}となる。領域Ｌに対して、Ｎ個の特徴点が検出されたとすると、α＝１，・・・，Ｎとなる。局所画像の範囲Δｓを−ＳからＳとし、φ番目の領域Ｌに含まれる色情報の平均を計算することとする。赤の成分の平均Ｌφκｒは式（３）、緑の成分Ｌφκｇは式（４）、青の成分Ｌφκｂは式（５）のようになる。
【００３４】
【数３】
2011003029.tif 000005
【００３５】
【数４】
2011003029.tif 000006
【００３６】
【数５】
2011003029.tif 000007
【００３７】
時刻κにおけるφ番目の領域Ｌの色情報ベクトルＬφκ＝｛Ｌφκｒ，Ｌφκｇ，Ｌφκｂ｝は３つの要素からなる。色の恒常性が撮影画像列においては保たれると仮定すると、フレーム間の領域の対応は、色情報ベクトルの距離が近いものから対応候補として選択することができる。時刻κにおけるφ番目の色情報ベクトルと時刻κ'におけるφ'番目の色情報ベクトルとの差ＤＬは、ベクトルのノルムを表す記号、
2011003029.tif 000008
を用いると式（６）のようになる。
【００３８】
【数６】
2011003029.tif 000009
【００３９】
色情報ベクトルの差ＤＬを計算し、値の小さいものから対応候補とすることができる。候補は複数あるほうが、照明による色の変化がある場合に対応する範囲を広げて検査できる。ここで、色情報ベクトルを用いて時刻κにおけるφ番目の領域のα番目の特徴点Ｐφακと、時刻κ'におけるとφ'番目の領域のα'番目の点Ｐφ'α'κ'の対応を求める。単純な画素比較とすると、カメラもしくは撮影対象の動きが画像面に対してほぼ平行に移動する場合、２つの局所画像の濃度差G(φακ，φ'α'κ')は式（７）のように表せる。なお、｜ｘ｜はｘの絶対値である。
【００４０】
【数７】
2011003029.tif 000010
【００４１】
初期の領域対応候補が求まると、２枚の画像のうち、濃度差Ｇを最小とするα'が特徴点の対応となる。式（７）は、非特許文献１、２と同様にカメラの観察対象の空間的広がりがあまり変化しない場合には有効である。しかし、課題でも述べたように、撮影対象が回転している場合などには、条件を満たす対応は十分に得られない場合がある。
【００４２】
そこで、本発明の実施例として領域対応付け部３０では、領域の剛体運動の推定結果を利用して局所画像領域の対応をとる。ここで、時間的な連続性を考慮した過去の画像から推定した剛体運動を利用する。具体的には、時刻κの画像には時刻κ―１，κ−２，・・・，１の剛体運動の推定結果を用いる。それらの剛体運動は、後述の領域剛体運動推定部５０で推定する。なお、時刻κ＝０での初期値としては静止しているものとしても構わないし、乱数や定数で剛体運動として想定内の値を与えても良い。
【００４３】
次に、時刻κにおける領域の対応付けを考える。なお、時刻κ―ｎにおいて領域剛体運動推定部５０による剛体運動の推定値は得られているものとしているが、時系列的に画像を処理することにより、前の時刻の推定結果を利用することができる。
【００４４】
非特許文献５によると、カメラの運動は画像中の特徴点の画像列における動きから再現することができる。
【００４５】
時刻κ―ｎのとき、カメラ座標系での３次元位置が既知のＮ個の点ｐ１κ―１，・・・，ｐＮκ―ｎのそれぞれの位置ｘ１κ―１，・・・，ｘＮκ―ｎを用いる。カメラが平行移動Ｖκ―ｎ、回転移動Ωκ―ｎという運動をしたとき、カメラ座標系における各点ｐｉκ―ｎのカメラ座標系での速度Δｐｉκ―ｎは、式（８）のようになる。ただし、添字ｉは１からＮとする。
【００４６】
【数８】
2011003029.tif 000011
【００４７】
カメラ移動前の点ｐｉの位置ｘｉκ―１と移動後の位置ｘｉκの間の関係は、ｘｉκ＝ｘｉκ―ｎ＋Δｐｉκ―ｎから、式（９）のように表せる。
【００４８】
【数９】
2011003029.tif 000012
【００４９】
ただし、Ｆκ―ｎは、式（１０）のような行列となる。
【００５０】
【数１０】
2011003029.tif 000013
【００５１】
また、点ｐｉκ―ｎ、ｐｉκの画像への投影点Ｐｉκ―ｎ＝Ｘｉκ―ｎ、Ｐｉκ＝Ｘｉκは、焦点距離をｆとして、中心射影の式から式（１１）のように表せる。
【００５２】
【数１１】
2011003029.tif 000014
【００５３】
時刻κ―ｎにおける運動パラメータとしての平行移動成分Ｖκ―ｎと回転移動成分Ωκ―ｎとカメラ座標系での点ｐｉκ―ｎから時刻κにおける投影点Ｐｉｋの位置Ｘｉκを計算する。具体的には、式（１１）に式（９）を代入して式（１２）が得られる。
【００５４】
【数１２】
2011003029.tif 000015
【００５５】
式（１２）は、既知の３次元位置が運動パラメータを用いて、撮像画像の位置を推定する式である。実際には、特徴点の３次元位置も運動パラメータも初期状態においては全て未知のため、式（１２）をそのまま適用することはできない。しかし、後述の形状推定および運動推定を行った結果であるそれぞれの推定値を利用することが可能である。
【００５６】
時刻κにおけるφ番目の領域のα番目の特徴ｐφακの画像座標である特徴点Ｐφακは、そのカメラ座標系での推定３次元位置ｘφακ＝｛ｘφακ，ｙφακ，ｚφακ｝と運動パラメータＶφκ＝｛Ｖｘφκ，Ｖｙφκ，Ｖｚφκ｝とΩφκ＝｛Ｑｘφκ，Ｑｙφκ，Ｑｚφκ｝を用いて、次式（１３）のように推定位置Ｊを求めることができる。
【００５７】
【数１３】
2011003029.tif 000016
【００５８】
式（１３）の推定位置Ｊを式（７）のＸφακに代入して、運動と３次元位置を考慮した濃度差Ｇ'は、次式（１４）のように表せる。
【００５９】
【数１４】
2011003029.tif 000017
【００６０】
式（１４）の濃度差Ｇ'は、時刻κ―ｎの運動パラメータから推定される画面座標を用いて対応する濃度値の計算を行っており、静止している運動パラメータの値が０となるので式（７）と同じになる。なお、式（１４）は局所画像Ｉにおける隣接画素の奥行き値は注目画素と同じとして計算しても良いし、もし後述の領域形状推定で位置が求まっていればそれを利用しても構わない。
（領域形状推定部）
領域形状推定部４０では、領域の画像内の特徴点の３次元座標を求める。カメラ座標系で形状推定は特徴点の奥行き値ｚを推定することである。
【００６１】
時刻κでの対応づけられた第ｉ番目の特徴点のオプティカルフローは式（１５）のように示される。
【００６２】
【数１５】
2011003029.tif 000018
【００６３】
さらに、時刻κ―１において推定された撮像装置の運動パラメータＶκ―１、Ωκ―１を利用すると、式（９）および式（１１）から、式（１６）で表される、時刻κ―１での奥行きｚｉκ―１が得られる。なお、ここでｆはカメラの焦点距離である。
【００６４】
【数１６】
2011003029.tif 000019
【００６５】
また、初期段階では運動パラメータは推定できていないため、後述の領域剛体運動推定部５０での処理を先に実行しても良い。
（領域剛体運動推定部）
中心射影を仮定すると、カメラ座標系での３次元位置ｐｉκと撮像画像の座標には式（１１）の関係がある。式（１１）に式（９）を代入して、ｘｉκ、ｙｉκ、ｚｉκを消去して、カメラの運動パラメータに関して整理する。
【００６６】
時刻κ―ｎにおける点ｐｉκのカメラ座標系での３次元座標、カメラの平行運動成分Ｖκ―ｎ、回転運動成分Ωκ―ｎ、および奥行きの推定値ｚｉｋ、そして画像画面上の特徴点Ｐｉκの座標ＸｉκとＰｉκ―ｎの座標Ｘｉκ―ｎとの関係を示す式として、式（１７）および式（１８）を得る。
【００６７】
【数１７】
2011003029.tif 000020
【００６８】
【数１８】
2011003029.tif 000021
【００６９】
既知のＭ個の点に関して式（１７）および式（１８）の２つの式が得られるので、全体として２Ｍの方程式となる。この２Ｍの方程式は、未知数が運動パラメータＶ、Ωのそれぞれ３個の要素からなるので、合計６個に対する連立方程式となる。よって、最低３点の対応するオプティカルフローがあれば、Ｖ、Ωを計算することができる。３点より多い場合は最小２乗法を用いて解くことができる。
【００７０】
点の位置が不定の場合は、点の位置も未知変数として推定することができる。そこで、特徴点の３次元位置とスケールの運動成分をのぞいた５つの運動パラメータを未知として計算する。つまり、３Ｍ＋５の未知数を解くための方程式は、１つの点につき式（１７）、式（１８）が得られるので、５点の対応から構成される連立方程式を解くことで求めることができる。
【００７１】
領域形状推定部４０では、領域抽出部２０により求められた対応する領域における特徴点のうち、５点をランダムにサンプルして式（１７）、式（１８）からなる連立方程式を計算する。そして、領域の特徴点の３次元位置および領域の運動パラメータを推定することとする。
【００７２】
ただし、１回のサンプリングでは領域の誤対応による推定の誤差が大きくなる場合も想定されるため、複数回のサンプリングを行い、その中で誤差の小さいものを採用すると誤対応による影響を小さくすることができる。
（領域統合分離部）
実際の画像では、領域検出部２０において小さい領域が多数検出される場合がある。それぞれ領域ごとに領域形状推定部４０および領域剛体運動推定部５０の処理を行うことはできるが画面に占める観測面積が小さいと誤差の影響を受けやすい。そこで、複数の領域を一つの剛体運動で近似できる場合は、統合処理により推定精度を向上する。また、領域に別の剛体運動物体が含まれる場合は、推定精度が低下するので、その領域を検出し、分離することとする。
【００７３】
ここで、領域Ａと領域Ｂが時刻κ―１において同じ剛体運動をしていると仮定すると、領域Ａの平行移動成分ＶＡκ―１と領域Ｂの平行移動成分ＶＢκ―１は同じ値になり、同様に回転運動成分ΩＡκ―１とΩＢκ―１も同じになる。しかし、特徴点検出時の誤差や計算誤差の影響により全く同じになることは少ない。そこで、ほぼ同じ運動をする領域のそれぞれの剛体運動を１つの剛体運動として統合すると、観察する領域の観測対象が増加するため、相対的に誤差が少なくなる可能性がある。また、逆に領域の一部が異なる運動をすると、異なる運動を始める前に比べて誤差が相対的に大きくなる。つまり、誤差の相対的な変化を観察することで、領域を統合するか分離するかを決めることができる。
【００７４】
領域統合分離部６０では、複数の領域の剛体運動を統合する処理と分離する処理を行う。まず、同じ剛体運動をしている領域の統合処理について述べる。
【００７５】
ここで、同時刻における画像からの検出領域のうち、Ａ番目とＢ番目の領域との運動パラメータの差をＤ（Ａ，Ｂ）とする。Ｄ（Ａ，Ｂ）は、平行移動成分と回転運動成分のそれぞれのベクトルのノルムの２乗を用いて式（１９）のように表現できる。
【００７６】
【数１９】
2011003029.tif 000022
【００７７】
いま、Ａ番目の領域に対して、画面から検出されるＡ番目以外の領域に対して運動パラメータの差Ｄを計算し、その計算値の小さい順から整列することとする。これにより、運動パラメータＡと近い運動をする候補が選択することができる。なお、Ａ番目の領域選択の順序としては、画面上の領域の面積が大きいほうから順次求めると誤差の影響を受けにくく推定精度が向上する。
【００７８】
式（１２）を用いると時刻κ―ｎの運動パラメータとカメラ座標系での3次元位置から時刻κの画面座標を推定できる。そこで、時刻κ―ｎの領域Ａの特徴点ｐｉκ―ｎと、その時の運動パラメータＶκ―ｎとΩκ―ｎを用いて、時刻κに推定される画面座標をＸ'ｉκ（Ａ）とする。時刻κにおいて撮像画像から検出された領域Ａの特徴点Ｐｉκの画面座標Ｘｉκ（Ａ）との差を投影面誤差Ｅｉκと定義すると次式（２０）のように表せる。
【００７９】
【数２０】
2011003029.tif 000023
【００８０】
領域Ａにおける特徴点からｎ個無作為にサンプリングした集合をＣｎＡと表す。そこで、集合ＣｎＡの投影画面誤差の和をΣＥＡκ（ｎ）として式（２１）のように計算する。
【００８１】
【数２１】
2011003029.tif 000024
【００８２】
同様に、領域Ｂにおける投影画面誤差の和をΣＥＢκ（ｎ）とすると、式（２２）のように表せる。
【００８３】
【数２２】
2011003029.tif 000025
【００８４】
次に、領域Ａと領域Ｂが統合した状態で、投影画面誤差の和を求める。そのためには、時刻κ―ｎにおいて、領域Ａと領域Ｂが同じ剛体運動をしている一つの領域として考える。つまり、式（１７）および式（１８）における運動パラメータ推定において、領域Ａと領域Ｂを結合した領域Ａ∩Ｂから無作為にｎ個選択した集合ＣｎＡ∩Ｂを用いてパラメータ推定を行う。投影画面誤差の和をΣＥＡ∩Ｂκ（ｎ）とすると式（２３）のように表せる。
【００８５】
【数２３】
2011003029.tif 000026
【００８６】
統合処理においては、領域Ａと領域Ｂの統合した領域から剛体運動の推定結果が、それぞれ領域ごとに求めた推定結果の平均より良くなる場合に領域Ａと領域Ｂを統合し、領域変更を行う。推定結果が良いということは、投影画面誤差が少なくなることなので、次式（２４）の関係式を満たすときに統合することとする。
【００８７】
【数２４】
2011003029.tif 000027
【００８８】
ここで、ｎの値としては５点以上あれば良いが、多すぎると選択された特徴点のうちに誤対応の点が含まれる可能性が高くなり、一つの誤差の影響で式（２４）が常に満たされない場合が発生しやすい。そこで、ｎは５点〜１０点程度にして、式（２２）から式（２３）までの処理を複数回実行し、それぞれの結果を整列したときの中間の値を採用することで、誤対応による影響を削減することができる。
【００８９】
次に、領域に別の運動が含まれる際の分離について述べる。時刻κ―１まで同一の剛体運動をしていた領域Ａが、時刻κにおいて別の剛体運動をする領域Ａの局所領域Ｂが含まれるとする。これまで同一の剛体運動として推定していた運動パラメータによる投影画面誤差の和の値が局所領域Ｂの影響により大きくなる。分離の判定としては、投影画面誤差の和の誤差の時間変化を検査すれば良く、式（２５）のように表せる。
【００９０】
【数２５】
2011003029.tif 000028
【００９１】
式（２５）のeconstは、実験的に求めた定数であり、所定のレベルでもある。式（２５）の条件を満たし、複数の領域のうち１つの領域に関して推定された剛体運動の精度が所定のレベルを下回るとき、時刻κには別の剛体運動による領域が存在するとして分離処理を行う。
【００９２】
分離処理では、領域に含まれる他の剛体運動の部分を抽出することを行う。領域Ａに含まれる特徴点の集合はインライアとして、集合Ａに登録する。具体的には、無作為に抽出した集合ＣｎＡが式（２５）を満たさない場合には、インライアとして領域Ａの一部としてＣ'Ａとして登録する。
【００９３】
一方、選択した特徴点の集合の中に他の剛体運動が領域に含まれる場合、その他の剛体運動をしている特徴点はアウトライアとなり、画面投影誤差を大きくする要因となる。そこで、その特徴点を抽出して、領域Ａとは別の集合に登録する。具体的には、無作為に抽出した集合ＣｎＡが式（２５）を満たす場合は集合の中にアウトライアの特徴点が含まれているものとする。
【００９４】
具体的なアウトライアを選別するために、該ＣｎＡから１つ特徴点の情報を抽出し、既に領域Ａとして登録されている集合Ｃ'Ａからｎ―１個の特徴点を選択して、式（２５）を満たすかどうか検査する。該ＣｎＡから抽出した特徴点の一つがアウトライアならば、ｎ―１個の特徴点がＣ'Ａの値がＡに属している場合でも式（２５）を満たす可能性が高い。これを該ＣｎＡの全ての特徴点に対して順次繰り返し検査する。アウトライアとして検出されたものは、アウトライアの集合Ｃ'Ｂに登録する。
【００９５】
領域Ａに含まれる特徴点全てに対して処理が終了したら、アウトライアの集合Ｃ'Ｂを用いて、式（２４）のＢをＣ'Ｂに置き換えて検査を実行する。もし式（２４）を満たさなければ、アウトライアの集合Ｃ'Ｂは別の剛体運動である可能性が高いので、以降の画像列においては別の剛体運動として登録する。
【００９６】
＜実施形態２＞
実施形態１において、領域統合分離部６０の領域統合および分離は、探索的に行われているので再度領域の対応付けからの処理を繰り返すことで、推定精度の向上が期待できる。そこで、本発明の実施形態２においては、それぞれの推定結果を再度繰り返して処理して、推定精度を向上するための制御を行う統合分離制御部を有する画像処理装置の実施例について述べる。
【００９７】
図３は、統合分離制御部７０を有する画像処理装置のうちの一つである画像処理装置の主要部の構成例を示したものである。ここで、画像取得部１０、領域抽出部２０、領域対応付け部３０、領域形状推定部４０、領域剛体運動推定部５０および領域統合分離部６０統合分離制御部７０の機能は、基本的に図１で述べた機能と同じであるので説明は省略する。
【００９８】
統合分離制御部７０は、領域対応付け部３０、領域形状推定部４０、領域剛体運動推定部５０、領域統合分離部６０のそれぞれの手段を実現するための処理部に対して、領域の推定結果を渡して、その処理結果を用いて制御を行うものである。
【００９９】
図４は、統合分離制御部７０の内部処理手続きの主要な部分を記載したフロー図である。具体的な処理手続きに関して、このフロー図を用いて説明する。なお、このフローに記載されている内容は、統合分離制御部の内部処理手続きの主要な部分を記載したものであり、実際にはそれぞれの処理結果のデータ保持等に関わる手続きが必要となる。
【０１００】
まず、統合分離制御部７０は、画像取得部１０および領域抽出部２０による領域検出が行われた状態で、以下のステップ動作を開始する。
【０１０１】
ステップＳ１０では、統合分離制御部の開始が領域抽出部２０の出力が得られた時に開始する。ステップＳ１１では、統合分離制御部の繰り返し回数ｉを０に初期化する。
【０１０２】
ステップＳ２０では、領域の統合・分離による対応付けの変更を行う。初期値としては、過去の画像列による推定結果を保持している場合は、それを利用することができる。ここでは、前の画像の処理結果もしくは領域統合分離部６０による領域の統合・分離に関して、領域対応付け部３０の処理を再度実行する。領域の統合・分離により、画像面投影誤差が小さくなるように推定された運動パラメータを利用することができるので、対応付けをより良くすることができる。
【０１０３】
ステップＳ３０では、前記ステップＳ２０により対応付けが変更された結果を用いて、領域形状推定部４０の処理を再度実行する。推定結果としては、カメラ座標系での各特徴点の奥行き値が得られる。
【０１０４】
ステップＳ４０では、前記ステップＳ３０により推定された推定形状と、前回繰り返しにより推定した過去の領域形状推定部４０の推定形状との差を計算する。具体的には、カメラ座標系における対応する各特徴点の奥行き値の差の２乗和を計算する。これは、運動パラメータの推定が十分に精度が良くなっている場合は、形状推定の値があまり変化しなくなることから、次のステップで処理手続きの終了を判断するかどうかの値を計算することとなる。
【０１０５】
ステップＳ５０では、前記ステップＳ４０で計算した形状推定誤差の値が設定した閾値より小さいかどうかの判別を行う。閾値の設定は実験的に設定することができる。処理による誤差の変化が小さいときには、これ以上推定を繰り返すことは無駄なことなので、ステップＳ１００の繰り返し停止の制御に移る。設定した閾値より誤差の変化が大きい場合は、まだ精度を向上する余地があるとしてステップＳ６０の処理に移行する。
【０１０６】
前記ステップＳ６０の処理では、領域の剛体運動推定を行う。ここでは、ステップＳ４０の処理で得られた形状推定結果を領域剛体運動推定部５０で再度処理することを行う。領域の剛体運動推定には特徴点の奥行き値の推定値が必要なので、この値が精度良く求まっていると剛体運動の推定精度も向上する。
【０１０７】
ステップＳ７０では、前記ステップＳ６０の剛体運動推定結果を利用して、領域の統合・分離の制御を行う。具体的には、領域統合分離部６０に対してステップＳ６０の推定結果を使って再度処理することを行う。剛体運動の推定精度が向上していると、投影画面誤差の計算の精度も向上する。それにより、領域変更である統合・分離の処理にも影響を与える。
【０１０８】
ステップＳ８０では、前記ステップＳ７０において処理された領域の変更後の統合や分離に関しての処理による変化を検査して、処理の制御を行う。前回の繰り返し時、もしくは前の画像列における領域統合分離部６０の結果を利用し、統合と分離のそれぞれの処理個数の変化を調べる。そして処理個数の差を計算し、その差が設定した閾値より小さい場合は、ステップＳ１００の繰り返し停止の制御を実行する。統合・分離の処理個数の変化が閾値より大きい場合は、インライア・アウトライアの分離等が十分に行われていない可能性が考えられる。そこで、ステップＳ９０の制御に移る。
【０１０９】
ステップＳ９０では、繰り返し回数を保持している変数ｉの値を１つ増加させる。ステップＳ９５では、繰り返し回数が閾値以上であるかどうかを判断する。繰り返しにより統合・分離の変化が継続している状態には、そもそもの推定において誤対応が多く含まれて推定の各ステップによる計算が破綻している場合が考えられる。その場合は、継続して繰り返し制御を実行することは困難なので、繰り返し回数が設定した閾値を越えた場合は、処理を停止するステップＳ１００に制御が移行する。それ以外は、ステップＳ２０の処理手続きを継続して行うこととする。なお、ステップＳ９５における閾値も実験的に設定することができる。
【０１１０】
上述の各ステップは、基本的には本発明の実施形態１の手段を実現する処理部を繰り返して実行する制御を組み合わせたものであり、本発明の効果をより良くするための一例である。ステップＳ５０およびステップＳ８０における処理の判断に用いられる閾値は、実験的に定めた値を用いても構わないし、事前にシーンに対する知識が得られるならば、それに適した事前に用意した値を利用しても良い。また、ステップＳ５０では得られた形状推定の計測範囲をパラメータとした閾値を設定しても構わないし、ステップＳ８０では、統合・分離の個数をパラメータとした閾値を設定しても良い。
【０１１１】
＜他の実施形態＞
本発明は、実施形態１で説明した例のように画像処理装置として他の撮像装置と組み合わせて利用する他に、コンピュータのプログラムとしても実施できる。
【０１１２】
本発明の一実施例であるところの構成をコンピュータのプログラムとして実施し、移動する撮影対象領域を検出し、撮影対象の領域のみを伝送することに利用できる。ネットワークを利用する場合は、画像のような情報量が多い場合は、撮像領域のみを限定することで、情報量を削減することができる。
【０１１３】
従来の撮影対象の領域の検出には、ブルーバックと呼ばれる背景を均一の色で塗りつぶした環境において、前景である撮影対象を撮影する方法が放送分野においては一般的に利用されている。しかし、これらは放送分野では一般的であるが、それ以外の一般的なビデオカメラの利用者にとっては撮影準備が煩雑であり、そのような準備をして撮影することは少ない。
【０１１４】
本発明の実施例では、移動する撮影対象を移動しながら撮影した場合にでも、撮影対象の領域を動的に得ることができる。図５を用いて本発明の好適な利用方法の一例について説明する。
【０１１５】
パーソナルコンピュータ５３０は、ＣＰＵ，記録素子、外部記録素子、それらを結ぶバスなどのハードウェアとＯＳが動作する機能を具備し、入力装置としてキーボード・マウスを、そして画像出力として液晶ディスプレイを有しているものとする。  
本発明の画像処理方法をプログラムのアプリケーションとして実装し、該ＯＳにおいて利用できるようにしたとする。そのアプリケーションは、パーソナルコンピュータ５３０の記録領域にロードされて実行できるものとする。該アプリケーションは、本発明の画像処理方法に係る処理パラメータの変更、動作の指示、処理結果の確認が画面に表示できるようにしたものである。該アプリケーションのＧＵＩ５３０は、パーソナルコンピュータ５３０のキーボード・マウスの入力装置を使って利用者が操作できるものとする。
【０１１６】
撮像装置２００は、パーソナルコンピュータ５３０の外部入力インターフェースとケーブル５０１で接続されている。一般的にはＵＳＢカメラや、ＩＥＥＥ１３９４カメラを利用することができる。パーソナルコンピュータ５３０に該撮像装置を利用するデバイスドライバが設定されており、撮像画像を取得できる状態にあるものとする。
【０１１７】
撮影者５１０は、撮像装置２００を手にもち、撮影対象を撮影するものとする。撮像装置２００は、矢印５２０のように移動させながら移動する撮影対象を撮影するものとする。
【０１１８】
移動する撮影対象６００として、ここでは車とした。撮影対象６００は、矢印５１０に示す移動をしながら、撮影者５１０の前を通過する動作を行う。さらに、撮影するシーンには、静止している撮影対象６００も撮影画像中に撮影されているものとする。
【０１１９】
そこで、撮影を開始するために、パーソナルコンピュータ５３０にて本発明の実施例である画像処理方法を実装したアプリケーションを実行し、ＧＵＩ２３０からマウス若しくはキーボードを用いて撮影開始を指示することとする。
【０１２０】
移動する撮影対象６００を撮影した後、ＧＵＩ５３０から撮影終了をマウス若しくはキーボードを用いて指示する。ＧＵＩ５３０は、本発明の実施例１で述べた処理を行い、領域情報出力部１２０およびそれに付随する領域形状推定部４０の結果をグラフィックスライブラリを用いて３次元グラフィックスとして呈示する。なお、グラフィックスライブラリはＯｐｅｎＧＬなどの汎用３次元描画ライブラリを利用できるが、パーソナルコンピュータ５３０に、その機能を有していない場合でもＣＰＵを用いて画像を生成することは可能である。
【０１２１】
利用者は、ＧＵＩ５３０に呈示された撮影対象６００の領域情報を確認したのち、ネットワークのサーバに対して撮影対象６００に関する情報をアップロードすることができる。ここでは、パーソナルコンピュータ５３０に装備している無線ＬＡＮモジュール５５０を利用し、無線ＬＡＮルーター５６０を介してインターネット５７０の通信経路上に存在するサーバ５７５にデータを送信できる。
【０１２２】
データの送信形式は、無線ＬＡＮやインターネットで既定されているプロトコルをそのまま利用することができる。ＨＴＴＰを使うと、プロキシーを利用している場合でも簡便にデータを送信することができる。
【０１２３】
さらに、撮影対象６００に対する利用者のコメントを追加することもできる。一例として、撮影対象の属性や、撮影された場所に関する情報、利用した機材の情報を追加することで、後ほど該撮影対象を確認するときの利便性を向上することができる。
【０１２４】
サーバ５７５は、撮影対象６００に関する領域と付加情報を受信すると、それをサーバ５７５のＷｅｂサーバに閲覧できるように登録を行う。例えば、利用者のコメントと、第１フレームの撮影対象６００の画像をスナップ画像としてＨＴＭＬ形式で記述したファイルをサーバの閲覧可能フォルダに置くことで実現できる。
【０１２５】
インターネット５７０に接続しているパーソナルコンピュータ５８０を利用している閲覧者は、サーバ５７５が提供する情報をＷＥＢブラウザを利用して閲覧することができるものとする。
【産業上の利用可能性】
【０１２６】
実施例の一例として上述の構成例を説明したが、一般的にはカメラと本発明の処理手段を実施する装置があれば良い。本発明の処理構成を携帯電話や携帯型のコンピュータで実施するプログラムという形で処理を実行させても同じ効果が得られる。
【０１２７】
なお、前述した実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、あるいは有線／無線通信を用いて当該プログラムを実行可能なコンピュータを有するシステム又は装置に供給する。そして、そのシステムあるいは装置のコンピュータが該供給されたプログラムを実行することによって同等の機能が達成される場合も本発明に含む。
【０１２８】
したがって、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。
【０１２９】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実現されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。
【０１３０】
プログラムを供給するコンピュータ読み取り可能な記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、磁気テープ等の磁気記録媒体、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ等の光／光磁気記録媒体、不揮発性の半導体メモリなどがある。
【０１３１】
有線／無線通信を用いたプログラムの供給方法として、例えばクライアントコンピュータ上で本発明を形成するコンピュータプログラムとなり得るプログラムデータファイルを記録し、接続が適合するコンピュータにそのファイルをダウンロードする方法がある。この場合、プログラムデータファイルを複数のセグメントファイルに分割し、セグメントファイルを異なるサーバに配置することも可能であり、ファイルを圧縮して置くことも可能である。
【０１３２】
つまり、本発明の機能処理をコンピュータで実現するためにプログラムデータファイルを複数のユーザに対してダウンロードさせるサーバ装置も本発明に含む。
【０１３３】
また、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体に格納してユーザに配布し、所定の条件を満たしたユーザに対して暗号化を解く鍵情報を、例えばインターネットを介してホームページからダウンロードさせることによって供給する。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。更に、コンピュータが読み出したプログラムを実現することによって、前述した実施形態の機能が実現される。また、そのプログラムの指示に基づき、コンピュータ上で稼働しているＯＳなどが、実際の処理の一部又は全部を行い、その処理によって前述した実施形態の機能が実現され得る。
【０１３４】
更に、記録媒体から読み出されたプログラムを、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込む。その後、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部又は全部を行い、その処理によっても前述した実施形態の機能が実現され得る。また、監視やセキュリティの用途としても撮像画像から多くの情報量を取得できる本装置の有用性を利用することができる。例えば、撮影対象として人を対象として背景領域から移動物体として検出することにも利用できる。
【図１】
2011003029.tif 000029
【図２】
2011003029.tif 000030
【図３】
2011003029.tif 000031
【図４】
2011003029.tif 000032
【図５】
2011003029.tif 000033