(57)【要約】【課題】画像の動きを正しく推定することの可能な画像処理装置を提供すること。【解決手段】本発明の撮像装置１００の画像処理部１７０は、画像を撮像する撮像部１４０が駆動された駆動量から、撮像部１４０の駆動に伴う一の画像と他の画像との画像間の物理算出動きパラメータを算出する物理算出動きパラメータ算出部１７１と、一の画像と他の画像とを比較して画像間の画像算出動きパラメータを算出する画像算出動きパラメータ算出部１７４と、物理算出動きパラメータおよび画像算出動きパラメータに基づいて画像間の動き情報を取得する取得部１７５とを備える。【選択図】図２
2009253761.tif 000002
【特許請求の範囲】
【請求項１】
画像を撮像する撮像部が駆動された駆動量から、前記撮像部の駆動に伴う一の画像と他の画像との画像間の第１の動き情報を算出する第１の動き情報算出部と、
前記一の画像と前記他の画像とを比較して前記画像間の第２の動き情報を算出する第２の動き情報算出部と、
前記第１の動き情報および前記第２の動き情報に基づいて、前記画像間の動き情報を取得する取得部と、
を備える、画像処理装置。
【請求項２】
前記第２の動き情報算出部は、
前記一の画像から特徴点を抽出する特徴点抽出部と、
前記第１の動き情報を用いて前記他の画像から前記一の画像の前記特徴点に対応する対応点を探索する対応点探索部と、
前記対応点と前記特徴点とを比較した結果に基づいて、前記第２の動き情報を推定する推定部と、
を備える、請求項１に記載の画像処理装置。
【請求項３】
前記対応点探索部は、前記第１の動き情報に基づいて前記一の画像の特徴点の前記他の画像中における移動先を推定し、前記対応点を探索する探索範囲を決定する、請求項２に記載の画像処理装置。
【請求項４】
前記対応点探索部は、前記第１の動き情報を用いて前記一の画像と前記他の画像とを比較した結果に基づいて、前記他の画像中の動体を除去する、請求項２に記載の画像処理装置。
【請求項５】
前記取得部は、
前記第１の動き情報と前記第２の動き情報との誤差を算出する誤差算出部と、
前記誤差が所定の値より大きいか否かを判定する判定部と、
前記判定結果に基づいて、前記画像間の動き情報を決定する動き情報決定部と、
を備える、請求項１に記載の画像処理装置。
【請求項６】
前記動き情報決定部は、
前記誤差が所定の値より大きい場合には前記第１の動き情報を前記画像間の動き情報として決定し、
前記誤差が所定の値以下である場合には前記第２の動き情報を前記画像間の動き情報として決定する、請求項５に記載の画像処理装置。
【請求項７】
画像を撮像する撮像部と、
前記撮像部を駆動する駆動部と、
前記撮像部が駆動された駆動量から、前記撮像部の駆動に伴う一の画像と他の画像との画像間の第１の動き情報を算出する第１の動き情報算出部と、
前記一の画像と前記他の画像とを比較して前記画像間の第２の動き情報を算出する第２の動き情報算出部と、
前記第１の動き情報および前記第２の動き情報に基づいて、前記画像間の動き情報を取得する取得部と、
を備える、撮像装置。
【請求項８】
画像を撮像する撮像部が駆動された駆動量から、前記撮像部の駆動に伴う一の画像と他の画像との画像間の第１の動き情報を算出する第１の算出ステップと、
前記一の画像と前記他の画像とを比較して前記画像間の第２の動き情報を算出する第２の算出ステップと、
前記第１の動き情報および前記第２の動き情報に基づいて、前記画像間の動き情報を取得する取得ステップと、
を含む、画像処理方法。
【請求項９】
撮像部により一の画像を撮像する第１の撮像ステップと、
前記撮像部を駆動させた後、他の画像を撮像する第２の撮像ステップと、
前記撮像部が駆動された駆動量から、前記撮像部の駆動に伴う前記一の画像と前記他の画像との画像間の第１の動き情報を算出する第１の算出ステップと、
前記一の画像と前記他の画像とを比較して前記画像間の第２の動き情報を算出する第２の算出ステップと、
前記第１の動き情報および前記第２の動き情報に基づいて、前記画像間の動き情報を取得する取得ステップと、
を含む、画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像間の動きを推定する画像処理装置、撮像装置および画像処理方法に関する。
【背景技術】
【０００２】
旋回カメラ等の動く撮像装置により撮像された画像からパノラマ画像を作成する合成処理や動体を検知する動体検知処理を行う際、その前処理として撮像装置の動きによる２つの画像間の動きを推定する動き推定処理が行われる（例えば、特許文献１、２）。一般的な動き推定処理としては、例えば画像間の動きを推定する場合、一の画像内において特徴的な点を検出し、他の画像内から一の画像内の特徴点と対応する対応点を探索し、対応点の情報から動きの推定を行う方法が用いられている。
【０００３】
また、一般的な動体検知処理としては、２つの画像間の差分をとり、差がゼロ以外の部分を動体として検知する方法が用いられている。かかる方法を用いて、例えば図９に示す画像１１と画像１２との差分をとると、画像１０のように本来の動体だけでなく静体である背景の部分にも差が生じ、背景を動体として検知してしまうおそれがある。このため、動体のみを検知するため、図１０に示す動体検知処理方法が用いられている。
【０００４】
すなわち、図１０の動体検知処理方法では、２つの画像を入力し（ステップＳ１０）、画像間の動きを推定し、動きパラメータを算出する（ステップＳ２０）。次いで、算出された動きパラメータを用いて画像を変形し（ステップＳ３０）、変形された画像と未変形の画像との差分をとる（ステップＳ４０）。そして、差分の生じた差分領域が所定量以上であるか否かを判断し（ステップＳ５０）、差分領域が所定量以上であれば動体と判定し（ステップＳ６０）、差分領域が所定量より少なければ静体と判定する（ステップＳ７０）。このように、動きパラメータを用いることにより、静体部分には差が生じず動体のみを検知することが可能となる。
【０００５】
ここで、動き推定処理においては、画像間の動きに回転成分が含まれる場合には動きの推定が困難であるという問題があった。このような問題に対し、例えば非特許文献１によれば、回転成分に対応した動き推定処理が提案されている。
【０００６】
【特許文献１】特開２００２−１７０１１１号公報
【特許文献２】特開平０５−２６０２６４号公報
【非特許文献１】David G. Lowe, "Distinctive image features from scale-invariantkeypoints", International Journal of ComputerVision, 60, 2 (2004), pp. 91-110
【発明の開示】
【発明が解決しようとする課題】
【０００７】
しかし、非特許文献１の動き推定処理では、別途特別の処理を行うため通常の処理と比較して処理速度の高速化は難しく、ハードウェア上でリアルタイムに動きを推定することは困難である。
【０００８】
また、例えば、大きな物体が画面上を通過した場合等のように画面内の大部分の領域を動体が占有している状態や、点対応が非常に少ない地面や道路などの平坦なシーン等においては、図１０に示す方法を用いても正しい動きを推定することができない。このため、求めるべき撮像装置の運動による画像間の動きとは全く異なる動きを推定してしまうという問題があった。
【０００９】
一方、他のセンサにより測定した位置情報や旋回カメラであれば旋回用モータの位置情報等から動きを推定することも可能である。しかし、このようにして推定された動きは比較的誤差が大きく、精度面において問題がある。
【００１０】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像の動きを正しく推定することの可能な、新規かつ改良された画像処理装置、撮像装置および画像処理方法を提供することにある。
【課題を解決するための手段】
【００１１】
上記課題を解決するために、本発明のある観点によれば、画像を撮像する撮像部が駆動された駆動量から、撮像部の駆動に伴う一の画像と他の画像との画像間の第１の動き情報を算出する第１の動き情報算出部と、一の画像と他の画像とを比較して画像間の第２の動き情報を算出する第２の動き情報算出部と、第１の動き情報および第２の動き情報に基づいて画像間の動き情報を取得する取得部とを備える、画像処理装置が提供される。
【００１２】
本発明によれば、一の画像と他の画像とにおける画像間の動き情報について、撮像部が実際に駆動された駆動量から算出された第１の動き情報と、画像の比較により算出された第２の動き情報との２つの動き情報を求める。そして、第１の動き情報と第２の動き情報とに基づいて、一の画像間の動き情報が取得される。これにより、より高い精度で画像間の動き情報を推定することができる。
【００１３】
ここで、第２の動き情報算出部は、一の画像から特徴点を抽出する特徴点抽出部と、第１の動き情報を用いて他の画像から一の画像の特徴点に対応する対応点を探索する対応点探索部と、対応点と特徴点とを比較した結果に基づいて第２の動き情報を推定する推定部と、を備えるように構成することができる。このとき、対応点探索部は、第１の動き情報に基づいて一の画像の特徴点の他の画像中における移動先を推定し、対応点を探索する探索範囲を決定するようにしてもよい。すなわち、対応点が存在しそうな部分を予測し、その周辺領域を対応点の探索範囲とする。これにより、対応点探索処理の処理量を軽減することができ、高速に対応点を探索することができる。
【００１４】
さらに、対応点探索部は、対応点を探索するために第１の動き情報を用いて一の画像と他の画像とを比較した結果に基づいて、他の画像中の動体を除去するようにしてもよい。一の画像と他の画像との画像間の動きには、撮像部の旋回等に伴う回転の動きが含まれる場合がある。このとき、第１の動き情報を用いて回転の動きを除去して一の画像と他の画像とを比較することにより、対応点探索を行う際に動体の特徴点に対応する対応点を特定するという対応点の誤探索を低減することができる。
【００１５】
また、取得部は、第１の動き情報と第２の動き情報との誤差を算出する誤差算出部と、誤差が所定の値より大きいか否かを判定する判定部と、判定結果に基づいて画像間の動き情報を決定する動き情報決定部と、を備えることができる。誤差算出部により算出される誤差は、ある値につき、第１の動き情報を利用して算出された算出値と第２の動き情報を利用して算出された算出値との誤差であってもよい。このように、第１の動き情報と第２の動き情報とを比較してより精度の高い動き情報を判定して取得することができる。
【００１６】
このとき、動き情報決定部は、誤差が所定の値より大きい場合には第１の動き情報を画像間の動き情報として決定し、誤差が所定の値以下である場合には第２の動き情報を画像間の動き情報として決定するようにしてもよい。なお、誤差の特性に応じて、動き情報決定部は、誤差が所定の値より小さい場合には第１の動き情報を画像間の動き情報として決定し、誤差が所定の値以上である場合には第２の動き情報を画像間の動き情報として決定することもできる。
【００１７】
また、上記課題を解決するために、本発明の別の観点によれば、画像を撮像する撮像部と、撮像部を駆動する駆動部と、撮像部が駆動された駆動量から、撮像部の駆動に伴う一の画像と他の画像との画像間の第１の動き情報を算出する第１の動き情報算出部と、一の画像と他の画像とを比較して画像間の第２の動き情報を算出する第２の動き情報算出部と、第１の動き情報および第２の動き情報に基づいて画像間の動き情報を取得する取得部と、を備える、撮像装置が提供される。
【００１８】
さらに、上記課題を解決するために、本発明の別の観点によれば、画像を撮像する撮像部が駆動された駆動量から、撮像部の駆動に伴う一の画像と他の画像との画像間の第１の動き情報を算出する第１の算出ステップと、一の画像と他の画像とを比較して画像間の第２の動き情報を算出する第２の算出ステップと、第１の動き情報および第２の動き情報に基づいて画像間の動き情報を取得する取得ステップとを含む、画像処理方法が提供される。
【００１９】
また、上記課題を解決するために、本発明の別の観点によれば、撮像部により一の画像を撮像する第１の撮像ステップと、撮像部を駆動させた後、他の画像を撮像する第２の撮像ステップと、撮像部が駆動された駆動量から、撮像部の駆動に伴う一の画像と他の画像との画像間の第１の動き情報を算出する第１の算出ステップと、一の画像と他の画像とを比較して画像間の第２の動き情報を算出する第２の算出ステップと、第１の動き情報および第２の動き情報に基づいて画像間の動き情報を取得する取得ステップとを含む、画像処理方法が提供される。
【発明の効果】
【００２０】
以上説明したように本発明によれば、画像の動きを正しく推定することの可能な画像処理装置、撮像装置および画像処理方法を提供することができる。
【発明を実施するための最良の形態】
【００２１】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００２２】
＜撮像装置の概略構成＞
まず、図１に基づいて、本発明の実施形態にかかる撮像装置１００について説明する。なお、図１は、本実施形態にかかる撮像装置１００の構成を示すブロック図である。
【００２３】
本実施形態にかかる撮像装置１００は、旋回可能な撮像装置１００であって、図１に示すように、対象物を撮像し、撮像した画像の画像処理を行うカメラ部１０２と、カメラ部１０２を旋回させる旋回機構部１０４とからなる。かかる撮像装置１００は、旋回機構部１０４によりカメラ部１０２をパン方向およびチルト方向に移動させることにより、所望の方向の対象物をカメラ部１０２により撮像することができる。また、例えばカメラ部１０２を旋回させて複数の画像を取得して合成することにより、１つのパノラマ画像を生成することもできる。
【００２４】
このような撮像装置１００のカメラ部１０２は、図１に示すように、光学部１１０と、機構制御部１２０と、撮像部１４０と、撮像信号処理部１５０と、データ処理部１６０と、画像処理部１７０と、画像記憶部１８０とからなる。
【００２５】
光学部１１０は、後述する撮像部１４０に光を結像させるレンズ等の光学素子であって、例えばフロントレンズや、ズームレンズ、リレーレンズ等から構成される。
【００２６】
機構制御部１２０は、所望の画像を取得するために光学部１１０を制御する制御部である。機構制御部１２０は、例えばズームレンズを移動させる制御を行い、ズーム倍率を調整する。また、機構制御部１２０は、レンズの絞りの駆動制御や、撮像部１４０の結像面への焦点位置の調整制御、後述する駆動部１３０の駆動制御等を行う。
【００２７】
撮像部１４０は、光学部１１０から入射した光を電気信号に変換する撮像素子であって、例えばＣＣＤ（Ｃｈａｒｇｅ  Ｃｏｕｐｌｅｄ  Ｄｅｖｉｃｅｓ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ  Ｍｅｔａｌ  Ｏｘｉｄｅ  Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサ等を用いることができる。撮像部１４０により生成された電気信号である撮像信号は、後述する撮像信号処理部１５０に出力される。
【００２８】
撮像信号処理部１５０は、撮像部１４０から入力された撮像信号を処理する処理部である。撮像信号処理部１５０では、例えばＡ／Ｄ変換処理や画像をカラー化するためのカラー処理が行われる。撮像信号処理部１５０は、撮像信号に対して各処理を行って画像情報を生成し、後述するデータ処理部１６０および画像処理部１７０へ出力する。
【００２９】
データ処理部１６０は、画像情報を外部の機器へ出力するための処理を行う処理部である。データ処理部１６０は、例えばＤ／Ａ変換処理や、データ圧縮処理等が行われる。データ処理部１６０は、データ処理部１６０によって処理された画像情報を外部の機器へ出力する。データ処理部１６０から出力される画像情報は、撮像部１４０によって撮像された撮像画像である。
【００３０】
画像処理部１７０は、画像の動きの推定する動き推定処理が行われる処理部である。画像処理部１７０は、撮像信号処理部１５０から入力された画像情報および旋回機構部１０４から入力される駆動情報に基づいて、画像の動きを推定する。画像処理部１７０は、動き推定処理において必要な情報を後述する画像記憶部１８０に記録することができる。画像処理部１７０により生成された画像の動き情報は、外部の機器へ出力される。また、画像処理部１７０は、生成された画像の動き情報を利用して撮像部１４０により撮像された複数の画像を合成し、１つのパノラマ画像を生成する処理を行うように構成することもできる。なお、画像処理部１７０の詳細な構成については後述する。
【００３１】
画像記憶部１８０は、画像情報を保持する記憶部である。画像記憶部１８０には、画像処理部１７０における動き推定処理に必要な情報、例えば、撮像信号処理部１５０にて処理された状態の１又は２以上の画像情報や、画像処理部１７０において変換された画像情報等が記憶される。
【００３２】
旋回機構部１０４は、カメラ部１０２を旋回駆動する駆動部１３０を備える。駆動部１３０は、例えばステッピングモータ等を用いることができる。駆動部１３０は機構制御部１２０により駆動制御される。駆動部１３０の駆動情報は、画像処理部１７０に出力される。
【００３３】
以上、本実施形態にかかる撮像装置１００の概略構成について説明した。本実施形態にかかる撮像装置１００では、画像処理部１７０での動き推定処理において、駆動部１３０の駆動情報から算出される画像の物理算出動きパラメータ（第１の動き情報）と、撮像部１４０により撮像された画像情報に基づいて推定された画像の画像算出動きパラメータ（第２の動き情報）とを比較して、その画像間の動き情報において精度の高い一の動き情報を取得する。以下、本実施形態における画像処理部１７０の構成および画像の動き推定処理について詳細に説明する。
【００３４】
＜画像処理部の構成＞
まず、図２に基づいて、本実施形態における画像の動き推定処理を行う画像処理部１７０の各機能部の構成について説明する。なお、図２は、本実施形態にかかる画像処理部１７０の構成を示すブロック図である。
【００３５】
本実施形態にかかる画像処理部１７０は、図２に示すように、物理算出動きパラメータ算出部１７１と、特徴点抽出部１７２と、対応点探索部１７３と、画像算出動きパラメータ算出部１７４と、取得部１７５と、動きパラメータ出力部１７６とを備える。
【００３６】
物理算出動きパラメータ算出部１７１は、駆動部１３０の駆動情報に基づいて画像の動きを算出する処理部である。物理算出動きパラメータ算出部１７１は、駆動部１３０の旋回方向および旋回量を駆動情報として取得して、画像の動きを算出する。物理算出動きパラメータ算出部１７１は、算出した画像の動きを物理算出動きパラメータとして後述する対応点探索部１７３および取得部１７５へ出力する。
【００３７】
特徴点抽出部１７２は、画像から特徴的な点を抽出する処理部である。特徴点抽出部１７２は、撮像部１４０により撮像された複数の画像のうち一の画像から、例えばコーナー部等の特徴点を抽出する。そして、特徴点抽出部１７２は、抽出した特徴点の位置を表す座標等を含む特徴点情報を後述の対応点探索部１７３へ出力する。
【００３８】
対応点探索部１７３は、物理算出動きパラメータ算出部１７１にて算出された物理算出動きパラメータおよび特徴点抽出部１７２により抽出された特徴点の特徴点情報に基づいて、画像中の対応点を探索する処理部である。対応点探索部１７３は、特徴点抽出部１７２により特徴点を抽出した一の画像とは別画像である他の画像中から、一の画像の特徴点に対応する対応点を探索する。対応点探索部１７３は、他の画像中における対応点の有無を判定し、その結果を後述の画像算出動きパラメータ算出部１７４へ出力する。なお、対応点探索部１７３による対応点探索処理の詳細については後述する。
【００３９】
画像算出動きパラメータ算出部１７４は、対応点探索部１７３により探索された対応点の対応点情報に基づいて画像の動きパラメータである画像算出動きパラメータを算出する処理部である。画像算出動きパラメータ算出部１７４は、算出した画像算出動きパラメータを後述の取得部１７５へ出力する。
【００４０】
取得部１７５は、画像算出動きパラメータ算出部１７４により算出された画像算出動きパラメータの正否を判定し、確からしい一の動きパラメータを取得する処理部である。取得部１７５は、物理算出動きパラメータ算出部１７１により算出された物理算出動きパラメータと画像算出動きパラメータとに基づいて、画像算出動きパラメータの正否を判定する。そして、取得部１７５は、判定結果に基づいて一の動きパラメータを決定し、後述する動きパラメータ出力部１７６へ出力する。なお、取得部１７５における動きパラメータ決定処理の詳細については後述する。
【００４１】
動きパラメータ出力部１７６は、取得部１７５により決定された一の動きパラメータを外部の機器へ出力する。画像処理部１７０にパノラマ画像生成処理を行うパノラマ画像処理部（図示せず。）がある場合には、動きパラメータ出力部１７６は、一の動きパラメータを画像処理部１７０内のパノラマ画像処理部へ出力するようにしてもよい。
【００４２】
以上、本実施形態にかかる画像処理部１７０の構成について説明した。次に、図３〜図６に基づいて、本実施形態にかかる動き推定処理について説明する。なお、図３は、本実施形態にかかる動き推定処理を示すフローチャートである。図４は、本実施形態にかかる対応点探索処理を示すフローチャートである。図５Ａ〜図５Ｃは、対応点探索処理を説明するための説明図である。図６は、取得部１７５における動きパラメータの正否判定処理を説明するための説明図である。
【００４３】
＜動き推定処理＞
本実施形態にかかる画像の動き推定処理は、まず、図３に示すように、一の画像中から特徴点を抽出する（ステップＳ１１０）。特徴点の抽出は、例えば、ＨａｒｒｉｓＯｐｅｒａｔｏｒ（C.Harris and M.Stephens -“A combined corner and edge detector” Proc. 4th Alvey Vision Conf. pp147-151, Manchester, U.K. ,Aug. 1998.）等の方法を用いて行うことができる。なお、特徴点抽出処理に用いられる手法はかかる例に限定されず、他の手法を用いてもよい。
【００４４】
次いで、他の画像中から、ステップＳ１１０にて抽出された一の画像中の特徴点に対応する対応点を探索する（ステップＳ１２０）。ステップＳ１２０の対応点探索処理では、一の画像中の特徴点と物理算出動きパラメータ算出部１７１にて算出された物理算出動きパラメータを用いて、他の画像中の対応点を探索する。
【００４５】
ここで、物理算出動きパラメータは、カメラ部１０２の焦点距離や、各画像が撮像された時刻におけるカメラ部１０２のパン角度、チルト角度等を用いて算出することができる。例えば、焦点距離をｆ、パン角度をφ、チルト角度をθとしたとき、物理算出動きパラメータＨはカメラパラメータＡおよび回転行列Ｒを用いて下記数式１より算出することができる。
【００４６】
【数１】
2009253761.tif 000003
【００４７】
数式１を用いて物理算出動きパラメータを算出するにあたり、焦点距離や、パン角度、チルト角度は高精度に計測する必要はなく数％の誤差を含んでいてもよく、焦点距離や、パン角度、チルト角度は画角などの情報から算出してもよい。また、物理算出動きパラメータは、他のカメラに関するパラメータを用いて算出してもよく、上記数式１以外の方法により算出してもよい。
【００４８】
対応点探索部１７３は、このようにして算出された物理算出動きパラメータを用いて対応点探索処理を行う。ここで、図４〜図５Ｃに基づいて、本実施形態にかかる対応点探索処理について説明する。
【００４９】
本実施形態にかかる対応点探索処理では、図４に示すように、まず、特徴点を抽出した一の画像中からテンプレートを切り出す（ステップＳ２１０）。テンプレートとは画像中の探索したい対象画像である。本実施形態では、一の画像中のある特徴点を含む所定領域（例えば、特徴点を中心とする９画素×９画素で形成される領域）をテンプレートとして設定する。例えば、図５Ａに示すように、画像２０２中における特徴点２１２を中心とする所定領域をテンプレート２１０として設定することができる。
【００５０】
ここで、本実施形態にかかる対応点探索処理では物理算出動きパラメータを用いる。すなわち、物理算出動きパラメータを利用して画像を回転させて、カメラ部１０２の回転による画像の動きを除去する。例えば、図５Ａに示す画像について物理算出動きパラメータを用いて画像の回転を除去すると、図５Ｂに示すようになるとする。このように、特徴点を抽出した一の画像と他の画像との間に回転による動きが入っていた場合にもその動きを除去した状態とすることにより、対応点の誤探索を低減することができる。
【００５１】
次いで、対応点を探索する他の画像において、探索範囲の中心が設定される（ステップＳ２２０）。ここで、探索範囲とは、他の画像中においてテンプレート２１０のマッチングを行う範囲をいう。本実施形態では、探索範囲を決定する際において物理算出動きパラメータを用いる。画像全体に対してテンプレート２１０のマッチングを行うと莫大な計算量となるため、画像中の一部範囲においてのみテンプレート２１０のマッチング処理が行われる。このとき、テンプレート２１０に含まれる特徴点２１２が他の画像においてどの位置に移動したかを物理算出動きパラメータを用いて推定する。そして、物理算出動きパラメータにより推定された特徴点２１２の移動位置を探索範囲の中心とし、その周辺領域を探索範囲として設定する。
【００５２】
例えば、図５Ｃに示すように、対応点を探索する他の画像２０６中において、物理算出動きパラメータを用いて特徴点２１２の移動位置を推定し、かかる特徴点２１２の移動位置を探索範囲の中心２１４として設定する。この探索範囲の中心２１４の周辺に所定の周辺領域を設定し、これを探索範囲２１６とする。そして、探索範囲２１６においてテンプレート２１０のマッチング処理を行う。このように、物理算出動きパラメータを利用して対応点が存在する可能性の高い部分に探索範囲の中心２１４を設定し、その周辺領域と探索範囲２１６として探索する。これにより、動体の特徴点に対応する対応点を探索したとしても探索範囲２１６内に特徴点２１２と類似度の高い点が存在せず、必然的に静体の特徴点のみが対応点として検出されるようになる。また、対応点が存在しそうな位置を予測して探索範囲を決定することにより処理量を軽減することができ、処理の高速化を実現することができる。これにより、リアルタイムに画像の動きを推定することも可能となる。
【００５３】
さらに、ステップＳ２２０にて設定された探索範囲２１６において、テンプレート２１０と相関値の高い部分を探索する（ステップＳ２３０）。ステップＳ２３０では、探索範囲２１６内を走査して、ステップＳ２１０にて切り出されたテンプレート２１０と類似度が最大となるものを探索する。本実施形態では、画像間の類似性を評価尺度として、正規化相互相関を用いる。正規化相互相関は、対応する画素値の平均と標準偏差とによって正規化された絶対測度であり、値が大きいほど類似性が高いことを表す。ステップＳ２３０では、探索範囲２１６内においてテンプレート２１０との比較部分をずらしていき、最も相関値の高い部分を探索する。
【００５４】
その後、ステップＳ２３０にて探索された部分における相関値が閾値以上であるか否かを判定する（ステップＳ２４０）。かかる閾値は、ステップＳ２３０にて探索された部分がテンプレート２１０と同一領域であるとみなすか否かを決定する類似基準である。探索された部分の相関値がかかる閾値以上である場合には、当該部分はテンプレート２１０と同一領域であるとみなし、探索された部分の中心を特徴点２１２の対応点として出力する（ステップＳ２５０）。このとき出力される対応点は、上述したステップＳ２１０〜Ｓ２３０の処理において動体を除去した状態で探索されたものである。したがって、ほぼ確実に静体の特徴点に対応する対応点を探索することができる。
【００５５】
一方、探索された部分の相関値がかかる閾値より小さい場合には、探索範囲２１６にテンプレート２１０に対応する部分が存在しないと判定し、対応点は出力しない（ステップＳ２６０）。この場合、一の画像における特徴点は動体の特徴点であると考え、後述の画像算出動きパラメータ算出部１７４における画像算出動きパラメータ算出処理では考慮しない。
【００５６】
以上、本実施形態にかかる対応点探索処理について説明した。このように、物理算出動きパラメータを用いてテンプレートの切り出しおよび探索範囲の中心の設定を行うことにより、動体を容易に除去することができ、高速に対応点を探索することができる。
【００５７】
図３に戻り、対応点探索部１７３により得られた対応点の情報に基づいて、画像算出動きパラメータ算出部１７４は画像算出動きパラメータを算出する（ステップＳ１３０）。画像算出動きパラメータを算出する方法としては、例えば画像算出動きパラメータを未知変数として最小二乗法などを用いて算出する一般的な手法を用いることができる。
【００５８】
そして、画像算出動きパラメータ算出部１７４により算出された画像算出動きパラメータが正しいか否かを判定する（ステップＳ１４０）。画像算出動きパラメータの正誤判定は、まず、元の画像の１または２以上の任意の点を、画像算出動きパラメータに基づいて移動させた各点の座標と物理算出動きパラメータに基づいて移動させた各点の座標とを比較する。そして、比較した結果、その差が所定の値より大きい場合には、画像算出動きパラメータが誤りであるとみなして物理算出動きパラメータを動きパラメータ（画像間の動き情報）として後続の処理に利用する（ステップＳ１５０）。一方、差が所定の値以下である場合には、画像算出動きパラメータは正しいと判定し、画像算出動きパラメータを動きパラメータ（画像間の動き情報）として後続の処理に利用する（ステップＳ１６０）。
【００５９】
なお、所定の値は、画像算出動きパラメータの方が物理算出動きパラメータよりも正確な値であるとみなす基準値であり、例えばある点を画像算出動きパラメータと物理算出動きパラメータとを用いて移動させたときの２つの移動点間の位置の差により表すことができる。
【００６０】
例えば、図６に示すように、元の画像２０２から４隅の点Ｐ１〜Ｐ４を任意の点としてとる。そして、点Ｐ１〜Ｐ４を物理算出動きパラメータおよび画像算出動きパラメータを用いて移動させる。このとき、点Ｐ１〜Ｐ４の物理算出動きパラメータによる移動後の座標Ｐｓｍｐは下記数式２により求めることができ、画像算出動きパラメータによる移動後の座標Ｐｉｍｇは下記数式３により求めることができる。なお、Ｈｓｍｐは物理算出動きパラメータ、Ｈｉｍｇは画像算出動きパラメータとする。
【００６１】
【数２】
2009253761.tif 000004
【００６２】
点Ｐ１〜Ｐ４について上記数式２から物理算出動きパラメータによる移動後の座標Ｐｓｍｐを算出したとき、元の画像（一の画像）２０２の点Ｐ１〜Ｐ４が他の画像において符号２３１に示す位置に移動されたとする。また、点Ｐ１〜Ｐ４について上記数式３から画像算出動きパラメータによる移動後の座標Ｐｉｍｇを算出したとき、元の画像２０２の点Ｐ１〜Ｐ４が他の画像において符号２３２に示す位置に移動されたとする。このとき、その位置の差は所定の値以下であれば、符号２３１に示す点Ｐ１〜Ｐ４の配置と符号２３２に示す点Ｐ１〜Ｐ４の配置とは略同一となると考えられる。この場合、一般的に物理算出動きパラメータよりも精度の高い画像算出動きパラメータを画像間の動き情報として、後続の処理に利用する。
【００６３】
一方、物理算出動きパラメータによる移動後の座標Ｐｓｍｐと画像算出動きパラメータによる移動後の座標Ｐｉｍｇとの差が所定の値より大きい場合には、画像算出動きパラメータによる移動後の座標Ｐｉｍｇは例えば符号２３３に示すように、物理算出動きパラメータによる移動後の座標Ｐｓｍｐの配置と相違する。すなわち、４つの点Ｐ１〜Ｐ４のうち少なくとも１つの点の画像算出動きパラメータによる移動後の座標が物理算出動きパラメータによる移動後の座標と相違する場合には、画像算出動きパラメータは誤って算出されたものであると判定される。この場合、多少精度を欠くがほぼ一定に確かな値を示す物理算出動きパラメータを画像間の動き情報として、後続の処理に利用する。
【００６４】
すなわち、駆動部１３０の駆動量の測定にはある程度の誤差が含まれるため、基本的には画像算出動きパラメータ算出部１７４が画像間の移動量から算出した画像算出動きパラメータの方が、駆動部１３０によるカメラ部１０２の駆動量である物理算出動きパラメータよりも精度の高い動き情報となる。しがたって、通常は画像算出動きパラメータを動き情報として利用し、画像算出動きパラメータを正しく算出することのできない状況においては、画像算出動きパラメータよりも画像間の動きを正しく表している可能性の高い物理算出動きパラメータを利用する。
【００６５】
画像算出動きパラメータ算出部１７４により算出された画像算出動きパラメータが誤りとなる状況としては、例えば画面内を大きな動体が通過した場合がある。図７に示すように、ある時間の画像３１０において動体であるトラック３０２と静体である建物３０４とが画面内に存在する。トラック３０２が画面左から右へ移動しているとき、次の時間の画像は、画像３１２のように建物３０４の位置は元の画像３１０における位置から変化せず、トラック３０２の位置が変化するような画像となるのが望ましい。しかし、トラック３０２等の大きな物体により画像内に特徴点が存在しなくなることや、遮る物体の特徴点によって動きを推定してしまうことにより、結果として大きな動体の動きから画像算出動きパラメータを算出してしまう。このため、図７の画像３１４のように、動体であるトラック３０２の特徴点から動き情報が算出されてしまい、トラック３０２の位置が元の画像３１０から変化しないような画像が静止されることになる。
【００６６】
また、例えば多くの人が様々な方向に歩いている状況など、画面内に複数の動体が含まれている場合においても、人の動きによって上記と同様に画像間の動きの推定を失敗する。さらに、降雨や降雪などの状況においては、雨や雪の動きをカメラ部１０２の動きと推定してしまい、画像間の動きの推定を失敗する。また、コンクリートのみが撮像される状況など、画面内に模様が少ない場合においては、そもそも特徴点およびそれに対応する対応点の情報を正しく算出することが困難である。このため、画像算出動きパラメータを正しく算出することができない。
【００６７】
一方、物理算出動きパラメータ算出部１７１により算出された物理算出動きパラメータを用いると画像を正しく生成することができない場合もある。例えば、撮像装置１００自体が振動している場合には、画面が揺動しているにも関わらず物理算出動きパラメータにはその振動に関する情報が含まれない。このような物理算出動きパラメータを動き情報として利用すると撮像装置１００の振動に関する情報が含まれていないため、画像を正しく生成することができない。
【００６８】
例えば、図８に示すように、ある時間の画像３２０に静体である建物３０４が存在しているとする。このとき、撮像装置１００が外部からの衝撃により上下に振動したとする。この場合、建物３０４は移動していないので、次の時間の画像は、撮像装置１００の振動が除去され、画像３２２に示すように元の画像３２０と同一の画像であることが望ましい。しかし、物理算出動きパラメータには撮像装置１００の振動に関する情報が含まれていないため、画像３２４のように建物３０４の位置が元の画像３２０から変化した画像が生成されてしまう。
【００６９】
このように、画像間の移動量から算出された画像算出動きパラメータを利用した場合であっても、駆動部１３０の駆動量から算出された物理算出動きパラメータを利用した場合であっても正しい画像間の動きが算出されない場合はある。本実施形態にかかる動き推定処理では、上述したように、基本的には画像算出動きパラメータの方が物理算出動きパラメータよりも精度が高いため、画像算出動きパラメータを利用する。ただし、上述したように、画像算出動きパラメータを利用すると画像の生成が失敗する状況では物理算出動きパラメータを利用する。これにより、画像の生成の失敗を少なくすることができる。
【００７０】
以上、本実施形態にかかる動き推定処理について説明した。本実施形態の撮像装置１００によれば、カメラ部１０２の旋回に伴う一の画像と他の画像との画像間の動き情報である物理算出動きパラメータと、一の画像と他の画像とを比較して算出された画像間の動き情報である画像算出動きパラメータとを用いて、より確からしいパラメータを画像間の動き情報として用いる。すなわち、画像に回転が含まれる場合や大きな動体が画面内に含まれる場合等、画像算出動きパラメータが誤推定され易い状況では、画像算出動きパラメータではなく物理算出動きパラメータが動き情報として用いられる。これにより、誤差はある程度存在しても大局的に確からしい動き情報を用いることができ、動体検知処理やパノラマ画像処理等において大きな誤りが生じるのを防止することができる。
【００７１】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【００７２】
例えば、上記実施形態では、対応点探索処理における画像間の類似性を評価する尺度として正規化相互相関を用いたが、本発明はかかる例に限定されない。例えば、テンプレートと探索対象画像の対応する画素値の差の絶対値の総和を尺度とした差分総和などを用いてもよい。差分総和を用いる場合、値が小さいほど類似性が高くなる。
【００７３】
また、上記実施形態では、動き推定処理は撮像装置１００の画像処理部１７０において行われたが、本発明はかかる例に限定されない。例えば、撮像装置１００の画像処理部１７０以外の処理部で実行してもよく、撮像装置１００と接続された外部の画像処理装置にて実行してもよい。
【図面の簡単な説明】
【００７４】
【図１】本発明の第１の実施形態にかかる撮像装置の構成を示すブロック図である。
【図２】同実施形態にかかる画像処理部の構成を示すブロック図である。
【図３】同実施形態にかかる動き推定処理を示すフローチャートである。
【図４】同実施形態にかかる対応点探索処理を示すフローチャートである。
【図５Ａ】対応点探索処理を説明するための説明図であって、撮像部により撮像された一の画像の状態を示す。
【図５Ｂ】対応点探索処理を説明するための説明図であって、カメラ部の動きを除去した一の画像の状態を示す。
【図５Ｃ】対応点探索処理を説明するための説明図であって、対応点を探索する他の画像を示す。
【図６】取得部における動きパラメータの正否判定処理を説明するための説明図である。
【図７】画像算出動きパラメータを利用して生成された画像の一失敗例を示す説明図である。
【図８】物理算出動きパラメータを利用して生成された画像の一失敗例を示す説明図である。
【図９】一般的な画像間の動きの推定を説明する説明図である。
【図１０】動体のみを検知するための一般的な動体検知処理を示すフローチャートである。
【符号の説明】
【００７５】
１００    撮像装置
１０２    カメラ部
１０４    旋回機構部
１１０    光学部
１２０    機構制御部
１３０    駆動部
１４０    撮像部
１５０    撮像信号処理部
１６０    データ処理部
１７０    画像処理部
１７１    物理算出動きパラメータ算出部
１７２    特徴点抽出部
１７３    対応点探索部
１７４    画像算出動きパラメータ算出部
１７５    取得部
１７６    動きパラメータ出力部
１８０    画像記憶部
２１０    テンプレート
２１２    特徴点
２１４    探索範囲の中心
２１６    探索範囲
【図１】
2009253761.tif 000005
【図２】
2009253761.tif 000006
【図３】
2009253761.tif 000007
【図４】
2009253761.tif 000008
【図５Ａ】
2009253761.tif 000009
【図５Ｂ】
2009253761.tif 000010
【図５Ｃ】
2009253761.tif 000011
【図６】
2009253761.tif 000012
【図７】
2009253761.tif 000013
【図８】
2009253761.tif 000014
【図９】
2009253761.tif 000015
【図１０】
2009253761.tif 000016