(57)【特許請求の範囲】
【請求項１】
動画撮像により得られた画像における複数の位置での動きベクトルを算出する動きベクトル算出手段と、
前記複数の位置での動きベクトルのうち、前記画像の中心に関して、点対称、上下対称及び左右対称のうち少なくとも１つの対称関係にある動きベクトルを１組として移動被写体に対応する動きベクトルを判定する判定手段と、
前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを除外した動きベクトルに基づいて、画像振れを低減する処理を行う処理手段とを有し、
前記判定手段は、前記複数の位置のうち、前記１組とした動きベクトルが特定の関係を有するか否かの判定に基づいて、前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを判定することを特徴とする画像処理装置。
【請求項２】
前記特定の関係は、前記複数の位置のうち対称関係にある位置での前記１組とした動きベクトルが同じ方向を向くか、回転の接線方向において互いに反対方向を向くか、放射方向において互いに反対側を向くかの少なくとも１つであることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記判定手段は、前記複数の位置のうち対称関係にある位置での前記１組とした動きベクトルが前記特定の関係を有さない場合には、前記複数の位置のうち対称関係にある位置での動きベクトルの少なくともいずれか一方が前記移動被写体に対応する動きベクトルと判定することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
前記複数の位置は、複数の領域であり、
前記動きベクトル算出手段は、前記画像から抽出した特徴点での動きベクトルを算出し、該特徴点での動きベクトルから前記領域ごとに代表動きベクトルを算出し、
前記処理手段は、前記複数の領域での前記代表動きベクトルのうち、前記移動被写体に対応する代表動きベクトルを除外した代表動きベクトルに基づいて前記処理を行い、
前記判定手段は、前記複数の領域のうち対称関係にある領域での前記代表動きベクトルを１組として、前記特定の関係を有するか否かの判定に基づいて、前記複数の位置での動きベクトルのうち前記移動被写体に対応する代表動きベクトルを判定することを特徴とする請求項１ないし３の何れか１項に記載の画像処理装置。
【請求項５】
前記判定手段は、前記複数の領域での前記代表動きベクトルのうち、抽出された前記特徴点の数が所定値よりも少ない領域の代表動きベクトルを除外した代表動きベクトルに基づいて前記処理を行うことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記複数の位置が、複数の所定の座標点であることを特徴とする請求項１ないし３の何れか１項に記載の画像処理装置。
【請求項７】
前記処理手段は、前記各位置での動きベクトルの信頼度を判定し、
前記複数の位置での動きベクトルのうち前記信頼度が所定レベルよりも低い動きベクトルと前記移動被写体に対応する動きベクトルとを除外した動きベクトルに基づいて、前記処理を行うことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
動画撮像を行う撮像系と、
請求項１から７のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項９】
動画撮像により得られた画像における複数の位置での動きベクトルを算出するステップと、
前記複数の位置での動きベクトルのうち、前記画像の中心に関して、点対称、上下対称及び左右対称のうち少なくとも１つの対称関係にある動きベクトルを１組として移動被写体に対応する動きベクトルを判定する判定ステップと、
前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを除外した動きベクトルに基づいて、画像振れを低減する処理を行うステップとを有し、
前記判定ステップにおいて、前記複数の位置のうち、前記１組とした動きベクトルが特定の関係を有するか否かの判定に基づいて、前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを判定することを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の画像処理方法を実行させるための、コンピュータが読み取り可能なプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置の振れに起因する画像振れを低減する防振処理技術に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置には、該撮像装置の振れに起因した画像振れを低減するための電子防振機能が搭載されていることがある。
【０００３】
電子防振では、撮像により生成されたフレーム画像のうち、実際に記録又は表示用に出力する領域を切り出し領域とし、フレーム画像ごとの切り出し領域を画像振れが打ち消されるようにシフト又は変形させる座標変換処理を行う。
【０００４】
画像を用いた撮像装置の振れの検出方法には、フレーム画像ごとに輝度投影ヒストグラムを作成し、フレーム画像間でのヒストグラムの位置差から振れ（方向と量）を算出する方法がある。また、フレーム画像間で動きベクトルを算出し、動きベクトルから振れを求める方法もある。
【０００５】
これらの振れ検出方法は、撮像により得られた画像の全体が撮像装置の振れによって動く場合に有効である。ただし、画像中に歩行者や車両等の移動する物体（移動被写体）が存在する場合には、該移動被写体の影響を受けたヒストグラムの位置差や動きベクトルが算出されるため、正しい撮像装置の振れを検出することができない。
【０００６】
このため、画像中に移動被写体が存在している場合でも良好な撮像装置の振れ検出を行えるようにすることが必要である。
【０００７】
特許文献１には、撮像により得られた画像を複数の領域に分割し、それぞれの領域で算出された動きベクトルの信頼性を判定し、信頼性がないと判定された領域の動きベクトルを撮像装置の振れ検出に用いないようにした振れ検出方法が開示されている。これにより、移動被写体の影響を除いた撮像装置の振れの検出が可能となる。
【０００８】
また、特許文献２にて開示された移動被写体の検出方法では、画像中の領域ごとに算出された動きベクトルから、画像全体の動きベクトルを算出する。そして、画像全体の動きベクトルを蓄積処理して画像全体の動きの変化について統計的性質を抽出し、この統計的性質に基づいて、後続のフレーム画像における画像全体の動きベクトルの予測を行う。このとき、各領域において算出された動きベクトルの値と画像全体の動きベクトルの予測値とが大きく異なる場合には、その領域に移動被写体が存在していると判定する。
【特許文献１】特許第２５１２２０７号公報
【特許文献２】特開平１１−２６６４５９号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、特許文献１にて開示された振れの検出方法では、２つのフレーム画像間での相関値を用いて移動被写体の存在判定を行う。このため、撮像装置にパンやチルト等のカメラワークが行われた場合には、移動被写体が存在していない領域においても相関値が大きく変化し、移動被写体の存在を判定することが不可能になる。
【００１０】
また、特許文献２にて開示された移動被写体の検出方法では、画像全体の動きベクトルが線形的に変化することを前提としているため、高い周波数の撮像装置の振れや複雑なカメラワーク下での撮像により得られた画像に対しては予測精度が低下する。このため、移動被写体が存在するか否かの判定精度も低下する。
【００１１】
本発明は、移動被写体の影響を除いた防振処理を行う場合に、高い精度で移動被写体の影響を受けた動きベクトルを判定できるようにした画像処理装置、撮像装置及び画像処理方法を提供する。
【課題を解決するための手段】
【００１２】
本発明の一側面としての画像処理装置は、動画撮像により得られた画像における複数の位置での動きベクトルを算出する動きベクトル算出手段と、前記複数の位置での動きベクトルのうち、前記画像の中心に関して、点対称、上下対称及び左右対称のうち少なくとも１つの対称関係にある動きベクトルを１組として移動被写体に対応する動きベクトルを判定する判定手段と、前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを除外した動きベクトルに基づいて、画像振れを低減する処理を行う処理手段とを有し、前記判定手段は、前記複数の位置のうち、前記１組とした動きベクトルが特定の関係を有するか否かの判定に基づいて、前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを判定することを特徴とする。
【００１３】
なお、動画撮像を行う撮像系と上記画像処理装置とを有する撮像装置も本発明の他の一側面を構成する。
【００１４】
また、本発明の他の一側面としての画像処理方法は、動画撮像により得られた画像における複数の位置での動きベクトルを算出するステップと、前記複数の位置での動きベクトルのうち、前記画像の中心に関して、点対称、上下対称及び左右対称のうち少なくとも１つの対称関係にある動きベクトルを１組として移動被写体に対応する動きベクトルを判定する判定ステップと、前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを除外した動きベクトルに基づいて、画像振れを低減する処理を行うステップとを有し、前記判定ステップにおいて、前記複数の位置のうち、前記１組とした動きベクトルが特定の関係を有するか否かの判定に基づいて、前記複数の位置での動きベクトルのうち前記移動被写体に対応する動きベクトルを判定することを特徴とする。
【発明の効果】
【００１５】
本発明によれば、移動被写体が含まれる画像において対称関係にある位置での動きベクトルが特定の関係を有するか否かの判定に基づいて移動被写体の影響を受けた動きベクトルを高い精度で判定することができる。したがって、高い周波数の撮像装置の振れや複雑なカメラワーク下での撮像により得られた画像に対しても、移動被写体の影響を除いた良好な防振処理を行うことができる。
【発明を実施するための最良の形態】
【００１６】
以下、本発明の好ましい実施例について図面を参照しながら説明する。
【実施例１】
【００１７】
図１には、本発明の実施例１である画像処理装置を含むビデオカメラ、デジタルスチルカメラ等の動画撮像が可能な撮像装置の構成を示す。
【００１８】
図１において、１０１は被写体像を形成する光学系、１０２は光学系１０１により形成された被写体像を光電変換するＣＣＤセンサやＣＭＯＳセンサ等の撮像素子である。
【００１９】
１０３は撮像素子１０２から出力される電気信号から映像信号を形成する画像形成回路である。画像形成回路１０３は、Ａ／Ｄ変換回路１０４、オートゲイン制御回路（ＡＧＣ）１０５、オートホワイトバランス回路（ＡＷＢ）１０６を含み、デジタル映像信号を生成する。Ａ／Ｄ変換回路１０４は、アナログ信号をデジタル信号に変換する。ＡＧＣ１０５は、デジタル信号のレベル補正を行う。また、ＡＷＢ１０６は、映像の白レベル補正を行う。撮像素子１０２及び画像形成回路１０３により、動画撮像を行う撮像系が構成される。
【００２０】
１０７はフレームメモリであり、画像形成回路１０３により形成された映像信号の１フレーム画像又は複数のフレーム画像を一時的に記憶保持する。１０８はフレームメモリ１０７に入出力される映像信号を制御するメモリ制御回路である。
【００２１】
１０９は動きベクトル算出回路であり、連続する（隣接する）２つのフレーム画像間から抽出された複数の特徴点のそれぞれにおける動きベクトルを検出し、さらにフレーム画像を複数の領域に分割して、各領域（位置）での代表動きベクトルを算出する。動きベクトル算出回路１０９は、動きベクトル検出回路１１０と、領域分割回路１１１と、代表動きベクトル算出回路１１２とから構成される。なお、以下の説明において、フレーム画像を単に画像ともいう。
【００２２】
動きベクトル検出回路１１０は、画像中の複数の特徴的な点（特徴点）を抽出し、連続する２フレーム画像間における被写体像の動き（変位）の方向と量を示す動きベクトルを算出する。動きベクトルは、画像中に存在する被写体像の見かけ上の動きを表す動き情報である。
【００２３】
領域分割回路１１１は、フレーム画像を複数の領域（例えば、４×４の１６領域）に分割する。
【００２４】
代表動きベクトル算出回路１１２は、領域分割回路１１１によって分割された複数の領域のそれぞれについて、当該領域を代表する１つの動きベクトルである代表動きベクトルを算出する。
【００２５】
１１３は判定手段としての動きベクトル解析回路であり、動きベクトル算出回路１０９から得られた複数の領域での代表動きベクトルの解析を行う。動きベクトル解析回路１１３は、代表動きベクトルの解析結果から、移動物体（移動被写体）に対応する代表動きベクトルを判定する。
【００２６】
１１４は移動物体除去回路である。該移動物体除去回路１１４は、上記分割された複数の領域（以下、分割領域という）のうち、動きベクトル解析回路１１３によって移動物体に対応する代表動きベクトルが存在すると判定された分割領域（以下、移動物体領域という）を、以降の処理から除外する。なお、移動物体領域を除外するとは、移動物体に対応する代表動きベクトルを除外すると同義である。
【００２７】
１１５は補正パラメータ算出回路であり、上記複数の分割領域のうち移動物体除去回路１１４によって移動物体領域が除外された残りの分割領域での動きベクトル群から画像変形量を算出する。さらに、補正パラメータ算出回路１１５は、該画像変形量から、画像振れを補正（低減）するための補正パラメータを算出する。
【００２８】
１１６は振れ補正回路であり、フレーム画像に対して、補正パラメータ算出回路１１５によって算出された補正パラメータを用いて、画像振れ補正のための幾何変換処理（すなわち、防振処理）を行う。
【００２９】
移動物体除去回路１１４、補正パラメータ算出回路１１５及び振れ補正回路１１６により、処理手段が構成される。また、動きベクトル算出回路１０９、動きベクトル解析回路１１３、移動物体除去回路１１４、補正パラメータ算出回路１１５、振れ補正回路１１６によって、画像処理装置が構成される。
【００３０】
１１７は映像出力回路であり、画像振れ補正処理（幾何変換処理）が行われたフレーム画像を順次、不図示のディスプレイに表示したり、半導体メモリ、光ディスク、磁気テープ等の記録媒体に記録したりする。
【００３１】
１００は撮像素子１０２、画像形成回路１０３、動きベクトル算出回路１０９、動きベクトル解析回路１１３、移動物体除去回路１１４、補正パラメータ算出回路１１５、振れ補正回路１１６及び映像出力回路１１７の動作を制御するメインコントローラである。メインコントローラ１００は、ＣＰＵ等により構成される。メインコントローラ１００は、メモリ制御回路１０８の動作も制御する。
【００３２】
以上のように構成された撮像装置の動作を、図２に示すフローチャートを用いて説明する。なお、ここで説明する動作は、メインコントローラ１００の不図示のメモリに格納されたコンピュータプログラムに従って実行される。このことは、以下の実施例でも同様である。
【００３３】
図２において、ステップＳ２０１では、メインコントローラ１００は、光学系１０１によって形成された被写体像を撮像素子１０２に光電変換させる。さらに、メインコントローラ１００は、撮像素子１０２から被写体輝度に応じて出力されたアナログ信号を画像形成回路１０３に処理させて映像信号を生成させる。
【００３４】
画像形成回路１０３は、Ａ／Ｄ変換回路１０４によってアナログ信号を、例えば１４ビットのデジタル信号に変換する。さらに、ＡＧＣ１０５及びＡＷＢ１０６によって信号レベル補正や白レベル補正が行われたデジタル映像信号は、フレームメモリ１０７に記録保持される。
【００３５】
本実施例の撮像装置では、所定のフレームレートで順次フレーム画像が生成され、フレームメモリ１０７に記憶保持されたフレーム画像は順次、動きベクトル算出回路１０９に入力される。また、フレームメモリ１０７によって記憶されるフレーム画像も順次更新される。以上の動作は、メインコントローラ１００からの指示に従うメモリ制御回路１０８によって制御される。そして、ステップＳ２０２以降において、画像振れ補正が行われる。
【００３６】
ステップＳ２０２では、メインコントローラ１００は、動きベクトル検出回路１１０に、連続する２フレーム画像間での動きベクトルを検出させる。動きベクトルの検出には、テンプレートマッチング法、勾配法等の一般的な検出方法を用いればよいが、その方法はどのようなものでもよい。
【００３７】
また、動きベクトルの検出は、一般に、連続する２つのフレーム画像間における注目画素及びその近傍領域のテクスチャ情報の相関関係に基づいて算出される。このため、注目画素及びその近傍領域にテクスチャがなく、輝度値の変化がほとんどない場合にはフレーム画像間での相関関係を見出すことができない。
【００３８】
そこで、予め物体（被写体）の角や線を画像中の特徴点として抽出しておき、それらを動きベクトル検出での注目画素とすることで、正確な動きベクトルを検出することができる。特徴点の抽出方法には、画像中のエッジの交点を特徴点とする手法や、色情報を用いる手法等があるが、その方法はどのようなものでもよい。
【００３９】
ステップＳ２０３では、メインコントローラ１００は、領域分割回路１１１に、画像を複数の領域に分割させる。さらに、メインコントローラ１００は、代表動きベクトル算出回路１１２に、動きベクトル検出回路１１０により検出された、各分割領域内での複数の動きベクトルを用いて当該分割領域での代表動きベクトルを算出させる。
【００４０】
ここで、領域分割回路１１１によるフレーム画像の領域分割の例を図３に示す。３０１はステップＳ２０２において検出された特徴点及び該特徴点での動きベクトルを示す。３０２は１つの分割領域を示している。なお、図３では、４×４の格子状に領域分割を行った場合を示しているが、分割数及び分割形状はどのようなものでもよい。
【００４１】
図４には、代表動きベクトル算出回路１１２によって分割領域ごとに算出された代表動きベクトルを示している。４０１は図３に示した分割領域３０２での代表動きベクトルである。代表動きベクトルは、１つの分割領域内に複数抽出された特徴点での動きベクトルを１つに統合したものである。代表動きベクトルは、分割領域内の複数の動きベクトルの平均値や中間値を求めることで算出できるが、その算出方法はどのようなものであってもよい。
【００４２】
ステップＳ２０４では、メインコントローラ１００は、動きベクトル解析回路１１３に、ステップＳ２０３において得られた代表動きベクトルを解析させ、移動物体が存在する分割領域（移動物体領域）を判定させる。言い換えれば、移動物体に対応する代表動きベクトルを判定させる。そして、メインコントローラ１００は、動きベクトル解析回路１１３に、これ以降の処理の対象領域から移動物体領域を除去させる。
【００４３】
ここで、本実施例における動きベクトル解析回路１１３による動きベクトル解析方法について説明する。ここでは、画像の中心（画像における光学系１０１の光軸位置に対応する位置）に関して点対称の位置関係（対称関係）にある２つの領域を１つの組として代表動きベクトルの解析を行う。また、以下の説明において、画像の中心に関して対称の位置関係にある１組の分割領域を点対称領域といい、該１組の分割領域での代表動きベクトルを、対称位置代表動きベクトルという。
【００４４】
撮像装置（つまりは画像）に振れが生じた際に、点対称位置代表動きベクトルは、移動物体が存在しなければ、特定の関係、すなわち該振れに起因する画像全体の動きの種類に応じた特有の関係を有する。
【００４５】
並進の振れが生じた場合は、点対称位置代表動きベクトルはともに同じ方向を向くという特有の関係を有する。また、回転の振れが生じた場合は、点対称位置代表動きベクトルは該回転の接線方向において互いに反対方向を向くという特有の関係を有する。さらに、前後（光軸方向）の振れ、つまり拡大縮小の振れが生じた場合は、点対称位置代表動きベクトルは放射方向において互いに反対側を向くという特有の関係を有する。図１３には、並進、回転、拡大及び縮小の振れが生じた場合の画像中の複数位置での動きベクトルの関係を示す。
【００４６】
したがって、点対称位置代表動きベクトルが有する関係が画像全体の動きに特有の関係とは異なる場合には、点対称領域のうちどちらかが画像全体の動きとは異なる動きを持った移動物体が存在する移動物体領域であると判定できる。言い換えれば、点対称代表動きベクトルが有する関係が上記特有の関係と異なる場合には、該点対称代表動きベクトルのうちどちらかが移動物体に対応する代表動きベクトルと判定できる。
【００４７】
図５には、並進振れが生じている場合の移動物体領域の判定方法を示す。点対称領域５０１における代表動きベクトルはともに同じ方向を向いているため、並進振れによる画像全体の動きに応じた特有の関係を有し、移動物体領域を含まないと判定できる。これに対し、点対称領域５０２における代表動きベクトルは、上記特有の関係（さらに言えば、並進の振れだけでなく、回転及び拡大縮小の振れに対する特有の関係）を有さないため、該点対称領域５０２のいずれかが移動物体領域と判定される。
【００４８】
また、図６には、並進振れ６０１と縮小振れ６０２が同時に生じた場合の代表動きベクトルの出現の仕方６０３を示す。なお、図６では、画像の四隅の分割領域における代表動きベクトルのみを示している。
【００４９】
このように複数種類の振れが混在して生じた場合には、点対称の位置関係にある代表動きベクトルのみでは、振れに起因した特有の関係（特定の関係）を見出すことは困難である。このため、このような場合は、点対称の位置関係のほかに、画像の中心に関して上下対称及び左右対称の位置関係にある代表動きベクトルが特有の関係を有するか否かの判定も用いて移動物体領域を判定する。
【００５０】
図６において、上下対称の位置関係にある代表動きベクトル６０４，６０６間では、水平方向での大きさが同じであり、左右対称の位置関係にある代表動きベクトル６０４，６０７間では、垂直方向での大きさが同じであるという特有の関係を見出すことができる。このような関係は、画像全体の動きに並進振れによる動きと縮小振れによる動きが混在している場合に特有の関係である。このことを用いれば、画像全体の動きと移動物体の動きとを判別することが可能である。
【００５１】
したがって、複数の分割領域の代表動きベクトルに複数種類の振れが影響している場合でも、複数種類の対称位置関係にある代表動きベクトルを併用することにより、良好な移動物体領域の判定を行うことができる。しかも、複数種類の対称位置関係にある代表動きベクトルを用いて移動物体領域の判定を行うことにより、いずれかが移動物体領域であると判定された１組の分割領域のうちどちらが真の移動物体領域かを判別することも可能となる。
【００５２】
図７には、複数種類の対称位置関係を用いた移動物体領域の判定方法を示す。ここでは、分割領域７０２が移動物体領域であるとする。
【００５３】
まず、分割領域７０２と点対称の位置関係にある分割領域７０１の代表動きベクトルが前述した特有の関係を有するか否かの判定によって、移動物体領域が分割領域７０１，７０２のうちどちらかであると判定できる。さらに、分割領域７０２と左右対称の位置関係にある分割領域７０３の代表動きベクトルが前述した特有の関係を有するか否かの判定によって、移動物体領域が分割領域７０２，７０３のうちどちらかであると判定できる。
【００５４】
そして、上下対称の位置関係にある分割領域７０１，７０３の代表動きベクトルが前述した特有の関係を有するか否かの判定によって、該分割領域７０１，７０３はどちらも移動物体領域ではないと判定できる。この結果、移動物体領域は分割領域７０２であると特定することができる。
【００５５】
このようにして、移動物体領域である分割領域を特定し、その分割領域を以降の処理対象から除外することによって、移動物体に対応する代表動きベクトルの影響を受けることなく、精度の高い画像全体の動きを算出することが可能となる。
【００５６】
図２のステップＳ２０５では、メインコントローラ１００は、補正パラメータ算出回路１１５に、ステップＳ２０４で特定された移動物体領域が除外された残りの分割領域での代表動きベクトル群を用いて画像変形量、さらには補正パラメータを算出させる。その後、メインコントローラ１００は、振れ補正回路１１６に、補正パラメータを用いた幾何変換処理を行わせる。
【００５７】
本実施例では、画像変形量の算出にアフィン変換行列を使用する。
【００５８】
画像上のある点ａ、
【００５９】
【数１】
0005173549.tif 000002
【００６０】
（式１）
が次フレームにおいて点ａ′、
【００６１】
【数２】
0005173549.tif 000003
【００６２】
（式２）
に移動したとする。この場合、点ａと点ａ′の対応関係は、アフィン変換行列Ｈａを用いることにより、
【００６３】
【数３】
0005173549.tif 000004
【００６４】
（式３）
と表すことができる。
【００６５】
アフィン変換行列Ｈａは画像間の並進、回転、変倍、せん断による変形量を示す行列式であり、以下の式により表すことができる。
【００６６】
【数４】
0005173549.tif 000005
【００６７】
（式４）
なお、点ａ，ａ′及びアフィン変換行列Ｈａは斉次座標を用いて表されている。このことは以下でも同様である。
【００６８】
アフィン変換行列Ｈａの各要素は、ステップＳ２０４で得られる代表動きベクトル群、つまりフレーム画像間における分割領域の対応関係を用いて、最小二乗法等の統計的処理を適用することにより算出することができる。このとき、移動物体に対応する動きベクトルを予め除去した上でアフィン変換行列Ｈａの各要素を算出することにより、移動物体の存在に影響されない良好な画像全体の動きを求めることができる。
【００６９】
このようにして求められたアフィン変換行列Ｈａは、撮像装置の振れによる画像変形量を表す。このため、画像振れを補正するためには、これを打ち消す画像変形量を示すようにアフィン変換行列Ｈａを変換する必要がある。このため、アフィン変換行列Ｈａをその逆行列
0005173549.tif 000006
【００７０】
に変換する。
【００７１】
これにより、
【００７２】
【数５】
0005173549.tif 000007
【００７３】
（式５）
と表すことができる。
【００７４】
この式により、振れが生じた後の点ａ′を振れが生じる前の点ａと同じ座標に戻すことが可能となる。本実施例では、
0005173549.tif 000008
【００７５】
を補正パラメータと呼ぶ。
【００７６】
そして、この補正パラメータを用いて画像中の全画素に対して幾何変換処理を行うことにより、画像振れが補正（低減）される。
【００７７】
なお、本実施例では、振れ量を表す画像変形量としてアフィン変換行列を使用したが、振れ（動き）の種類や撮像時のカメラの設定条件に応じて、ヘルマート行列や平面射影行列等、他の画像変形量を用いてもよい。
【００７８】
ステップＳ２０６では、メインコントローラ１００は、映像出力回路１１７に画像振れが補正された画像を出力させる。
【００７９】
以上説明したように、本実施例では、対称関係にある位置（領域）での代表動きベクトルが、画像全体の動きの種類に応じた特有の関係（特定の関係）を有することを利用して、画像中に移動物体が存在するか否かを判定する。これにより、画像中に移動物体が存在している場合でも、良好な画像振れ補正処理（電子防振処理）を行うことができる。
【実施例２】
【００８０】
図８には、本発明の実施例２である画像処理装置を含む撮像装置の構成を示す。本実施例では、画像を分割して得られた各分割領域内における特徴点の分布を判定し、その結果に応じて以降の処理に使用する分割領域を決定する。
【００８１】
図８において、図１に示した構成要素と共通する構成要素については、図１と同符号を付す。本実施例の撮像装置は、図１に示した構成に加え、領域分割回路１１１により分割された画像の各分割領域における特徴点の分布を判定する特徴点分布判定回路８０１を有する。なお、図１に示したメインコントローラ１００は、図８では省略している。
【００８２】
以下、本実施例の撮像装置（メインコントローラ１００）の動作について、図９に示すフローチャートを用いて説明する。
【００８３】
ステップＳ９０１及びステップＳ９０２はそれぞれ、図２に示したステップＳ２０１及びステップＳ２０２と同じである。
【００８４】
ステップＳ９０３では、メインコントローラ１００は、特徴点分布判定回路８０１に、領域分割回路１１１によって分割された画像の各分割領域における特徴点分布を判定させる。そして、メインコントローラ１００は、その判定結果に応じて以降の処理に使用する分割領域（つまりは、代表動きベクトル）を決定させる。
【００８５】
例えば、空や壁面のように輝度値が一様な被写体については、特徴的な部分が存在しないため、特徴点を抽出することができない。このような領域において算出された代表動きベクトルは、多くの場合、十分な精度を有してはいない。そこで、本実施例では、画像内の特徴点の分布状態を判定し、良好な精度で代表動きベクトルが得られる特徴点分布を有する分割領域（以下、有効分割領域という）のみを以降の処理に用いるようにする。
【００８６】
図１０に、特徴点分布判定回路８０１による特徴点分布判定の概要を示す。ここでは、判定すべき特徴点の分布状態として、各分割領域内における特徴点の数を用いる方法について説明する。
【００８７】
まず、特徴点分布判定回路８０１は、各分割領域内にいくつの特徴点が存在しているかを計測する。次に、良好な精度の代表動きベクトルを得ることができる最小の特徴点数を閾値として、各分割領域が有効分割領域であるか否かを判定する。
【００８８】
特徴点分布判定回路８０１は、図１０に示す分割領域１００１のように、特徴点の数が閾値（所定値）より少ない分割領域については有効分割領域ではないと判定する。そして、その分割領域１００１を以降の処理対象から除外する。一方、特徴点の数が閾値以上である分割領域１００２については有効分割領域と判定する。
【００８９】
なお、ここでは、特徴点分布の判定方法として各領域の特徴点の数を用いたが、これ以外の方法で特徴点分布を判定してもよい。例えば、特徴点の座標の分散値を用いるようにしてもよい。
【００９０】
図９のステップＳ９０４は、図２に示したステップＳ２０３と同じである。
【００９１】
また、ステップＳ９０５では、メインコントローラ１００は、図２に示したステップＳ２０４と同様に、移動物体除去回路１１４に、移動物体領域をこれ以降の処理対象から除外させる。さらに、メインコントローラ１００は、移動物体除去回路１１４に、上述した特徴点分布判定により有効分割領域ではないと判定された分割領域（非有効領域）をこれ以降の処理対象から除外させる。
【００９２】
ステップＳ９０６及びステップＳ９０７はそれぞれ、図２に示したステップＳ２０５及びＳ２０６と同じである。
【００９３】
このようにして、本実施例では、移動物体領域とされた分割領域と特徴点分布の判定結果から非有効領域とされた分割領域とを除外した残りの分割領域での代表動きベクトル群を用いて画像振れ補正処理が行われる。
【００９４】
これにより、移動物体に対応する代表動きベクトルと、誤って算出された可能性が高い代表動きベクトルの影響を取り除いた、より良好な画像振れ補正処理（電子防振処理）を行うことができる。
【実施例３】
【００９５】
図１１には、本発明の実施例３である画像処理装置を含む撮像装置の構成を示す。本実施例では、実施例１，２のように特徴点抽出を行う代わりに、複数の所定の座標位置（座標点）での動きベクトルを検出し、それらを用いて画像振れ補正処理を行う。
【００９６】
図１１において、図１に示した構成要素と共通する又は同様の機能を有する構成要素については、図１と同符号を付す。本実施例の撮像装置は、図１に示した構成から、領域分割回路１１１及び代表動きベクトル算出回路１１２を省き、動きベクトル信頼度判定回路１１０１を加えた構成を有する。なお、図１に示したメインコントローラ１００は、図１１では省略している。
【００９７】
以下、本実施例の撮像装置（メインコントローラ１００）の動作について、図１２に示すフローチャートを用いて説明する。
【００９８】
ステップＳ１２０１は、図２に示したステップＳ２０１と同じである。
【００９９】
ステップＳ１２０２では、メインコントローラ１００は、動きベクトル検出回路１１０に、所定の座標位置を検出点として設定させ、各検出点で動きベクトルを検出させる。検出点の配置は、格子状の配置や同心円状の配置等、画像の中心に関して対称の位置関係にある複数組の検出点が存在するような配置であれば、どのような配置であってもよい。一般に、特徴点の抽出には多くの時間を要するため、本実施例のように予め動きベクトルを検出する点を定めておくことにより、処理の高速化を図ることができる。
【０１００】
ステップＳ１２０３では、メインコントローラ１００は、動きベクトル信頼度判定回路１１０１に、各検出点（各位置）で検出された動きベクトルが信頼できるものであるかを判定させる。
【０１０１】
動きベクトルは、テクスチャのない領域や繰り返し模様が存在する領域等においては良好に検出されない。正しく検出されない動きベクトルを用いて画像振れ補正処理を行っても、良好に画像振れが補正された画像を得ることはできない。
【０１０２】
そこで、本実施例では、動きベクトルの正しさの度合いを示す信頼度をまず判定する。信頼度としては、判定対象の動きベクトルの近傍にて検出された動きベクトルに対する判定対象の動きベクトルの類似度や、前フレーム画像で検出された動きベクトルに対する現フレーム画像で検出された判定対象の動きベクトルの相関値等を用いることができる。信頼度が所定レベルよりも低い動きベクトルについては、正しく検出されていないものとみなして、以降の処理には使用しないようにする。
【０１０３】
ステップＳ１２０４では、メインコントローラ１００は、移動物体除去回路１１４に、図２のステップＳ２０４での移動物体領域の判定処理と同様にして、移動物体に対応する動きベクトルを判定させる。本実施例の移動物体除去回路１１４は、複数の検出点のうち対称関係にある２つの検出点での動きベクトルが特定の関係（振れに起因する画像全体の動きの種類に応じた特有の関係）を有するか否かの判定に基づいて、移動物体に対応する動きベクトルを判定する。そして、移動物体に対応する動きベクトルを以降の処理対象から除外する。
【０１０４】
ステップＳ１２０５及びステップＳ１２０６は、図２に示したステップＳ２０５及びステップＳ２０６と同じである。
【０１０５】
このようにして、本実施例では、移動物体に対応する動きベクトルを除外した残りの動きベクトル群を用いて画像振れ補正処理が行われる。
【０１０６】
以上説明したように、本実施例では、所定の座標位置で動きベクトルを検出するので、実施例１，２のような特徴点の抽出処理や画像の分割処理を行う必要がない。このため、高速な電子防振処理を実現することができる。
【実施例４】
【０１０７】
上記各実施例では、撮像装置に、電子防振機能を備えた画像処理装置を内蔵した場合について説明したが、本発明はこれに限らない。
【０１０８】
例えば図１４に示すように、撮像装置１４０１で撮像した画像をパーソナルコンピュータ１４０２に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。
【０１０９】
パーソナルコンピュータ１４０２は、ハードディスク等に格納されたコンピュータプログラムに従って、図２，９及び１２のフローチャートに示した動きベクトルの算出処理から画像振れ補正処理及び振れ補正後の画像の出力までの処理を行う。この場合、パーソナルコンピュータが本発明にいう画像処理装置として機能する。
【０１１０】
以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。
【０１１１】
例えば、上記各実施例では、検出された動きベクトルを用いて画像処理としての電子防振処理を行う場合について説明したが、本発明は、検出された動きベクトルを用いて、レンズ等の光学素子を移動させる光学防振処理を行う場合にも適用することが可能である。
【図面の簡単な説明】
【０１１２】
【図１】本発明の実施例１である撮像装置の構成を示すブロック図。
【図２】実施例１の撮像装置の動作を示すフローチャート。
【図３】実施例１における画像の領域分割処理を示す図。
【図４】実施例１における各分割領域の代表動きベクトル算出処理を示す図。
【図５】実施例１における移動物体領域の判定処理を示す図。
【図６】実施例１における複数種類の振れが混在している場合の代表動きベクトルを示す図。
【図７】実施例１における複数の対称位置関係を利用しての移動物体領域の判定方法を示す図。
【図８】本発明の実施例２である撮像装置の構成を示すブロック図。
【図９】実施例２の撮像装置の動作を示すフローチャート。
【図１０】実施例２における特徴点分布の判定処理を示す図。
【図１１】本発明の実施例３である撮像装置の構成を示すブロック図。
【図１２】実施例３の撮像装置の動作を示すフローチャート。
【図１３】並進、回転、拡大縮小の振れにより生ずる動きベクトルを示す図。
【図１４】本発明の実施例４である画像処理装置の使用形態を示す図。
【符号の説明】
【０１１３】
１００  メインコントローラ
１０１  光学系
１０２  撮像素子
１０３  画像形成回路
１０９  動きベクトル算出回路
１１０  動きベクトル検出回路
１１１  領域分割回路
１１２  代表動きベクトル算出回路
１１３  動きベクトル解析回路
１１４  移動物体除去回路
１１５  補正パラメータ算出回路
１１６  振れ補正回路
８０１  特徴点分布判定回路
１１０１  動きベクトル信頼度判定回路
【図１】
0005173549.tif 000009
【図２】
0005173549.tif 000010
【図３】
0005173549.tif 000011
【図４】
0005173549.tif 000012
【図５】
0005173549.tif 000013
【図６】
0005173549.tif 000014
【図７】
0005173549.tif 000015
【図８】
0005173549.tif 000016
【図９】
0005173549.tif 000017
【図１０】
0005173549.tif 000018
【図１１】
0005173549.tif 000019
【図１２】
0005173549.tif 000020
【図１３】
0005173549.tif 000021
【図１４】
0005173549.tif 000022