(57)【要約】【課題】多くの動きに対応し、簡易な処理により画像間の幾何変形を表す情報を得られる画像処理装置を提供する。【解決手段】画像処理装置は、画像間における動きを検出するための動き検出点を選択し、該動き検出点での局所動きベクトルである第１の動きベクトルを求める第１の処理部１０５ａと、第１の動きベクトルに基づいて、並進、拡大縮小及び回転の代表動きである第１の代表動きを求める第２の処理部１０５ｂと、第１の動きベクトルから該第１の代表動きの成分を除去して第２の動きベクトルを求める第３の処理部１０５ｃと、第２の動きベクトルからあおりによる局所動きを求める第４の処理部１０５ｄと、該局所あおり動きからあおりの代表動きである第２の代表動きを求める第５の処理部１０５ｄとを有する。【選択図】図７
2008217526.tif 000002
【特許請求の範囲】
【請求項１】
画像間の幾何変形を求める画像処理装置であって、
前記画像間における動きを検出するための動き検出点を選択し、該動き検出点での局所動きベクトルである第１の動きベクトルを求める第１の処理部と、
前記第１の動きベクトルに基づいて、並進、拡大縮小及び回転の代表動きである第１の代表動きを求める第２の処理部と、
前記第１の動きベクトルから該第１の代表動きの成分を除去して第２の動きベクトルを求める第３の処理部と、
前記第２の動きベクトルからあおりの局所動きを求める第４の処理部と、
該局所あおり動きからあおりの代表動きである第２の代表動きを求める第５の処理部とを有することを特徴とする画像処理装置。
【請求項２】
前記第１の処理部は、画像の中心に対して点対称に配置される複数の前記動き検出点を選択し、該複数の動き検出点における複数の前記第１の動きベクトルを求め、
前記第２の処理部は、前記複数の第１の動きベクトルから得られた並進、拡大縮小及び回転の局所動きの頻度分布を、単一のピークと広がりを持つ関数でコンボリューションし、該コンボリューションにより得られた最大頻度位置に対応する局所動きを前記第３の処理部での前記第１の代表動きとして用いることを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記第３の処理部は、前記複数の動き検出点での局所あおり動きの頻度分布を、単一のピークと広がりを持つ関数でコンボリューションし、該コンボリューションにより得られた最大頻度位置に対応する局所あおり動きを前記第２の代表動きとして用いることを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記第１及び第２の代表動きを合成する第６の処理部を有することを特徴とする請求項１から３のいずれか１つに記載の画像処理装置。
【請求項５】
前記第６の処理部は、せん断の動きを合成しないことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
被写体像を撮像して画像を生成する撮像系と、
前記生成された画像間の幾何変形を求める請求項１から５のいずれか１つに記載の画像処理装置とを有することを特徴とする撮像装置。
【請求項７】
コンピュータに画像間の幾何変形を求める処理を実行させる画像処理プログラムであって、
前記画像間における動きを検出するための動き検出点を選択し、該動き検出点での局所動きベクトルである第１の動きベクトルを求める第１のステップと、
前記第１の動きベクトルに基づいて、並進、拡大縮小及び回転の代表動きである第１の代表動きを求める第２のステップと、
前記第１の動きベクトルから該第１の代表動きの成分を除去して第２の動きベクトルを求める第３のステップと、
前記第２の動きベクトルからあおりの局所動きを求める第４のステップと、
該局所あおり動きからあおりの代表動きである第２の代表動きを求める第５のステップとを有することを特徴とする画像処理プログラム。
【請求項８】
画像間の幾何変形を求める画像処理方法であって、
前記画像間における動きを検出するための動き検出点を選択し、該動き検出点での局所動きベクトルである第１の動きベクトルを求める第１のステップと、
前記第１の動きベクトルに基づいて、並進、拡大縮小及び回転の代表動きである第１の代表動きを求める第２のステップと、
前記第１の動きベクトルから該第１の代表動きの成分を除去して第２の動きベクトルを求める第３のステップと、
前記第２の動きベクトルからあおりの局所動きを求める第４のステップと、
該局所あおり動きからあおりの代表動きである第２の代表動きを求める第５のステップとを有することを特徴とする画像処理方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、動画撮像時における撮像装置と被写体間の相対的な動きにより生じるフレーム画像間での幾何変形に関する情報を得る画像処理装置、画像処理プログラム及び画像処理方法に関する。
【背景技術】
【０００２】
ビデオカメラ等の撮像装置において、手振れ等のカメラ振れによる画像の振れを補正する技術に関して種々の方式が提案されている。特に、画像から動き情報を検出し、電子的に画像の動き補正を行ういわゆる電子防振は、安価な画像振れ補正技術の実現手法として重要である。
【０００３】
また、画像から動きを検出する技術に関しても様々な方式が存在する。そのうちの１つとして、動画像を構成するフレーム画像間において複数の動きベクトルを検出し、それらの動きベクトルから画面全体を代表する動き情報（代表動き）を求める画像処理方法が、特許文献１にて提案されている。
【０００４】
ここで「動きベクトル」とは、画像中の局所的な特徴点（注目点ともいう：多くの場合、注目ピクセルに相当する）が隣接フレーム画像間もしくは間隔があいたフレーム画像間でどの方向にどれだけ変位したかを表すベクトル量である。該動きベクトルは、ローカルモーションとも呼ばれる。
【０００５】
また、本明細書中にいう「動き」は、撮像装置と被写体間の相対的な位置変化等に起因して生じるフレーム画像間の幾何的な変形（幾何変形）を表す量である。言い換えれば、画像の大局的な見えの変化を表し、グローバルモーションとも呼ばれる。
【０００６】
幾何変形は、その性質毎に分類される。幾何変形には、並進（水平及び垂直）、拡大縮小、回転、せん断、及びあおり（foreshortening）（水平及び垂直）がある。被写体が単一の剛体である場合、撮像装置と被写体間の相対的な位置変化によって生じる画像間の変化は、全てこれらの動きに対応する。したがって、画像内の各部位に生じた局所的な変位量である局所動きベクトルは、動きを打ち消すように画像補正を行うことにより、すべて打ち消される。
【０００７】
また、局所動きベクトルは、動きに対して位置により変化する値となる。動きは動きベクトルを位置により規格化した値とも言える。
【０００８】
特許文献１にて開示された画像補正手法について説明する。該手法は大きく分けて４つのステップにより構成される。
【０００９】
まず、第１のステップでは、図２に示すように、局所動きを検出する動き検出点（特徴点）３２を、画像３１の中心に対して点対称となるように同心円状に複数配置する。黒丸が特徴点３２を示すである。
【００１０】
次に、第２のステップでは、特徴点ごとに局所動きベクトルを算出する。
【００１１】
そして、図３に示すように、画像８１中のある特徴点８２の局所動きベクトルと、その特徴点８２と点対称の特徴点８３の局所動きベクトルとの間で演算を行う。具体的には、まず互いに円対称の特徴点８２，８３の局所動きベクトル間で同方向に向かう成分と反対向きの成分とに分ける。次に、反対向きの成分を、さらに放射方向の成分と接線方向の成分とに分ける。
【００１２】
ここでは、並進、拡大縮小及び回転による特徴点の座標変化が次式（１）のように表されるとする。
【００１３】
【数１】
2008217526.tif 000003
【００１４】
この場合、同方向成分、つまり並進（水平及び垂直）の動き成分がｃとｄに対応する。また、反対向き成分のうち放射方向成分がａに、接線方向成分がｂに対応する。反対方向成分は、回転と拡大縮小の混合された動き成分である。このように、点対称の２つの特徴点の組のそれぞれから並進、拡大縮小及び回転の動きに関連するパラメータａ，ｂ，ｃ，ｄが求められる。
【００１５】
ａ，ｂ，ｃ，ｄからは簡単な処理により、純粋な並進、拡大縮小及び回転のパラメータに変換可能である。これらの動き情報は、局所的な動きベクトルから算出されるため、局所動き（情報）という。
【００１６】
ただし、このようにして求められた複数の特徴点の組に対応するパラメータセットには、誤差や離散化、及びマッチング精度の影響により、値にばらつきが生じている。
【００１７】
第４のステップでは、複数求まった並進、拡大縮小及び回転に関連する局所動きに関係するパラメータａ，ｂ，ｃ，ｄについて、ばらつきの重心に対応する代表パラメータＡ，Ｂ，Ｃ，Ｄを１つ求める。ここでは、図４Ａ及び図４Ｂに示すように、パラメータの頻度分布（ヒストグラム）５１をガウス関数５３でコンボリューションし、コンボリューションされた頻度分布５２の中で積算値が最大となったパラメータを代表値として選択する。以上の処理により、並進、拡大縮小及び回転に関連する代表動きのパラメータＡ，Ｂ，Ｃ，Ｄを得ることができる。
【００１８】
この方法により、動画像のフレーム画像間での水平及び垂直方向の並進、拡大縮小及び回転を、複数の局所動きベクトル対のそれぞれに対する簡単な演算で算出することができる。
【００１９】
また、誤ベクトル（outlierとも称される）が含まれる場合でも、複数の動き情報が求まっているため、ヒストグラムを用いた単純な処理により誤ベクトルの影響を排除した画面全体を代表する動き情報を算出することが可能である。このような方法で動き情報を求めることにより、低負荷でロバストな処理の実現が可能である。
【００２０】
一方、並進、拡大縮小及び回転の動きに加え、あおりのような画像間の幾何変形の情報を求めたい場合がある。あおりとは、撮像装置と被写体間の相対的な動きにより生じる幾何変形のうち、視軸を傾けたときに支配的に生じる変化に相当する。また、別の言い方をすれば、一般的な動きから、並進、拡大縮小、回転及びせん断を除いた変化である。
【００２１】
図５Ｂは、水平のある一方向に、撮像装置の視軸を被写体に対し相対的に傾けた結果生じる幾何変形（被写体の見えの変化）と局所動きベクトルとを表した図である。また、別の方向に視軸を傾けた場合、線対称な幾何変形と局所動きベクトルが生じる。また、垂直方向に視軸をずらした場合にも、あおりが支配的に生じる。
【００２２】
また、画像間の動きを求める別の方法として、画像フレーム間の対応する点の複数の動きベクトル情報を入力とし、最小二乗法で線形式を解くことにより、フレーム画像間の動き情報を求める方法が非特許文献１にて開示されている。
【００２３】
この方法によれば、フレーム画像間の水平及び垂直方向での並進、拡大縮小、回転及びせん断、さらにはあおりの動きまで算出することができる。ただし、誤ベクトルが含まれる場合は、ＲＡＮＳＡＣやＬＭｅｄｓ等に代表される高負荷で手間のかかるロバスト算出法を導入しなければ、誤ベクトルの影響を排除した画像全体を代表する動き情報を算出することができない。
【特許文献１】特開２００５−２６９４１９号公報
【非特許文献１】Multiple View Geometry,R.Hartley,A.Zisserman,Campridge Press(2000)
【発明の開示】
【発明が解決しようとする課題】
【００２４】
しかしながら、特許文献１にて開示された方法では、撮像装置と被写体間の動きのうち、モデリング可能な動きが並進、拡大縮小及び回転の動きに限定されている。このため、あおりのような大きな動きの際に生じる想定外の動きが含まれる場合に対応できない。
【００２５】
一方、非特許文献１にて開示された手法は、被写体を平面チェックボードとするような、局所動きベクトルの間違い（誤ベクトルを）生じにくい実験室的な条件で用いる場合に適している。すなわち、撮像装置と被写体間のあらゆる動きによって起こり得るフレーム画像間の幾何変形の全てをモデリング可能である。しかし、フレーム画像間で検出される複数の動きベクトル情報に誤ベクトルが含まれるような実際的な環境の場合には、その影響を排除するために上記ロバスト算出法を導入しなければならない。
【００２６】
本発明は、より多くの動きに対応し、簡易な処理により画像間の幾何変形を表す情報を得ることが可能な画像処理装置、画像処理プログラム及び画像処理方法を提供する。
【課題を解決するための手段】
【００２７】
本発明の一側面としての画像処理装置は、画像間における動きを検出するための動き検出点を選択し、該動き検出点での局所動きベクトルである第１の動きベクトルを求める第１の処理部と、第１の動きベクトルに基づいて、並進、拡大縮小及び回転の代表動きである第１の代表動きを求める第２の処理部と、第１の動きベクトルから該第１代表動きの成分を除去して第２の動きベクトルを求める第３の処理部と、第２の動きベクトルからあおりの局所動きを求める第４の処理部と、該局所あおり動きからあおりの代表動きである第２の代表動きを求める第５の処理部とを有することを特徴とする。
【００２８】
なお、上記画像処理装置を備えた撮像装置も本発明の他の側面を構成する。
【００２９】
また、本発明の他の側面としての画像処理プログラム及び画像処理方法は、画像間における動きを検出するための動き検出点を選択し、該動き検出点での局所動きベクトルである第１の動きベクトルを求める第１のステップと、第１の動きベクトルに基づいて、並進、拡大縮小及び回転のうち少なくとも１つの代表動きである第１の代表動きを求める第２のステップと、第１の動きベクトルから該第１代表動きの成分を除去して第２の動きベクトルを求める第３のステップと、第２の動きベクトルからあおりの局所動きを求める第４のステップと、該局所あおり動きからあおりの代表動きである第２の代表動きを求める第５のステップとを有することを特徴とする。
【発明の効果】
【００３０】
本発明によれば、並進、拡大縮小、回転及びあおりを含む画像間の幾何変形を表す情報を簡易な処理で生成することができる。
【発明を実施するための最良の形態】
【００３１】
以下、本発明の好ましい実施例について、図面を参照しながら説明する。
【実施例１】
【００３２】
図７には、本発明の実施例であるビデオカメラ、デジタルスチルカメラ等の動画撮影が可能な撮像装置の構成を示している。
【００３３】
同図において、１０１は撮像光学系、１０２は撮像光学系１０１により形成された被写体像を光電変換する撮像素子である。
【００３４】
１０３は撮像素子１０２からの信号を処理するカメラ信号処理部である。カメラ信号処理部１０３は、撮像素子からの信号に対して、色差／輝度分離、鮮鋭化、ホワイトバランス調整、黒レベル調整及び符号／複合化等の処理を施してフレーム画像により構成される動画像を生成する。撮像素子１０２及びカメラ信号処理部１０３により撮像系が構成される。
【００３５】
１０４はワークメモリである。ワークメモリ１０４は、後述する動き演算のためにフレーム画像を保存する。
【００３６】
１０５は第１〜第６の処理部１０５ａ〜１０５ｂを含む動き情報検出部である。動き情報検出部１０５は、ワークメモリ１０４に保存されたフレーム画像とカレントフレーム画像との間での動き情報を算出する。動き情報検出部１０５は、画像処理装置に相当する。
【００３７】
第１の処理部１０５ａは、フレーム画像間における動きを検出するための動き検出点を選択し、該動き検出点での局所動きベクトルである第１の動きベクトルを求める。第２の処理部１０５ｂは、該第１の動きベクトルに基づいて、並進、拡大縮小及び回転の代表動きである第１の代表動きを求める。第３の処理部１０５ｃは、第１の動きベクトルから第１の代表動きの成分を除去して第２の動きベクトルを求める。第４の処理部１０５ｄは、第２の動きベクトルからあおりの局所動き（局所あおり動き）を求める。第５の処理部１０５ｅは、局所あおり動きからあおりの代表動きである第２の代表動きを求める。さらに、第６の処理部１０５ｆは、第１及び第２の代表動きを合成する。
【００３８】
ただし、第１〜第６の処理部１０５ａ〜１０５ｆは互いに独立した形で設けられている訳ではなく、動き情報検出部１０５を構成するマイクロコンピュータと後述する画像処理プログラムとによって一体のものとして構成されている。
【００３９】
１０６は撮像装置全体を総合的に制御するマイクロコンピュータによって構成されたシステム制御部である。
【００４０】
１０７は動き補正部であり、動き情報検出部１０５により求められたフレーム画像間の動き情報に基づいて電子防振処理を行う。具体的には、撮像素子１０２の全有効画素を用いて生成された画像からのフレーム画像の切り出し範囲を動き情報に基づいてシフトさせる。これにより、像振れが抑制された動画像が得られる。
【００４１】
１０８は不図示の各種操作部材の操作に応じてシステム制御部１０６に操作信号を入力する操作信号入力部である。操作部材としては、機能選択ボタン、設定ボタン、撮影開始及び終了ボタンが含まれる。なお、操作信号入力部１０８としてタッチパネル式表示素子を用い、後述する表示部と一体としてもよい。
【００４２】
１０９は液晶ディスプレイ等の表示素子により構成される表示部である。該表示部１０９には、撮像された動画像や各種動作モードの設定状態等が表示される。
【００４３】
１１０は画像データを半導体メモリ、光ディスク、磁気テープ等の記録媒体に記録する記録部である。
【００４４】
次に、図１を用いて、動き情報検出部１０５でのフレーム画像間の幾何変形算出のための処理について説明する。この処理は、マイクロコンピュータとしての動き情報検出部１０５が、その内部に格納されたコンピュータプログラム（画像処理プログラム）に従って実行する。なお、図１のフローチャートは、画像処理方法を示すものでもある。
【００４５】
ステップＳ１０１では、該処理の実行が指示されている（ＯＮ）か否かを確認する。ＯＦＦである場合は本処理を終了し、ＯＮである場合はステップＳ１０２に進む。
【００４６】
ステップＳ１０２では、隣接する又は１フレーム以上間隔をあけた２つのフレーム画像（以下、動き検出画像という）間の局所動きベクトル（第１の動きベクトル）を算出する。本実施例では、動き検出画像である２つのフレーム画像のうち、一方を基準画像とし、他方を探索画像としてブロックマッチングを行う。
【００４７】
具体的には、まず、図２に示したように、基準画像３１において、該画像３１の中心に対して相互に点対称となるように複数組の特徴点（動き検出点）３２を選択する。該複数組の特徴点３２は、画像３１の中心を中心とした同心円状（円対称）に配置される。
【００４８】
図８には、ブロックマッチングの例を示す。図中の左側の画像８０１が基準画像であり、右側の画像８０２が探索画像である。図では、基準画像８０１中に複数の特徴点８４をグリッド状に配置しているが、実際には、図２に示すように同心円状に配置される。
【００４９】
ブロックマッチングでは、基準画像８０１中の任意の特徴点（注目画素）８０４を中心とした特定サイズの部分領域をテンプレート８０３とする。そして、探索画像８０２中に任意に設定された探索領域８０７内で候補領域８０６を順次移動させながら、テンプレート８０３と最も合致する候補領域の位置を探索する。具体的には、探索画像８０２中における特徴点８０４に対応する画素８０５を基準とした候補領域８０６と、基準画像８０１のテンプレート８０３との類似度を計算する。類似度の指標としては、ＳＳＤ(Sum of Square Difference)、ＳＡＤ(Sum of Absolute Difference)及び正規相互相関等が用いられる。
【００５０】
候補領域８０６の類似度を一通り算出した結果、最も類似度の高い位置を対応位置とみなし、特徴点８０４から対応画素８０５への動きを示す局所動きベクトルを算出する。オクルージョンがなければ、基準画像８０１上で設定した特徴点８０４の数だけ局所動きベクトルが算出される。すなわち、複数の特徴点８０４が設定されれば、複数の局所動きベクトルが算出される。
【００５１】
次に、ステップＳ１０３では、動き検出画像間での並進、拡大縮小及び回転による代表動き（第１の代表動き）を算出する。
【００５２】
背景技術でも説明したように、まず図３に示す円対称の位置の特徴点８２，８３の動きベクトルを同方向に向かう成分と反対向きの成分とに分ける。
【００５３】
図９には、ステップＳ１０２で局所動きベクトルが算出された複数の特徴点のうち、任意の点対称の特徴点（図中の太い丸）の組とそれら特徴点に対して算出された局所動きベクトル（図中の太い矢印）を示している。また、図１０Ａ〜１０Ｄには、該特徴点の組での並進、拡大縮小及び回転による代表動きを示している。
【００５４】
上記特徴点の組の局所動きベクトルを、差分演算及び加算演算によって、同方向に向かう成分と反対向きの成分とに分ける。図１０Ａには、図９の局所動きベクトルから抽出された同方向に向かう成分を示している。図１０Ｂには、図９の局所動きベクトルから抽出された反対向きの成分を示している。
【００５５】
次に、図１０Ｂに示す反対向きの成分を、画像の中心を中心とした放射方向の成分と該放射方向に直交する方向である接線方向成分とに分ける。図１０Ｃには放射方向成分を、図１０Ｄには接線方向成分を示している。
【００５６】
これらの単純な処理により、上記点対称の特徴点の組での並進、拡大縮小及び回転に関連する局所動きを表すパラメータａ，ｂ，ｃ，ｄが算出される。ａ，ｂ，ｃ，ｄは、上述した式（１）のパラメータである。
【００５７】
図１１には、図９に示した動きベクトルから、並進、拡大縮小及び回転の局所動きを算出する過程をまとめて示す。
【００５８】
図１１の上段には、図９と同じ図を示している。図１１の中段には、図１０Ａと図１０Ｂと同じ図を示している。図１１の下段において、ａが図１０Ｃに示す放射方向成分に対応し、ｂが図１０Ｄに示す接線方向成分に対応する。放射方向成分及び接線方向成分はそれぞれ、拡大縮小及び回転による動き成分である。また、ｃ，ｄがそれぞれ、図１０Ａに示した同方向成分から分けられた、並進の垂直方向及び水平方向の動き成分を示す。
【００５９】
次に、複数の特徴点の組に対してそれぞれ求められた並進、拡大縮小及び回転に関連するパラメータａ，ｂ，ｃ，ｄのそれぞれについて、ばらつきの重心を求める。パラメータａ，ｂ，ｃ，ｄのばらつきの重心とは、各パラメータの頻度分布（ヒストグラム）の最大頻度位置に対応するパラメータである。そして、最大頻度位置に対応するパラメータａ，ｂ，ｃ，ｄを、並進、拡大縮小及び回転の代表動き（第１の代表動き）を表すパラメータＡ，Ｂ，Ｃ，Ｄとして求める。
【００６０】
ここでは、図４Ａ及び図４Ｂに示したように、ヒストグラムをガウス関数でコンボリューションすることにより、頻度分布の中での積分値が最大となったパラメータを代表動きパラメータＡ，Ｂ，Ｃ，Ｄとして選択する。ガウス関数は、単一のピークと広がりを持つ関数であるが、コンボリューションはガウス関数以外の単一のピークと広がりを持つ関数を用いて行ってもよい。また、代表動きとは、パラメータＡ，Ｂ，Ｃ，Ｄで表現される幾何変形の量である。
【００６１】
ステップＳ１０４では、各特徴点の局所動きベクトルから、並進、拡大縮小及び回転の代表動きの成分を除去する。ここでは、ステップＳ１０２で求められた局所動きベクトルを［ｘ，ｙ，１］と表現する。そして、この局所動きベクトル［ｘ，ｙ，１］に対し、ステップＳ１０３で算出した並進、拡大縮小及び回転の代表動きを打ち消すように逆変換を行う。具体的には、以下に示す逆行列［式（２）］を適用する。
【００６２】
【数２】
2008217526.tif 000004
【００６３】
図１２Ａ〜１２Ｃには、代表動き除去の過程を示す。図１２Ａには、ステップＳ１０２において求められたある点対称の２つの特徴点での局所動きベクトルを表す。図１２Ｂには、該局所動きベクトルからステップＳ１０３で求められた並進、拡大縮小及び回転の代表動きを、再度図１２Ａに示す特徴点での局所動きベクトルに変換して示している。
【００６４】
図１２Ｃには、代表動き成分の除去処理によって図１２Ａの局所動きベクトルから図１２Ｂの代表動きに相当する局所動きベクトルを除去して求められる、あおり及びせん断による局所動きベクトル（第２の動きベクトル）を示す。
【００６５】
ステップＳ１０５では、ステップＳ１０４にて並進、拡大縮小及び回転の代表動きの成分が除去された局所動きベクトルから局所あおり動きを算出する。
【００６６】
並進、拡大縮小及び回転の代表動きの成分が除去された場合、空間中の平面の動きを観察する像には、図５Ａに示すせん断と図５Ｂに示すあおりが生じ得る。せん断は、撮像光学系の光軸に対して垂直な方向についての撮像装置の移動が大きい場合に、被写体の向きに関連して生じる画像の動きである。ただし、せん断の動き情報は、画像の幾何変形情報を防振に用いる場合には不要な情報であるので、本実施例では推定を行わない。
【００６７】
一方、局所あおり動きの情報は、誤差情報として扱う。局所あおり動きは、図６に示されるように、並進、拡大縮小及び回転を求める際に用いた円対称の２つの特徴点（Select）３２での並進、拡大縮小及び回転の代表動きが除去された局所動きベクトルを用いて推定する。この際、図６中の画像３１内に三角形のグレー領域として示した、水平軸（ｘ軸）及び垂直軸（ｙ軸）を含むそれらの軸に近接した領域内の特徴点（Not Select）での局所動きベクトルは使用しない。
【００６８】
この場合、並進、拡大縮小及び回転の代表動き成分が除去された局所動きベクトルには、あおり動きのみが含まれると考える。あおり動きは、並進、拡大縮小及び回転のようにベクトル演算的に算出できないため、代数的に算出する。下記の式（３）は、ある座標点にあおりに相当する動きのみが生じる際の幾何変形を示す代数式である。式（３）において、ｇ，ｈがあおり動きに関するパラメータである。
【００６９】
【数３】
2008217526.tif 000005
【００７０】
この式を変形すると、
【００７１】
【数４】
2008217526.tif 000006
【００７２】
となる。ここでｘ′＝ｘ＋ｄｘ，ｙ′＝ｙ＋ｄｙである。これを特徴点の座標と動きベクトルの形に変形すると、
【００７３】
【数５】
2008217526.tif 000007
【００７４】
となる。これを２つの特徴点についての方程式とすると、以下の式（４つの式）が成り立つ。
【００７５】
【数６】
2008217526.tif 000008
【００７６】
そして、式（６）の左辺第１項の擬似逆行列もしくは一般化逆行列を求め、右辺に乗ずることで、［ｇ，ｈ］を求める。
【００７７】
これにより、各特徴点の組について局所あおり動きの量が算出できる。ここでは、局所的な２点から推定した動き量のひとつとしてのあおりであるため、局所あおり動き量という。
【００７８】
図６で示したように、点対称となる２点の組は、同一円周上や同心円上に多数（無数）存在するので、局所あおり動き量も複数の２点の組について算出する。
【００７９】
また、ここでは１組の２点での局所動きベクトルから局所あおり動き量を算出したが、複数組の２点での局所動きベクトルを用いて、最小二乗法によって１つの局所あおり動き量を算出してもよい。
【００８０】
ステップＳ１０６では、複数算出された局所あおり動きから、ヒストグラムを用いて大小あおり動きを算出する。
【００８１】
ここでも、複数の２点の組で算出された複数の局所あおり動きのばらつきの重心（頻度分布の最大頻度位置）に相当する局所あおり動きを代表値として抽出する。これを代表あおり動き（第２の代表動き）という。
【００８２】
ステップＳ１０７では、ステップＳ１０３で求めた並進、拡大縮小及び回転の代表動きと、ステップＳ１０６で求めたあおりの代表動きとを合成して、扱いやすい形に変換する。具体的には、下記の式（７）〜（９）を用いて幾何学的に変換を行う。
【００８３】
空間中の平面の運動による像の変動は、以下に示すような形で成分分解される。Ｈｓは並進（ｔ）、拡大縮小（ｓ）、回転（Ｒ）の成分であり、Ｈａはせん断の成分である。また、Ｈｐはあおりの成分である。
【００８４】
【数７】
2008217526.tif 000009
【００８５】
ステップＳ１０３で求めたａ，ｂ，ｃ，ｄから、
【００８６】
【数８】
2008217526.tif 000010
【００８７】
とし、Ｈ＝ＨｓＨｐで示される合成行列を得る。該合成行列は、Ｈａ＝Ｉより、せん断による動き成分を含まない行列である。
【００８８】
そして、画像間の幾何変形を扱う標準的な形式であるホモグラフィを、
【００８９】
【数９】
2008217526.tif 000011
【００９０】
（ただし、
2008217526.tif 000012
【００９１】
は任意の数）
とする。これにより、並進、拡大縮小及び回転の動き情報に加えて、あおりの動き情報を含んだフレーム画像間の動き情報を得ることができる。
【００９２】
ステップＳ１０８では、次のフレーム画像に対する処理を継続するか否かを確認する。継続する場合にはステップＳ１０１に戻って処理を継続する。
【００９３】
以上説明したように、本実施例によれば、簡単な処理により、並進、拡大縮小及び回転だけでなく、あおりの動き情報を含んだフレーム画像間の幾何変形情報を得ることができる。そして、該動き情報を用いて電子防振処理を行うことにより、並進、拡大縮小、回転及びあおりによる画像の動き（像振れ）を抑制した動画像を生成することができる。
【実施例２】
【００９４】
上記実施例１では、撮像装置に、画像処理装置としての動き情報検出部を内蔵した場合について説明したが、本発明はこれに限らない。
【００９５】
例えば図１３に示すように、撮像装置１４０１で撮像した画像（フレーム画像）をパーソナルコンピュータ１４０２に送信する。送信方法は、ケーブル方式、無線方式のいずれでもよく、インターネットやＬＡＮを介して送信してもよい。
【００９６】
そして、パーソナルコンピュータ１４０２において、図１のフローチャートに示した幾何変形算出処理を行ってもよい。この場合、パーソナルコンピュータ１４０２が画像処理装置として機能する。
【図面の簡単な説明】
【００９７】
【図１】本発明の実施例の画像処理装置（動き情報検出部）における処理動作を示すフローチャート。
【図２】実施例における特徴点の配置を示す図。
【図３】実施例における局所動きベクトル間での演算を説明する図。
【図４Ａ】ヒストグラムに対するコンボリューションを利用した代表値抽出を説明する図。
【図４Ｂ】ヒストグラムに対するコンボリューションを利用した代表値抽出を説明する図。
【図５Ａ】せん断動きを示す図。
【図５Ｂ】あおり動きを示す図。
【図６】実施例における局所あおり動き量の算出方法を説明する図。
【図７】実施例１の撮像装置の構成を示すブロック図。
【図８】実施例で行われるブロックマッチングを説明する図。
【図９】実施例における動き検出点と局所動きベクトルを示す図。
【図１０Ａ】実施例における並進による局所動きを示す図。
【図１０Ｂ】実施例における拡大縮小と回転の混合した局所動きを示す図。
【図１０Ｃ】実施例における拡大縮小による局所動きを示す図。
【図１０Ｄ】実施例における回転による局所動きを示す図。
【図１１】図９に示した局所動きベクトルから、並進、拡大縮小及び回転の局所動きを算出する過程をまとめて示す図。
【図１２Ａ】図９と同じ動き検出点と局所動きベクトルを示す図。
【図１２Ｂ】図１２Ａの局所動きベクトルから求めた並進、拡大縮小及び回転の代表動きを局所動きベクトルに再変換して示す図。
【図１２Ｃ】図１２Ａの局所動きベクトルから図１２Ｂの局所動きベクトル（代表動き）を除去したあおり及びせん断による局所動きベクトルを示す図。
【図１３】本発明の実施例２である画像処理装置を示す図。
【符号の説明】
【００９８】
１０１  撮像光学系
１０２  撮像素子
１０３  カメラ信号処理部
１０４  ワークメモリ
１０５  動き情報検出部
１０６  システム制御部
１０７  動き補正部
１０８  操作信号入力部
１０９  表示部
１１０  記録部
【図３】
2008217526.tif 000013
【図１】
2008217526.tif 000014
【図２】
2008217526.tif 000015
【図４Ａ】
2008217526.tif 000016
【図４Ｂ】
2008217526.tif 000017
【図５Ａ】
2008217526.tif 000018
【図５Ｂ】
2008217526.tif 000019
【図６】
2008217526.tif 000020
【図７】
2008217526.tif 000021
【図８】
2008217526.tif 000022
【図９】
2008217526.tif 000023
【図１０Ａ】
2008217526.tif 000024
【図１０Ｂ】
2008217526.tif 000025
【図１０Ｃ】
2008217526.tif 000026
【図１０Ｄ】
2008217526.tif 000027
【図１１】
2008217526.tif 000028
【図１２Ａ】
2008217526.tif 000029
【図１２Ｂ】
2008217526.tif 000030
【図１２Ｃ】
2008217526.tif 000031
【図１３】
2008217526.tif 000032