(57)【要約】【課題】より精度よく高速にグローバル動きベクトルを求めることができるようにする。【解決手段】解像度変換部は、撮像画像を解像度の異なる複数の縮小画像に変換し、局所特徴量算出部は、各縮小画像から局所特徴量を算出する。積分射影部は、抽出された局所特徴量を所定方向の軸に射影することで射影特徴ベクトルを算出し、グローバル動きベクトル算出部は、連続する２つのフレームの射影特徴ベクトルのマッチング処理を行うことにより、撮像画像の解像度ごとにグローバル動きベクトルを算出する。また、信頼度算出部は、射影特徴ベクトルに基づいてグローバル動きベクトルの信頼度を算出する。グローバル動きベクトル選択部は、信頼度に基づいてグローバル動きベクトルを選択する。本発明は、撮像装置に適用することができる。【選択図】図４
2013020528.tif 000002
【特許請求の範囲】
【請求項１】
撮像画像の解像度を変換する解像度変換部と、
解像度変換後の前記撮像画像から特徴量を抽出する特徴量算出部と、
前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出する射影部と、
解像度変換後の前記撮像画像の前記射影特徴ベクトルと、解像度変換後の他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、グローバル動きベクトルを算出するグローバル動きベクトル算出部と、
前記射影特徴ベクトルに基づいて、前記グローバル動きベクトルの信頼度を算出する信頼度算出部と、
前記信頼度に基づいて、複数の異なる解像度の前記撮像画像について求められた前記グローバル動きベクトルの何れかを選択する選択部と
を備える画像処理装置。
【請求項２】
解像度変換後の前記撮像画像上の所定の領域を射影領域として選択する射影領域選択部をさらに備え、
前記特徴量算出部は、前記射影領域から前記特徴量を抽出し、
前記選択部は、各解像度の前記撮像画像における複数の異なる前記射影領域ごとに求められた前記グローバル動きベクトルの何れかを選択する
請求項１に記載の画像処理装置。
【請求項３】
前記信頼度算出部は、前記射影特徴ベクトルのマッチング誤差の最も小さい極小値と２番目に小さい極小値との差分に基づいて、前記信頼度を算出する
請求項２に記載の画像処理装置。
【請求項４】
前記信頼度算出部は、前記射影特徴ベクトルのマッチング誤差の最大値と最小値の差に基づいて、前記信頼度を算出する
請求項２に記載の画像処理装置。
【請求項５】
前記信頼度算出部は、前記射影特徴ベクトルのマッチング誤差の最小値部分のピークの深さに基づいて、前記信頼度を算出する
請求項２に記載の画像処理装置。
【請求項６】
前記信頼度算出部は、前記射影特徴ベクトルのマッチング誤差の最小値部分のピーク先鋭度に基づいて、前記信頼度を算出する
請求項２に記載の画像処理装置。
【請求項７】
前記信頼度算出部は、前記射影特徴ベクトルのマッチング誤差の最小値と、予め定められた所定値との差分に基づいて、前記信頼度を算出する
請求項２に記載の画像処理装置。
【請求項８】
前記射影部は、互いに直交する２つの軸のそれぞれに前記特徴量を射影して、前記軸ごとに前記射影特徴ベクトルを算出する
請求項１に記載の画像処理装置。
【請求項９】
選択された前記グローバル動きベクトルに基づいて前記撮像画像を合成し、パノラマ画像を生成するパノラマ合成部をさらに備える
請求項１に記載の画像処理装置。
【請求項１０】
選択された前記グローバル動きベクトルに基づいて前記撮像画像に対する手振れ補正を行なう手振れ補正部をさらに備える
請求項１に記載の画像処理装置。
【請求項１１】
撮像画像の解像度を変換する解像度変換部と、
解像度変換後の前記撮像画像から特徴量を抽出する特徴量算出部と、
前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出する射影部と、
解像度変換後の前記撮像画像の前記射影特徴ベクトルと、解像度変換後の他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、グローバル動きベクトルを算出するグローバル動きベクトル算出部と、
前記射影特徴ベクトルに基づいて、前記グローバル動きベクトルの信頼度を算出する信頼度算出部と、
前記信頼度に基づいて、複数の異なる解像度の前記撮像画像について求められた前記グローバル動きベクトルの何れかを選択する選択部と
を備える画像処理装置の画像処理方法であって、
前記解像度変換部が前記撮像画像の解像度を変換し、
前記特徴量算出部が前記特徴量を抽出し、
前記射影部が前記射影特徴ベクトルを算出し、
前記グローバル動きベクトル算出部が前記グローバル動きベクトルを算出し、
前記信頼度算出部が前記信頼度を算出し、
前記選択部が前記グローバル動きベクトルを選択する
ステップを含む画像処理方法。
【請求項１２】
撮像画像の解像度を変換し、
解像度変換後の前記撮像画像から特徴量を抽出し、
前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出し、
解像度変換後の前記撮像画像の前記射影特徴ベクトルと、解像度変換後の他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、グローバル動きベクトルを算出し、
前記射影特徴ベクトルに基づいて、前記グローバル動きベクトルの信頼度を算出し、
前記信頼度に基づいて、複数の異なる解像度の前記撮像画像について求められた前記グローバル動きベクトルの何れかを選択する
ステップを含む処理をコンピュータに実行させるプログラム。
【請求項１３】
撮像画像上の所定の領域を射影領域として選択する射影領域選択部と、
前記射影領域から特徴量を抽出する特徴量算出部と、
前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出する射影部と、
前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記撮像画像のグローバル動きベクトルを算出するグローバル動きベクトル算出部と、
前記射影特徴ベクトルに基づいて、前記グローバル動きベクトルの信頼度を算出する信頼度算出部と、
前記信頼度に基づいて、複数の異なる前記射影領域ごとに求められた前記グローバル動きベクトルの何れかを選択するグローバル動きベクトル選択部と
を備える画像処理装置。
【請求項１４】
撮像画像上の所定の領域を射影領域として選択する射影領域選択部と、
前記射影領域から特徴量を抽出する特徴量算出部と、
前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出する射影部と、
前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記撮像画像のグローバル動きベクトルを算出するグローバル動きベクトル算出部と、
前記射影特徴ベクトルに基づいて、前記グローバル動きベクトルの信頼度を算出する信頼度算出部と、
前記信頼度に基づいて、複数の異なる前記射影領域ごとに求められた前記グローバル動きベクトルの何れかを選択するグローバル動きベクトル選択部と
を備える画像処理装置の画像処理方法であって、
前記射影領域選択部が前記射影領域を選択し、
前記特徴量算出部が前記特徴量を抽出し、
前記射影部が前記射影特徴ベクトルを算出し、
前記グローバル動きベクトル算出部が前記グローバル動きベクトルを算出し、
前記信頼度算出部が前記信頼度を算出し、
前記グローバル動きベクトル選択部が前記グローバル動きベクトルを選択する
ステップを含む画像処理方法。
【請求項１５】
撮像画像上の所定の領域を射影領域として選択し、
前記射影領域から特徴量を抽出し、
前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出し、
前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記撮像画像のグローバル動きベクトルを算出し、
前記射影特徴ベクトルに基づいて、前記グローバル動きベクトルの信頼度を算出し、
前記信頼度に基づいて、複数の異なる前記射影領域ごとに求められた前記グローバル動きベクトルの何れかを選択する
ステップを含む処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本技術は画像処理装置および方法、並びにプログラムに関し、特に、画像間のグローバル動きベクトルを精度よく高速に求めることができるようにした画像処理装置および方法、並びにプログラムに関する。
【背景技術】
【０００２】
従来、連続して撮像された複数の静止画像に対し、それらの静止画像間のグローバルな動きベクトル（以下、グローバル動きベクトルと称する）を算出し、その算出結果に基づいて静止画像を並べて合成して、パノラマ画像を生成する技術が提案されている。
【０００３】
このように２つの画像間のグローバル動きベクトルを推定する手法として、主に３つの手法が知られている。
【０００４】
すなわち、第１の手法として、特徴点ベースでのグローバル動きベクトル推定手法が知られている。この手法では、図１に示すように連続して撮像された２つ画像Ａ１１と画像Ａ１２のそれぞれについて、特徴点が算出される。
【０００５】
図１の例では、画像Ａ１１上の円と、画像Ａ１２上の四角形とがそれぞれ特徴点を示している。例えば、代表的な特徴点としてはSIFT(Scale Invariant Feature Transform)やSURF(Speeded Up Robust Features)などが知られており、これらは被写体の拡大縮小、回転等に頑強な特徴を持つ。
【０００６】
次に画像Ａ１１上の特徴点と画像Ａ１２上の特徴点との対応付けが行なわれる。図１では、矢印の始点位置にある画像Ａ１１上の特徴点と、矢印の終点位置にある画像Ａ１２上の特徴点とが互いに対応する特徴点となっている。例えば特徴点の対応付けを行なう場合に、RANSAC(Random Sample Consensus)などのロバスト推定を行うことで、動被写体などのアウトライヤの除去がある程度可能となる。そして、画像Ａ１１と画像Ａ１２の特徴点の対応付けが確定すると、それらの対応付け結果が利用されて、画像間のグローバル動きベクトルが算出される。
【０００７】
また、第２の手法として、ブロックマッチングベースでのグローバル動きベクトル推定手法がある。ブロックマッチングによる動き推定はデジタルビデオ圧縮システム等に広く用いられている。
【０００８】
この手法では、図２に示すように画像Ａ１３が複数のブロックに分割され、各ブロックについて、画像Ａ１３と連続して撮像された画像Ａ１４から、画像Ａ１３上のブロックと一致する領域が探索される。
【０００９】
すなわち、例えば画像Ａ１３上のブロックＢＬ１１に対して、画像Ａ１４上のブロックＢＬ１１と同じ位置を中心とする探索領域ＴＲ１１が定められる。そして、探索領域ＴＲ１１内の各領域のうち、ブロックＢＬ１１内の画素の画素値との差分絶対値の総和など、ブロック同士の差分が最小となる領域を探索することで、ブロックＢＬ１１の動きベクトルが求められる。さらに、そのようにして求められた各ブロックの動きベクトルから、画像Ａ１３と画像Ａ１４の間のグローバル動きベクトルが求められる。
【００１０】
また、第３の手法として、積分射影法によるグローバル動きベクトル推定手法がある。この手法では、画像の特徴量が所定の軸に射影され、画像ごとに射影された一次元情報（特徴量）を利用して、画像間のグローバル動きベクトルが算出される。
【００１１】
具体的には、画像上のブロック内の各画素の画素値を特徴量として、特徴量を行方向および列方向に積分射影し、これらを利用して探索を行うことで、通常のブロックマッチングに比べて低コストでグローバル動きベクトルを算出する手法がある（例えば、非特許文献１参照）。
【先行技術文献】
【非特許文献】
【００１２】
【非特許文献１】E.Ogura，Y.Ikeda，Y.Iida，Y.Hosoya，M.Takasima，K.Yamashita “A Cost Effective Motion Estimation Processor LSI Using a Simple and Efficient Algorithm” IEEE Transactions on Consumer Electronics 第41巻3号、1995/8
【発明の概要】
【発明が解決しようとする課題】
【００１３】
しかしながら、上述した技術では、精度よく高速にグローバル動きベクトルを算出することはできなかった。
【００１４】
例えば、第１の手法は、高精度にグローバル動きベクトルを算出することはできるが、計算コストが高い手法である。そのため、第１の手法は、パーソナルコンピュータのソフトウェア処理には適しているが、リソースがパーソナルコンピュータより劣っている装置、例えば携帯型端末装置やデジタルカメラ等には適していない。
【００１５】
また、第２の手法では、例えばデジタルカメラで撮像したビデオよりもはるかに解像度が高い画像間のグローバル動きベクトルを、デジタルカメラ内の処理で実現するには時間がかかってしまう。そのため、ある程度の処理時間が許容できる場合はよいが、連写撮影しながらシャッタ間の時間を利用して、画像の撮像と同時にグローバル動きベクトルを算出することは困難である。
【００１６】
さらに、第３の手法では、上述した第１の手法および第２の手法と比較して高速にグローバル動きベクトルを算出できる反面、高精度にグローバル動きベクトルを求めることができない。特に、画像間のグローバル動きベクトルを用いてパノラマ画像を生成するには、より高精度にグローバル動きベクトルを算出することが求められる。
【００１７】
本技術は、このような状況に鑑みてなされたものであり、精度よく高速にグローバル動きベクトルを算出できるようにするものである。
【課題を解決するための手段】
【００１８】
本技術の第１の側面の画像処理装置は、撮像画像の解像度を変換する解像度変換部と、解像度変換後の前記撮像画像から特徴量を抽出する特徴量算出部と、前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出する射影部と、解像度変換後の前記撮像画像の前記射影特徴ベクトルと、解像度変換後の他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、グローバル動きベクトルを算出するグローバル動きベクトル算出部と、前記射影特徴ベクトルに基づいて、前記グローバル動きベクトルの信頼度を算出する信頼度算出部と、前記信頼度に基づいて、複数の異なる解像度の前記撮像画像について求められた前記グローバル動きベクトルの何れかを選択する選択部とを備える。
【００１９】
画像処理装置には、解像度変換後の前記撮像画像上の所定の領域を射影領域として選択する射影領域選択部をさらに設け、前記特徴量算出部には、前記射影領域から前記特徴量を抽出させ、前記選択部には、各解像度の前記撮像画像における複数の異なる前記射影領域ごとに求められた前記グローバル動きベクトルの何れかを選択させることができる。
【００２０】
前記信頼度算出部には、前記射影特徴ベクトルのマッチング誤差の最も小さい極小値と２番目に小さい極小値との差分に基づいて、前記信頼度を算出させることができる。
【００２１】
前記信頼度算出部には、前記射影特徴ベクトルのマッチング誤差の最大値と最小値の差に基づいて、前記信頼度を算出させることができる。
【００２２】
前記信頼度算出部には、前記射影特徴ベクトルのマッチング誤差の最小値部分のピークの深さに基づいて、前記信頼度を算出させることができる。
【００２３】
前記信頼度算出部には、前記射影特徴ベクトルのマッチング誤差の最小値部分のピーク先鋭度に基づいて、前記信頼度を算出させることができる。
【００２４】
前記信頼度算出部には、前記射影特徴ベクトルのマッチング誤差の最小値と、予め定められた所定値との差分に基づいて、前記信頼度を算出させることができる。
【００２５】
前記射影部には、互いに直交する２つの軸のそれぞれに前記特徴量を射影させて、前記軸ごとに前記射影特徴ベクトルを算出させることができる。
【００２６】
画像処理装置には、選択された前記グローバル動きベクトルに基づいて前記撮像画像を合成し、パノラマ画像を生成するパノラマ合成部をさらに設けることができる。
【００２７】
画像処理装置には、選択された前記グローバル動きベクトルに基づいて前記撮像画像に対する手振れ補正を行なう手振れ補正部をさらに設けることができる。
【００２８】
本技術の第１の側面の画像処理方法またはプログラムは、撮像画像の解像度を変換し、解像度変換後の前記撮像画像から特徴量を抽出し、前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出し、解像度変換後の前記撮像画像の前記射影特徴ベクトルと、解像度変換後の他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、グローバル動きベクトルを算出し、前記射影特徴ベクトルに基づいて、前記グローバル動きベクトルの信頼度を算出し、前記信頼度に基づいて、複数の異なる解像度の前記撮像画像について求められた前記グローバル動きベクトルの何れかを選択するステップを含む。
【００２９】
本技術の第１の側面においては、撮像画像の解像度が変換され、解像度変換後の前記撮像画像から特徴量が抽出され、前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルが算出され、解像度変換後の前記撮像画像の前記射影特徴ベクトルと、解像度変換後の他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、グローバル動きベクトルが算出され、前記射影特徴ベクトルに基づいて、前記グローバル動きベクトルの信頼度が算出され、前記信頼度に基づいて、複数の異なる解像度の前記撮像画像について求められた前記グローバル動きベクトルの何れかが選択される。
【００３０】
本技術の第２の側面の画像処理装置は、撮像画像上の所定の領域を射影領域として選択する射影領域選択部と、前記射影領域から特徴量を抽出する特徴量算出部と、前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出する射影部と、前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記撮像画像のグローバル動きベクトルを算出するグローバル動きベクトル算出部と、前記射影特徴ベクトルに基づいて、前記グローバル動きベクトルの信頼度を算出する信頼度算出部と、前記信頼度に基づいて、複数の異なる前記射影領域ごとに求められた前記グローバル動きベクトルの何れかを選択するグローバル動きベクトル選択部とを備える。
【００３１】
本技術の第２の側面の画像処理方法またはプログラムは、撮像画像上の所定の領域を射影領域として選択し、前記射影領域から特徴量を抽出し、前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出し、前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記撮像画像のグローバル動きベクトルを算出し、前記射影特徴ベクトルに基づいて、前記グローバル動きベクトルの信頼度を算出し、前記信頼度に基づいて、複数の異なる前記射影領域ごとに求められた前記グローバル動きベクトルの何れかを選択するステップを含む。
【００３２】
本技術の第２の側面においては、撮像画像上の所定の領域が射影領域として選択され、前記射影領域から特徴量が抽出され、前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルが算出され、前記撮像画像の前記射影特徴ベクトルと、他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、前記撮像画像のグローバル動きベクトルが算出され、前記射影特徴ベクトルに基づいて、前記グローバル動きベクトルの信頼度が算出され、前記信頼度に基づいて、複数の異なる前記射影領域ごとに求められた前記グローバル動きベクトルの何れかが選択される。
【発明の効果】
【００３３】
本技術の第１の側面および第２の側面によれば、精度よく高速にグローバル動きベクトルを算出することができる。
【図面の簡単な説明】
【００３４】
【図１】特徴点を利用したグローバル動きベクトルの算出について説明する図である。
【図２】ブロックマッチングによるグローバル動きベクトルの算出について説明する図である。
【図３】撮像装置の一実施の形態の構成例を示す図である。
【図４】画像処理回路の構成例を示す図である。
【図５】グローバル動きベクトル算出処理を説明するフローチャートである。
【図６】局所特徴量の射影について説明する図である。
【図７】グローバル動きベクトルについて説明する図である。
【図８】信頼度の算出について説明する図である。
【図９】撮像画像の解像度変換について説明する図である。
【図１０】射影領域について説明する図である。
【図１１】画像処理回路の他の構成例を示す図である。
【図１２】グローバル動きベクトル算出処理を説明するフローチャートである。
【図１３】画像処理回路の他の構成例を示す図である。
【図１４】グローバル動きベクトル算出処理を説明するフローチャートである。
【図１５】パノラマ画像の生成について説明する図である。
【図１６】画像処理回路の他の構成例を示す図である。
【図１７】グローバル動きベクトル算出処理を説明するフローチャートである。
【図１８】撮像画像の接続位置の決定について説明する図である。
【図１９】撮像画像の合成について説明する図である。
【図２０】パノラマ画像のトリミングについて説明する図である。
【図２１】画像処理回路の他の構成例を示す図である。
【図２２】グローバル動きベクトル算出処理を説明するフローチャートである。
【図２３】画像処理回路の他の構成例を示す図である。
【図２４】グローバル動きベクトル算出処理を説明するフローチャートである。
【図２５】コンピュータの構成例を示す図である。
【発明を実施するための形態】
【００３５】
以下、図面を参照して、本技術を適用した実施の形態について説明する。
【００３６】
〈第１の実施の形態〉
［撮像装置の構成例］
図３は、本技術を適用した撮像装置の一実施の形態の構成例を示す図である。
【００３７】
この撮像装置１１は、大別して光学系、信号処理系、記録系、表示系、および制御系から構成される。
【００３８】
すなわち、光学系は、被写体の光画像を集光するレンズ２１、レンズ２１からの光画像の光量を調整する絞り２２、および集光された光画像を光電変換して電気信号に変換する撮像素子２３から構成される。撮像素子２３は、例えばＣＣＤ（Charge Coupled Devices）イメージセンサやCMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどからなる。
【００３９】
信号処理系は、サンプリング回路２４、Ａ／Ｄ（Analog/Digital）変換回路２５、および画像処理回路２６から構成される。サンプリング回路２４は、例えば、相関２重サンプリング回路（ＣＤＳ：Correlated Double Sampling）によって実現され、撮像素子２３からの電気信号をサンプリングしてアナログ信号を生成する。これにより、撮像素子２３において発生するノイズが軽減される。サンプリング回路２４において得られるアナログ信号は、撮像された被写体の画像を表示させる画像信号である。
【００４０】
Ａ／Ｄ変換回路２５は、サンプリング回路２４から供給されるアナログ信号をデジタル信号に変換して、画像処理回路２６に供給し、画像処理回路２６は、Ａ／Ｄ変換回路２５から入力されるデジタル信号に所定の画像処理を施す。
【００４１】
また、記録系は、画像信号を符号化または復号する符号化／復号器２７と、画像信号を記録するメモリ２８とから構成される。符号化／復号器２７は、画像処理回路２６によって処理されたデジタル信号である画像信号を符号化してメモリ２８に記録させたり、メモリ２８から画像信号を読み出して復号し、画像処理回路２６に供給したりする。
【００４２】
表示系は、Ｄ／Ａ（Digital/Analog）変換回路２９、ビデオエンコーダ３０、および表示部３１から構成される。
【００４３】
Ｄ／Ａ変換回路２９は、画像処理回路２６によって処理された画像信号をアナログ化してビデオエンコーダ３０に供給し、ビデオエンコーダ３０は、Ｄ／Ａ変換回路２９からの画像信号を表示部３１に適合する形式のビデオ信号にエンコードする。表示部３１は、例えば、LCD（Liquid Crystal Display）等により実現され、ビデオエンコーダ３０におけるエンコードで得られたビデオ信号に基づいて、ビデオ信号に対応する画像を表示する。また、表示部３１は、被写体の撮像時にはファインダとしても機能する。
【００４４】
制御系は、タイミング生成部３２、操作入力部３３、ドライバ３４、および制御部３５から構成される。また、画像処理回路２６、符号化／復号器２７、メモリ２８、タイミング生成部３２、操作入力部３３、および制御部３５は、バス３６を介して相互に接続されている。
【００４５】
タイミング生成部３２は、撮像素子２３、サンプリング回路２４、Ａ／Ｄ変換回路２５、および画像処理回路２６の動作のタイミングを制御する。操作入力部３３は、ボタンやスイッチなどからなり、ユーザによるシャッタ操作やその他のコマンド入力を受け付けて、ユーザの操作に応じた信号を制御部３５に供給する。
【００４６】
ドライバ３４には所定の周辺機器が接続され、ドライバ３４は接続された周辺機器を駆動する。例えばドライバ３４は、周辺機器として接続された磁気ディスク、光ディスク、光磁気ディスク、半導体メモリ等の記録媒体からデータを読み出して制御部３５に供給する。
【００４７】
制御部３５は、撮像装置１１の全体を制御する。例えば、制御部３５は、ドライバ３４を介して、ドライバ３４に接続されている記録媒体から制御用プログラムを読み出して、制御用プログラムや操作入力部３３からのコマンド等に基づいて、撮像装置１１全体の動作を制御する。
【００４８】
次に、撮像装置１１の動作について説明する。
【００４９】
撮像装置１１では、被写体からの入射光、すなわち被写体の光画像は、レンズ２１および絞り２２を介して撮像素子２３に入射し、撮像素子２３によって光電変換されて電気信号とされる。撮像素子２３で得られた電気信号は、サンプリング回路２４によってノイズ成分が除去され、Ａ／Ｄ変換回路２５によってデジタル化された後、画像処理回路２６が内蔵する図示せぬ画像メモリに一時的に格納される。
【００５０】
なお、通常の状態、つまりシャッタ操作がされる前の状態では、タイミング生成部３２による信号処理系に対するタイミングの制御により、画像処理回路２６の画像メモリには、一定のフレームレートで、絶えずＡ／Ｄ変換回路２５からの画像信号が上書きされるようになされている。画像処理回路２６の画像メモリ内の画像信号は、Ｄ／Ａ変換回路２９によってデジタル信号からアナログ信号に変換され、ビデオエンコーダ３０によってビデオ信号に変換されて、ビデオ信号に対応する画像が表示部３１に表示される。
【００５１】
この場合において、表示部３１は、撮像装置１１のファインダとしての機能も担っており、ユーザは、表示部３１に表示される画像を見ながら構図を定め、操作入力部３３としてのシャッタボタンを押下して、画像の撮像を指示する。シャッタボタンが押下されると、制御部３５は、操作入力部３３からの信号に基づいて、タイミング生成部３２に対し、シャッタボタンが押下された直後の画像信号が保持されるように指示する。これにより、画像処理回路２６の画像メモリに画像信号が上書きされないように、信号処理系が制御される。
【００５２】
そして、その後、画像処理回路２６の画像メモリに保持されている画像信号が、符号化／復号器２７によって符号化されてメモリ２８に記録される。以上のような撮像装置１１の動作によって、１枚の画像信号の取込みが完了する。
【００５３】
［画像処理回路の構成］
また、図３の画像処理回路２６は、より詳細には図４に示すように構成される。
【００５４】
すなわち、画像処理回路２６は、撮像画像保持部６１、解像度変換部６２、局所特徴量算出部６３、積分射影部６４、グローバル動きベクトル算出部６５、サブサンプリング推定部６６、ベクトル拡大部６７、グローバル動きベクトル保持部６８、信頼度算出部６９、信頼度保持部７０、およびグローバル動きベクトル選択部７１から構成される。
【００５５】
撮像画像保持部６１には、撮像装置１１により撮像された被写体の画像（以下、撮像画像と称する）が供給され、撮像画像保持部６１は、供給された複数の撮像画像を保持する。撮像画像保持部６１に供給される撮像画像は、撮像装置１１が所定方向に移動（スイープ）している状態で連続して撮像された画像であり、撮像画像の撮像時には、連続して撮像される２つの撮像画像上に同じ被写体が含まれるように、撮像装置１１が移動される。
【００５６】
なお、以下、連続して撮像された撮像画像のうち、ｔ番目に撮像された撮像画像をフレームｔの撮像画像とも称することとする。
【００５７】
解像度変換部６２は、撮像画像保持部６１に保持されている撮像画像に対して解像度変換を行なって、複数の異なる解像度の撮像画像を生成し、局所特徴量算出部６３に供給する。局所特徴量算出部６３は、解像度変換部６２から供給された撮像画像から局所特徴量を抽出し、積分射影部６４に供給する。
【００５８】
積分射影部６４は、局所特徴量算出部６３から供給された局所特徴量を所定方向の軸上に射影してグローバル動きベクトル算出部６５および信頼度算出部６９に供給する。グローバル動きベクトル算出部６５は、積分射影部６４から供給された、連続するフレームの撮像画像の射影された局所特徴量のマッチングを行なうことで、撮像画像のグローバル動きベクトルを算出し、サブサンプリング推定部６６に供給する。
【００５９】
ここで、撮像画像のグローバル動きベクトルは、撮像画像全体の動きベクトルであり、同じ被写体が重なるように２つの撮像画像を重ね合わせたときの撮像画像の位置関係を示している。換言すれば、グローバル動きベクトルは、撮像画像の撮像時における背景などの動きのない被写体に対する撮像装置１１の動きを示しているということができる。
【００６０】
但し、グローバル動きベクトル算出部６５で得られる各解像度の撮像画像のグローバル動きベクトルは、解像度変換時における撮像画像の解像度変換率の分だけ、もとの撮像画像のグローバル動きベクトルが縮小または拡大されたものである。
【００６１】
サブサンプリング推定部６６は、グローバル動きベクトル算出部６５から供給されたグローバル動きベクトルに基づいて、サブサンプリング精度のグローバル動きベクトルを算出し、ベクトル拡大部６７に供給する。ベクトル拡大部６７は、サブサンプリング推定部６６から供給されたグローバル動きベクトルを拡大し、グローバル動きベクトル保持部６８に供給する。ベクトル拡大部６７による拡大処理により、もとの解像度の撮像画像のグローバル動きベクトルが得られる。
【００６２】
グローバル動きベクトル保持部６８は、ベクトル拡大部６７から供給された、各解像度の撮像画像について求めた、もとの撮像画像のグローバル動きベクトルを保持し、グローバル動きベクトル選択部７１に供給する。
【００６３】
信頼度算出部６９は、積分射影部６４から供給された、連続するフレームの撮像画像の射影された局所特徴量に基づいて、グローバル動きベクトルの信頼度を算出し、信頼度保持部７０に供給する。信頼度保持部７０は、信頼度算出部６９から供給された、各解像度の撮像画像について求めた、もとの撮像画像のグローバル動きベクトルの信頼度を保持し、グローバル動きベクトル選択部７１に供給する。
【００６４】
グローバル動きベクトル選択部７１は、信頼度保持部７０から供給された信頼度に基づいて、最も信頼度の高いグローバル動きベクトルを選択し、選択したグローバル動きベクトルをグローバル動きベクトル保持部６８から取得して、出力する。
【００６５】
［グローバル動きベクトル算出処理の説明］
ところで、ユーザが操作入力部３３を操作して、パノラマ画像の生成など、グローバル動きベクトルの算出が必要となる処理を指示すると、撮像装置１１は、撮像画像を撮像してグローバル動きベクトルを算出するグローバル動きベクトル算出処理を開始する。以下、図５のフローチャートを参照して、撮像装置１１によるグローバル動きベクトル算出処理について説明する。
【００６６】
ステップＳ１１において、撮像装置１１は、撮像画像の撮像を開始する。すなわち、処理が開始されると、例えば、ユーザは撮像装置１１を所定方向に回動させながら、複数枚の撮像画像を連続して撮像装置１１に撮像させる。
【００６７】
被写体からの光はレンズ２１および絞り２２を介して撮像素子２３に入射するので、撮像素子２３は入射した光を光電変換することにより、撮像画像を撮像する。得られた撮像画像（画像信号）は、撮像素子２３から、サンプリング回路２４乃至符号化／復号器２７を介してメモリ２８に供給され、記録される。このとき、撮像画像は符号化／復号器２７により符号化される。また、メモリ２８への記録時において、各撮像画像には撮像順にフレーム番号が付される。
【００６８】
複数の撮像画像がメモリ２８に順次記録されると、それらの撮像画像は、符号化／復号器２７によりメモリ２８から読み出されて復号され、画像処理回路２６の撮像画像保持部６１に供給されて保持される。
【００６９】
なお、撮像により得られた撮像画像が、メモリ２８に記録されずに、直接、撮像画像保持部６１に供給されるようにしてもよい。また、撮像画像は、撮像された１つの静止画像であってもよいし、撮影された動画像を構成する１フレーム分の画像であってもよい。
【００７０】
ステップＳ１２において、解像度変換部６２は、撮像画像保持部６１から処理対象のフレームを含む、連続する２つのフレームの撮像画像を取得し、それらの撮像画像に対する解像度変換を行い、得られた撮像画像を局所特徴量算出部６３に供給する。
【００７１】
例えば、解像度変換部６２は、撮像画像を所定の縮小率で縮小させることで、ものとの撮像画像よりも解像度の低い撮像画像を生成する。
【００７２】
なお、解像度変換では、撮像画像の縮小に限らず、撮像画像がより解像度の高い画像に変換されるようにしてもよい。そのような場合には、後段のベクトル拡大部６７において、解像度変換時の撮像画像の変換比率（拡大率）の逆数で、グローバル動きベクトルが拡大されることになる。また、解像度変換後の撮像画像には、撮像画像と同じ解像度の画像、つまり撮像画像そのものが含まれるようにしてもよい。
【００７３】
さらに、以下においては、撮像画像が解像度変換によって縮小される場合を例として説明を続ける。また、以下では、解像度変換により撮像画像を縮小して得られた画像を、縮小画像とも呼ぶこととする。
【００７４】
ステップＳ１３において、局所特徴量算出部６３は、解像度変換部６２から供給された縮小画像から局所特徴量を抽出する。
【００７５】
例えば、縮小画像上の互いに直交する方向をｘ方向およびｙ方向とし、ｘ方向とy方向を軸とするｘｙ座標系における縮小画像上の座標（ｘ，ｙ）にある画素の画素値をv(x，y)とする。この場合、局所特徴量算出部６３は、縮小画像上における各画素の画素値v(x，y)をそのまま局所特徴量とする。
【００７６】
なお、以下、ｘ方向を水平方向とも呼ぶこととし、ｙ方向を垂直方向とも呼ぶこととする。また、局所特徴量は、色情報（例えば、Ｒ，Ｇ，Ｂの各色の情報）である画素値そのものであってもよいし、画素の輝度値とされてもよい。
【００７７】
さらに、縮小画像の画素の差分絶対値や、画素の差分二乗値など、縮小画像の画素の勾配情報に基づいて局所特徴量が算出されるようにしてもよい。
【００７８】
すなわち、例えば縮小画像上の座標（ｘ，ｙ）にある画素の水平方向の局所特徴量として水平方向に隣接する画素の差分絶対値が求められ、垂直方向の局所特徴量として垂直方向に隣接する画素の差分絶対値が求められるようにしてもよい。この場合、例えば水平方向の局所特徴量として｜v(x+1,y)−v(x,y)｜が算出され、垂直方向の局所特徴量として｜v(x,y+1)−v(x,y)｜が算出される。
【００７９】
また、水平方向の局所特徴量および垂直方向の局所特徴量として、縮小画像上の水平方向に隣接する画素の差分二乗値と、縮小画像上の垂直方向に隣接する画素の差分二乗値が算出されるようにしてもよい。すなわち、この場合、水平方向の局所特徴量として（v(x+1,y)−v(x,y)）２が算出され、垂直方向の局所特徴量として（v(x,y+1)−v(x,y)）２が算出される。
【００８０】
局所特徴量算出部６３は、縮小画像の各画素について局所特徴量を算出すると、算出した局所特徴量を積分射影部６４に供給する。
【００８１】
ステップＳ１４において、積分射影部６４は、局所特徴量算出部６３から供給された局所特徴量を所定方向の軸上に射影して射影特徴ベクトルを算出し、グローバル動きベクトル算出部６５および信頼度算出部６９に供給する。
【００８２】
具体的には、例えば図６に示すように、処理対象のフレーム（ｔ＋１）の縮小画像ＦＰ（ｔ＋１）’と、フレーム（ｔ＋１）の直前のフレームｔの縮小画像ＦＰ（ｔ）’とから局所特徴量が抽出されたとする。なお、図６において、横方向および縦方向はｘ方向（水平方向）およびｙ方向（垂直方向）を示している。
【００８３】
ここで、縮小画像ＦＰ（ｔ＋１）’および縮小画像ＦＰ（ｔ）’は、処理対象のフレーム（ｔ＋１）の撮像画像ＦＰ（ｔ＋１）およびフレームｔの撮像画像ＦＰ（ｔ）を解像度変換して得られた所定の解像度の縮小画像である。
【００８４】
積分射影部６４は、縮小画像ＦＰ（ｔ）’の各画素について求められた水平方向の局所特徴量を水平方向の軸（以下、水平軸とも称する）に射影し、水平軸上の同じ位置に射影された局所特徴量の和を求めることで、水平軸射影特徴ベクトルＨ（ｔ）を算出する。
【００８５】
ここで、縮小画像ＦＰ（ｔ）’が水平方向にＸ個および垂直方向にＹ個の合計Ｘ×Ｙ個の画素からなる画像であるとする。この場合、積分射影部６４は、水平方向（ｘ方向）の位置ｘごとに水平軸射影特徴ベクトルＨ（ｔ）の要素となる射影積分値ph(x)を算出し、各水平方向の位置ｘについて求めたＸ個の射影積分値ph(x)からなるベクトルを水平軸射影特徴ベクトルＨ（ｔ）とする。射影積分値ph(x)は、ｘ座標が同じである縮小画像ＦＰ（ｔ）’の画素の水平方向の局所特徴量の総和である。
【００８６】
同様に、積分射影部６４は、縮小画像ＦＰ（ｔ）’の各画素について求められた垂直方向の局所特徴量を垂直方向の軸（以下、垂直軸とも称する）に射影し、垂直軸上の同じ位置に射影された局所特徴量の和を求めることで、垂直軸射影特徴ベクトルＶ（ｔ）を算出する。すなわち、積分射影部６４は、垂直方向（ｙ方向）の位置ｙごとに垂直軸射影特徴ベクトルＶ（ｔ）の要素となる射影積分値pv(y)を算出し、各垂直方向の位置ｙについて求めたＹ個の射影積分値pv(y)からなるベクトルを垂直軸射影特徴ベクトルＶ（ｔ）とする。射影積分値pv(y)は、ｙ座標が同じである縮小画像ＦＰ（ｔ）’の画素の垂直方向の局所特徴量の総和である。
【００８７】
したがって、例えば画素の画素値v(x，y)がそのまま局所特徴量とされた場合、水平軸射影特徴ベクトルＨ（ｔ）を構成する射影積分値ph(x)、および垂直軸射影特徴ベクトルＶ（ｔ）を構成する射影積分値pv(y)は、それぞれ次式（１）および式（２）で表される。なお、この場合には、水平方向および垂直方向の局所特徴量は、ともに画素の画素値v(x，y)とされる。
【００８８】
【数１】
2013020528.tif 000003
【００８９】
また、例えば水平方向に隣接する画素の差分絶対値、および垂直方向に隣接する画素の差分絶対値が、それぞれ水平方向および垂直方向の局所特徴量として求められた場合、射影積分値ph(x)および射影積分値pv(y)は、それぞれ次式（３）および式（４）で表される。
【００９０】
【数２】
2013020528.tif 000004
【００９１】
さらに、例えば水平方向に隣接する画素の差分二乗値、および垂直方向に隣接する画素の差分二乗値が、水平方向および垂直方向の局所特徴量として求められた場合、射影積分値ph(x)および射影積分値pv(y)は、それぞれ次式（５）および式（６）で表される。
【００９２】
【数３】
2013020528.tif 000005
【００９３】
積分射影部６４は、このようにして縮小画像ＦＰ（ｔ）’の水平軸射影特徴ベクトルＨ（ｔ）および垂直軸射影特徴ベクトルＶ（ｔ）を算出すると、さらに同様の演算により縮小画像ＦＰ（ｔ＋１）’の水平軸射影特徴ベクトルＨ（ｔ＋１）および垂直軸射影特徴ベクトルＶ（ｔ＋１）を算出する。
【００９４】
なお、図６では、局所特徴量が互いに直交する水平軸と垂直軸に射影される例について説明したが、射影される軸の方向は水平方向や垂直方向に限らず、どのような方向であってもよい。また、局所特徴量を射影する軸の数も２つに限らず、いくつであってもよい。
【００９５】
また、以下、水平軸射影特徴ベクトルと垂直軸射影特徴ベクトルを特に区別する必要のない場合、単に射影特徴ベクトルとも称する。
【００９６】
図５のフローチャートの説明に戻り、射影特徴ベクトルが算出されると、ステップＳ１５において、グローバル動きベクトル算出部６５は、積分射影部６４から供給された射影特徴ベクトルに基づいて縮小画像のグローバル動きベクトルを算出する。
【００９７】
具体的には、例えばグローバル動きベクトル算出部６５は、水平軸射影特徴ベクトルＨ（ｔ）と水平軸射影特徴ベクトルＨ（ｔ＋１）のマッチングを行なうことで、グローバル動きベクトルの水平方向の成分（ｘ成分）を求める。
【００９８】
すなわち、グローバル動きベクトル算出部６５は、水平軸射影特徴ベクトルＨ（ｔ）と水平軸射影特徴ベクトルＨ（ｔ＋１）の同じｘ座標の射影積分値ph(x)がｙ方向に並ぶように、それらの水平軸射影特徴ベクトルをｙ方向に並べた状態とする。そして、グローバル動きベクトル算出部６５は、水平軸射影特徴ベクトルＨ（ｔ）に対して水平軸射影特徴ベクトルＨ（ｔ＋１）をｘ方向にずらしながら、それらの水平軸射影特徴ベクトルがｙ方向に重なっている部分について、ｘ方向の同じ位置にある射影積分値ph(x)の差分絶対値の平均値を求める。
【００９９】
例えば、水平軸射影特徴ベクトルＨ（ｔ）に対して水平軸射影特徴ベクトルＨ（ｔ＋１）がｘ方向にＳだけシフト（平行移動）されたとする。この場合、水平軸射影特徴ベクトルＨ（ｔ）の射影積分値ph(x)と、水平軸射影特徴ベクトルＨ（ｔ＋１）の射影積分値ph(x-S)との差分絶対値の平均値が求められる。
【０１００】
そして、グローバル動きベクトル算出部６５は、射影積分値ph(x)の差分絶対値の平均値が最小となるシフト量Ｓを求め、得られたシフト量Ｓをグローバル動きベクトルの水平方向の成分（ｘ成分）とする。
【０１０１】
また、グローバル動きベクトル算出部６５は、水平方向における場合と同様の演算を行なって、垂直軸射影特徴ベクトルＶ（ｔ）と垂直軸射影特徴ベクトルＶ（ｔ＋１）のマッチングにより、グローバル動きベクトルの垂直方向の成分（ｙ成分）を求める。このようにして得られたｘ成分とｙ成分からなるベクトルがグローバル動きベクトルとされる。
【０１０２】
これにより、例えば図７に示すグローバル動きベクトルＧＶが得られる。なお、図７において、横方向および縦方向は、ｘ方向およびｙ方向を示している。
【０１０３】
図７の例では、フレームｔの縮小画像ＦＰ（ｔ）’とフレーム（ｔ＋１）の縮小画像ＦＰ（ｔ＋１）’の同じ被写体が重なるように、それらの画像が並べられている。また、縮小画像ＦＰ（ｔ＋１）’の左上の頂点を始点とし、縮小画像ＦＰ（ｔ）’の左上の頂点を終点とするベクトルＧＶがフレーム（ｔ＋１）のグローバル動きベクトルとされている。このベクトルＧＶは、縮小画像ＦＰ（ｔ）’と縮小画像ＦＰ（ｔ＋１）’の相対的な位置関係を示している。
【０１０４】
図５のフローチャートの説明に戻り、グローバル動きベクトルが得られると、グローバル動きベクトル算出部６５は、得られたグローバル動きベクトルと、水平軸射影特徴ベクトルおよび垂直軸射影特徴ベクトルとをサブサンプリング推定部６６に供給する。
【０１０５】
ステップＳ１６において、サブサンプリング推定部６６は、グローバル動きベクトル算出部６５から供給されたグローバル動きベクトル、水平軸射影特徴ベクトル、および垂直軸射影特徴ベクトルに基づいて、サブサンプリング精度のグローバル動きベクトルを算出する。例えば、サブサンプリング推定部６６は、等角直線フィッティングやパラボラフィッティングなどにより、サブサンプリング精度、つまり縮小画像の画素以下の精度のグローバル動きベクトルを算出する。
【０１０６】
画像処理回路２６によるグローバル動きベクトル算出処理では、最終的に撮像画像のグローバル動きベクトルを得ることを目的としているが、ステップＳ１３乃至ステップＳ１５では縮小画像が用いられて各処理が行われる。そのため、これらの処理により得られるグローバル動きベクトルは、最終的に得ようとする撮像画像のグローバル動きベクトルが縮小された、縮小画像のグローバル動きベクトルとなり、その精度も縮小画像のサンプリング（画素）の精度となる。
【０１０７】
そこで、サブサンプリング推定部６６は、縮小画像のサンプリング以下のサブサンプリング精度のグローバル動きベクトルを算出し、ベクトル拡大部６７に供給する。
【０１０８】
ステップＳ１７において、ベクトル拡大部６７は、サブサンプリング推定部６６から供給されたグローバル動きベクトルを、縮小画像生成時の縮小率の逆数で拡大し、撮像画像のグローバル動きベクトルを生成する。つまり、縮小画像のグローバル動きベクトルが拡大されることで、撮像画像のグローバル動きベクトルが得られる。
【０１０９】
ベクトル拡大部６７は、拡大処理により得られた処理対象のフレーム（ｔ＋１）の撮像画像ＦＰ（ｔ＋１）のグローバル動きベクトルを、グローバル動きベクトル保持部６８に供給し、保持させる。
【０１１０】
ステップＳ１８において、信頼度算出部６９は、積分射影部６４から供給された縮小画像の水平軸射影特徴ベクトルと垂直軸射影特徴ベクトルに基づいて、グローバル動きベクトルの信頼度を算出し、信頼度保持部７０に供給する。
【０１１１】
例えば、信頼度算出部６９は、グローバル動きベクトル算出部６５と同様の演算を行なって、水平軸射影特徴ベクトルのマッチング、および垂直軸射影特徴ベクトルのマッチングを行い、それらのマッチング結果に基づいて信頼度を算出する。
【０１１２】
具体的には、信頼度算出部６９は、水平軸射影特徴ベクトルＨ（ｔ）に対して水平軸射影特徴ベクトルＨ（ｔ＋１）をシフト量Ｓだけｘ方向にずらし、上述した射影積分値ph(x)の差分絶対値の平均値を求め、得られた平均値をシフト量Ｓについてのマッチング誤差を示すエラー値ＥＲ（Ｓ）とする。したがって、グローバル動きベクトル算出部６５では、このエラー値ＥＲ（Ｓ）が最小となるときのシフト量Ｓがグローバル動きベクトルのｘ成分となる。
【０１１３】
各シフト量Ｓについてエラー値ＥＲ（Ｓ）を求めると、例えば図８に示す結果が得られる。なお、図８では、曲線ＣＥ１１は、各シフト量Ｓに対するエラー値ＥＲ（Ｓ）を示しており、横軸および縦軸は、それぞれシフト量Ｓおよびエラー値ＥＲ（Ｓ）を示している。
【０１１４】
図８の例では、シフト量ＳがＳＭ１１であるときにエラー値ＥＲ（Ｓ）が最小となっており、その値はＥｍｉｎとなっている。この値Ｅｍｉｎは、エラー値ＥＲ（Ｓ）の最も小さい極小値でもある。また、曲線ＣＥ１１におけるシフト量Ｓ＝ＳＭ１１近傍の谷の部分、つまり下に凸のピーク部分（極小部分）の幅および深さは、それぞれｗおよびｄとなっている。
【０１１５】
さらに、曲線ＣＥ１１では、シフト量Ｓ＝ＳＭ１２の位置においてエラー値ＥＲ（Ｓ）は、２番目に小さい極小値Ｅｍｉｎ’をとり、エラー値ＥＲ（Ｓ）の最大値はＥｍａｘとなっている。
【０１１６】
このようなエラー値ＥＲ（Ｓ）の分布が得られた場合、信頼度算出部６９は、例えば所定の閾値ｔｈと、エラー値ＥＲ（Ｓ）の最小値Ｅｍｉｎとの差分「ｔｈ−Ｅｍｉｎ」を、グローバル動きベクトルの水平方向（ｘ成分）の信頼度とする。この場合、水平方向の信頼度は、最小値Ｅｍｉｎが小さいほど高くなる。
【０１１７】
また、信頼度算出部６９は、水平方向の信頼度と同様にして、垂直軸射影特徴ベクトルのエラー値が最小となるときのシフト量と閾値との差分を求め、得られた差分を垂直方向の信頼度とする。
【０１１８】
そして、信頼度算出部６９は、このようにして得られた水平方向の信頼度と垂直方向の信頼度とに基づいて、最終的なグローバル動きベクトルの信頼度を算出する。例えば、最終的な信頼度は、水平方向の信頼度と垂直方向の信頼度の和などとされる。
【０１１９】
信頼度算出部６９で得られる信頼度は、射影特徴ベクトルのマッチング精度を示す値であるので、縮小画像のグローバル動きベクトルの信頼度を示すものである。したがって、この信頼度は、縮小画像のグローバル動きベクトルを拡大して得られる、撮像画像のグローバル動きベクトルの信頼度を示しているということができる。
【０１２０】
なお、グローバル動きベクトルの信頼度は、水平軸射影特徴ベクトルのマッチング時のエラー値と、垂直軸射影特徴ベクトルのマッチング時のエラー値とに基づいて算出されるものであれば、どのようなものであってもよい。
【０１２１】
例えば、エラー値ＥＲ（Ｓ）の最大値Ｅｍａｘと最小値Ｅｍｉｎとの差「Ｅｍａｘ−Ｅｍｉｎ」が、水平方向の信頼度とされるようにしてもよい。この場合、水平方向の信頼度は、エラー値の最大値と最小値の差が大きいほど高くなる。但し、撮像画像（縮小画像）上に動被写体の領域があると、エラー値の最大値Ｅｍａｘが大きくなってしまうことがある。そうすると、エラー値の最小値Ｅｍｉｎが大きい場合であっても、信頼度が高くなってしまうことがある。
【０１２２】
そこで、例えばエラー値ＥＲ（Ｓ）の分布において、２番目に小さい局所最小値、つまり極小値Ｅｍｉｎ’と、最も小さい局所最小値、つまり最小値Ｅｍｉｎとの差「Ｅｍｉｎ’−Ｅｍｉｎ」が、水平方向の信頼度とされるようにしてもよい。この場合、極小値Ｅｍｉｎ’と最小値Ｅｍｉｎの差が大きいほど、信頼度は高くなる。
【０１２３】
さらに、曲線ＣＥ１１におけるエラー値ＥＲ（Ｓ）の最小値Ｅｍｉｎの部分含むピーク部分（極小部分）の深さｄが、水平方向の信頼度とされるようにしてもよい。深さｄが信頼度とされる場合、この深さｄが大きい（深い）ほど、信頼度は高くなる。
【０１２４】
さらに、曲線ＣＥ１１におけるエラー値ＥＲ（Ｓ）の最小値Ｅｍｉｎの部分含むピーク部分（極小部分）の幅ｗと深さｄの比ｄ／ｗにより表されるピーク部分の先鋭度が、水平方向の信頼度とされるようにしてもよい。この場合、先鋭度が高いほど、つまり幅ｗが狭く、かつ深さｄが深いほど、信頼度は高くなる。
【０１２５】
なお、上述した閾値ｔｈと最小値Ｅｍｉｎの差分、最大値Ｅｍａｘと最小値Ｅｍｉｎの差、極小値Ｅｍｉｎ’と最小値Ｅｍｉｎの差、ピークの深さｄ、ピーク部分の先鋭度のうちの任意のものを組み合わせて、それらの値から信頼度を求めるようにしてもよい。
【０１２６】
図５のフローチャートの説明に戻り、信頼度算出部６９は、グローバル動きベクトルの信頼度を算出すると、算出した信頼度を信頼度保持部７０に供給して保持させ、処理はステップＳ１８からステップＳ１９に進む。
【０１２７】
ステップＳ１９において、画像処理回路２６は、全ての解像度の縮小画像について処理を行ったか否かを判定する。例えば画像処理回路２６において、予め互いに異なる解像度のＫ個の縮小画像について、グローバル動きベクトルを算出することが定められているとする。そのような場合、Ｋ個の解像度の縮小画像のそれぞれについて、グローバル動きベクトルが算出されたとき、全ての解像度について処理が行われたと判定される。
【０１２８】
ステップＳ１９において、まだ全ての解像度について処理が行われていないと判定された場合、処理はステップＳ１２に戻り、上述した処理が繰り返される。すなわち、まだ処理が行われていない、次の解像度の縮小画像が生成され、その縮小画像についてグローバル動きベクトルが算出される。
【０１２９】
これに対して、ステップＳ１９において、全ての解像度について処理が行われたと判定された場合、処理はステップＳ２０に進む。
【０１３０】
例えば、解像度変換部６２において、図９に示すように３つの異なる解像度の縮小画像ＦＰ１’乃至縮小画像ＦＰ３’が生成される場合、それらの各解像度の縮小画像に基づいて、撮像画像のグローバル動きベクトルが算出される。
【０１３１】
すなわち、最も高い解像度の縮小画像ＦＰ１’から局所特徴量が抽出されて、局所特徴量の射影により水平軸射影特徴ベクトルと垂直軸射影特徴ベクトルが算出され、それらの射影特徴ベクトルのマッチングによりグローバル動きベクトルが算出される。
【０１３２】
同様にして、２番目に高い解像度の縮小画像ＦＰ２’ついても局所特徴量が射影されて射影特徴ベクトルが生成され、射影特徴ベクトルのマッチングによりグローバル動きベクトルが算出される。さらに、最も解像度の低い縮小画像ＦＰ３’ついても局所特徴量が射影されて射影特徴ベクトルが生成され、射影特徴ベクトルのマッチングによりグローバル動きベクトルが算出される。
【０１３３】
この場合、グローバル動きベクトル保持部６８には、縮小画像ＦＰ１’乃至縮小画像ＦＰ３’のそれぞれについて求めた、３つのグローバル動きベクトルが保持され、信頼度保持部７０には、それらの３つのグローバル動きベクトルの信頼度が保持されることになる。
【０１３４】
図５のフローチャートの説明に戻り、ステップＳ２０において、グローバル動きベクトル選択部７１は、信頼度保持部７０に保持されている信頼度に基づいて、最も信頼度の高いグローバル動きベクトルを選択する。
【０１３５】
そして、グローバル動きベクトル選択部７１は、選択したグローバル動きベクトルをグローバル動きベクトル保持部６８から取得し、取得したグローバル動きベクトルを処理対象のフレームの撮像画像ＦＰ（ｔ＋１）のグローバル動きベクトルとして出力する。
【０１３６】
ステップＳ２１において、画像処理回路２６は、全てのフレームの撮像画像について、処理を行なったか否かを判定する。例えば、全フレームの撮像画像のグローバル動きベクトルが算出された場合、全てのフレームについて処理を行なったと判定される。
【０１３７】
ステップＳ２１において、まだ全てのフレームについて処理を行なっていないと判定された場合、処理はステップＳ１２に戻り、上述した処理が繰り返される。すなわち、次のフレームが処理対象のフレームとされて、そのフレームの撮像画像のグローバル動きベクトルが算出される。
【０１３８】
これに対して、ステップＳ２１において、全てのフレームについて処理を行なったと判定された場合、画像処理回路２６は各部の処理を停止させ、グローバル動きベクトル算出処理は終了する。
【０１３９】
以上のようにして、撮像装置１１は、撮像画像を複数の異なる解像度の画像に変換し、得られた各画像の局所特徴量を所定方向の軸に射影し、その結果得られた射影特徴ベクトルのマッチングにより、解像度ごとに撮像画像のグローバル動きベクトルを求める。そして、撮像装置１１は、解像度ごとに求めたグローバル動きベクトルのうち、最も信頼度の高いグローバル動きベクトルを選択して、最終的なグローバル動きベクトルとする。
【０１４０】
このように、解像度ごとにグローバル動きベクトルを算出し、最も信頼度の高いグローバル動きベクトルを最終的なグローバル動きベクトルとすることで、より高精度にグローバル動きベクトルを算出することができる。すなわち、グローバル動きベクトルのロバスト性を向上させることができる。
【０１４１】
また、局所特徴量を所定方向の軸に射影することで、マッチング処理に用いられる情報（特徴量）の数を削減することができ、通常のブロックマッチングなどの２次元探索と比較して、より高速にグローバル動きベクトルを得ることができる。
【０１４２】
特に、撮像画像の解像度変換により、撮像画像が縮小される場合には、局所特徴量の抽出対象となる領域の面積を削減したり、マッチング処理の計算コストを削減したりすることができる。縮小画像を用いれば、撮像画像の縮小やグローバル動きベクトルの拡大などが必要となるが、全体としてグローバル動きベクトル算出の計算コストを削減することができ、より高速にグローバル動きベクトルを得ることができる。
【０１４３】
また、撮像画像を縮小することで、撮像画像上の高周波成分が除去されるので、ノイズの削減効果を期待することができ、これによりグローバル動きベクトルのロバスト性を向上させることができる。
【０１４４】
なお、以上においては、局所特徴量として画素の画素値、画素間の差分絶対値、または画素間の差分二乗値を求める例について説明したが、これらは差分二乗値、差分絶対値、および画素の画素値の順で局所特徴量として有用であり、マッチング精度の向上を期待することができる。但し、マッチング処理の計算コストについては、画素の画素値、差分絶対値、および差分二乗値の順で計算コストが低い。
【０１４５】
〈第２の実施の形態〉
［画像処理回路の構成］
また、以上においては、撮像画像全体から局所特徴量を抽出すると説明したが、撮像画像上の複数の異なる領域（以下、射影領域と称する）について、それらの射影領域から局所特徴量を算出し、射影領域ごとにグローバル動きベクトルが算出されてもよい。そのような場合、射影領域ごとのグローバル動きベクトルの信頼度が算出され、最も信頼度の高いグローバル動きベクトルが、撮像画像のグローバル動きベクトルとして選択される。
【０１４６】
具体的には、例えば図１０の左側に示すように、撮像画像ＦＰ１１に対して４つの射影領域ＨＲ１１乃至射影領域ＨＲ１４が定められ、それらの射影領域から水平方向の局所特徴量が算出される。なお、図中、横方向および縦方向は、それぞれｘ方向（水平方向）およびｙ方向（垂直方向）を示している。
【０１４７】
図１０の左側の例では、射影領域ＨＲ１１乃至射影領域ＨＲ１４は、撮像画像ＦＰ１１の中央位置を中心とするｘ方向の所定の範囲の領域であり、射影領域ＨＲ１１乃至射影領域ＨＲ１４のそれぞれは、互いにｘ方向の幅が異なる領域とされている。
【０１４８】
例えば、射影領域ＨＲ１４の図中、左右の端は、撮像画像ＦＰ１１の左右の端の位置となっているので、射影領域ＨＲ１４は、撮像画像ＦＰ１１全体の領域となる。
【０１４９】
また、例えば図中、右側に示すように、撮像画像ＦＰ１１に対してｘ方向の幅が同じであり、かつｘ方向の位置が異なる射影領域ＨＲ２１乃至射影領域ＨＲ２４のそれぞれが、射影領域とされてもよい。射影領域ＨＲ２１乃至射影領域ＨＲ２４は、撮像画像ＦＰ１１上のｘ方向の所定の範囲の領域であり、これらの射影領域の中心位置は、図中、横方向（ｘ方向）に少しずつずれている。この例においても、射影領域ＨＲ２１乃至射影領域ＨＲ２４のそれぞれから水平方向の局所特徴量が算出される。
【０１５０】
なお、水平方向の局所特徴量の抽出対象となる撮像画像上の射影領域のそれぞれは、図１０に示す例に限らず、幅や中心位置が異なる領域など、互いに異なる領域であれば、どのような領域であってもよい。例えば、撮像画像上の互いに離れたいくつかの領域が、１つの射影領域とされるようにしてもよい。
【０１５１】
また、水平方向の局所特徴量の抽出対象となる射影領域と同様に、垂直方向の局所特徴量が抽出される、複数の異なる射影領域が撮像画像に対して予め定められ、それらの射影領域のそれぞれから垂直方向の局所特徴量が抽出される。
【０１５２】
このように、撮像画像上の複数の異なる射影領域を局所特徴量の抽出対象とすれば、いくつかの射影領域を、射影特徴ベクトルのマッチング精度を低下させる要因となる動被写体などの領域が除外された領域とすることができる。
【０１５３】
これにより、射影特徴ベクトルのマッチング誤差のリスクを軽減させ、グローバル動きベクトルのロバスト性を向上させることができる。また、通常のブロックマッチングなどの２次元探索と比べて計算コストを低く抑えることができ、より高速にグローバル動きベクトルを得ることができる。
【０１５４】
図１０に示したように、撮像画像に対して複数の射影領域が定められ、射影領域ごとに撮像画像のグローバル動きベクトルが算出される場合、図３の画像処理回路２６は、図１１に示すように構成される。なお、図１１において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１５５】
図１１の画像処理回路２６は、撮像画像保持部６１、射影領域選択部１０１、局所特徴量算出部６３、積分射影部６４、グローバル動きベクトル算出部６５、サブサンプリング推定部６６、グローバル動きベクトル保持部６８、信頼度算出部６９、信頼度保持部７０、およびグローバル動きベクトル選択部７１から構成される。
【０１５６】
図１１の画像処理回路２６の構成は、解像度変換部６２に代えて射影領域選択部１０１が設けられた点、およびベクトル拡大部６７が設けられていない点で図４の画像処理回路２６と異なり、その他の点では図４の画像処理回路２６と同じとなっている。
【０１５７】
射影領域選択部１０１は、撮像画像保持部６１から供給された撮像画像に対して、水平方向および垂直方向の射影領域を選択し、選択した射影領域を示す情報と、撮像画像とを局所特徴量算出部６３に供給する。
【０１５８】
局所特徴量算出部６３は、射影領域選択部１０１から供給された撮像画像における、射影領域選択部１０１から供給された情報により示される射影領域から局所特徴量を抽出し、積分射影部６４に供給する。
【０１５９】
また、サブサンプリング推定部６６は、グローバル動きベクトル算出部６５からのグローバル動きベクトルと、射影特徴ベクトルとに基づいて、撮像画像のサブサンプリング精度のグローバル動きベクトルを算出し、グローバル動きベクトル保持部６８に供給する。
【０１６０】
［グローバル動きベクトル算出処理の説明］
次に、図１２のフローチャートを参照して、撮像装置１１の画像処理回路２６が図１１に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップＳ５１の処理は図５のステップＳ１１の処理と同様であるので、その説明は省略する。
【０１６１】
ステップＳ５２において、射影領域選択部１０１は、撮像画像保持部６１から処理対象のフレーム（ｔ＋１）の撮像画像ＦＰ（ｔ＋１）とフレームｔの撮像画像ＦＰ（ｔ）を取得し、それらの撮像画像上の射影領域を選択する。
【０１６２】
例えば、水平方向の射影領域と垂直方向の射影領域の組が予めいくつか定められており、射影領域選択部１０１は、それらの組のうちの何れか１つを選択する。具体的には、１つの射影領域の組を構成する水平方向の射影領域が、図１０の射影領域ＨＲ１１などとされる。射影領域選択部１０１は、射影領域の組を選択すると、選択した射影領域を示す情報と、撮像画像ＦＰ（ｔ＋１）および撮像画像ＦＰ（ｔ）とを局所特徴量算出部６３に供給する。なお、水平方向の射影領域と垂直方向の射影領域は同じ領域であってもよい。
【０１６３】
ステップＳ５３において、局所特徴量算出部６３は、射影領域選択部１０１から供給された撮像画像、および射影領域を示す情報に基づいて、撮像画像上の射影領域から局所特徴量を抽出し、積分射影部６４に供給する。
【０１６４】
例えば、ステップＳ５２で選択された水平方向の射影領域が図１０の射影領域ＨＲ１１である場合、局所特徴量算出部６３は、撮像画像ＦＰ（ｔ＋１）上の射影領域ＨＲ１１内の各画素について水平方向の局所特徴量を算出する。また、局所特徴量算出部６３は、撮像画像ＦＰ（ｔ）上の射影領域ＨＲ１１内の各画素についても水平方向の局所特徴量を算出する。同様に、局所特徴量算出部６３は、撮像画像ＦＰ（ｔ＋１）および撮像画像ＦＰ（ｔ）の垂直方向の射影領域内の各画素についても、それらの画素の垂直方向の局所特徴量を算出する。
【０１６５】
撮像画像の射影領域から局所特徴量が算出されると、その後、ステップＳ５４乃至ステップＳ５７の処理が行われるが、これらの処理は図５のステップＳ１４乃至ステップＳ１６、およびステップＳ１８の処理と同様であるので、その説明は省略する。
【０１６６】
但し、ステップＳ５４乃至ステップＳ５６では、選択された射影領域について、撮像画像のグローバル動きベクトルが算出される。ここでは、撮像画像が解像度変換されず、撮像画像から局所特徴量が算出される。したがって、ステップＳ５５では撮像画像のグローバル動きベクトルが得られるため、図５の場合と異なり、グローバル動きベクトルの拡大は行なわれない。
【０１６７】
このようにステップＳ５２乃至ステップＳ５７の処理が行われると、選択された射影領域について求められた、撮像画像のグローバル動きベクトルと、そのグローバル動きベクトルの信頼度が得られることになる。そして、得られたグローバル動きベクトルおよび信頼度が、それぞれグローバル動きベクトル保持部６８および信頼度保持部７０に供給されて保持される。
【０１６８】
ステップＳ５８において、画像処理回路２６は、全ての射影領域の組について処理を行ったか否かを判定する。例えば、予め定められた全ての射影領域の組が選択され、それらの射影領域について、グローバル動きベクトルと信頼度が算出された場合、全ての射影領域の組について処理を行ったと判定される。
【０１６９】
ステップＳ５８において、まだ全ての射影領域の組について処理が行われていないと判定された場合、処理はステップＳ５２に戻り、上述した処理が繰り返される。すなわち、まだ処理が行われていない次の射影領域の組が選択され、その射影領域についてグローバル動きベクトルと信頼度が算出される。
【０１７０】
これに対して、ステップＳ５８において、全ての射影領域の組について処理が行われたと判定された場合、その後、ステップＳ５９およびステップＳ６０の処理が行われて、グローバル動きベクトル算出処理は終了する。なお、これらの処理は図５のステップＳ２０およびステップＳ２１の処理と同様であるので、その説明は省略する。
【０１７１】
但し、ステップＳ５９では、撮像画像上の射影領域ごとに求められたグローバル動きベクトルのうち、最も信頼度が高いグローバル動きベクトルが、処理対象のフレームの撮像画像のグローバル動きベクトルとして選択され、出力される。
【０１７２】
以上のようにして、撮像装置１１は、撮像画像上の複数の射影領域から局所特徴量を抽出し、射影領域ごとに射影特徴ベクトルのマッチングによりグローバル動きベクトルを求める。そして、撮像装置１１は、射影領域ごとに求めたグローバル動きベクトルのうち、最も信頼度の高いグローバル動きベクトルを選択して、最終的なグローバル動きベクトルとする。
【０１７３】
このように、射影領域ごとにグローバル動きベクトルを算出し、最も信頼度の高いグローバル動きベクトルを最終的なグローバル動きベクトルとすることで、より高速かつ高精度に撮像画像のグローバル動きベクトルを算出することができる。
【０１７４】
〈第３の実施の形態〉
［画像処理回路の構成］
なお、以上においては、解像度ごとや射影領域ごとにグローバル動きベクトルを算出する例について説明したが、各解像度の撮像画像について、射影領域ごとにグローバル動きベクトルを算出するようにしてもよい。つまり、解像度と射影領域の組み合わせごとにグローバル動きベクトルが算出され、最も信頼度の高いグローバル動きベクトルが、撮像画像の最終的なグローバル動きベクトルとされるようにしてもよい。
【０１７５】
そのような場合、図３の画像処理回路２６は、図１３に示すように構成される。なお、図１３において、図４または図１１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１７６】
図１３の画像処理回路２６は、撮像画像保持部６１、解像度変換部６２、射影領域選択部１０１、局所特徴量算出部６３、積分射影部６４、グローバル動きベクトル算出部６５、サブサンプリング推定部６６、ベクトル拡大部６７、グローバル動きベクトル保持部６８、信頼度算出部６９、信頼度保持部７０、およびグローバル動きベクトル選択部７１から構成される。
【０１７７】
図１３の画像処理回路２６の構成は、新たに射影領域選択部１０１が設けられた点で図４の画像処理回路２６と異なり、その他の点では図４の画像処理回路２６と同じ構成となっている。
【０１７８】
射影領域選択部１０１は、解像度変換部６２から供給された各縮小画像に対して、水平方向および垂直方向の射影領域を選択し、選択した射影領域を示す情報と、縮小画像とを局所特徴量算出部６３に供給する。
【０１７９】
［グローバル動きベクトル算出処理の説明］
次に、図１４のフローチャートを参照して、撮像装置１１の画像処理回路２６が図１３に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。
【０１８０】
なお、ステップＳ９１およびステップＳ９２の処理は図５のステップＳ１１およびステップＳ１２の処理と同様であるので、その説明は省略する。但し、ステップＳ９２では、解像度変換部６２は、解像度変換により得られた縮小画像を射影領域選択部１０１に供給する。
【０１８１】
ステップＳ９３において、射影領域選択部１０１は、解像度変換部６２から供給された、処理対象のフレーム（ｔ＋１）の縮小画像、およびフレームｔの縮小画像について、それらの縮小画像上の射影領域を選択する。そして、射影領域選択部１０１は、選択した射影領域を示す情報と、縮小画像とを局所特徴量算出部６３に供給する。
【０１８２】
射影領域が選択されると、その後、ステップＳ９４乃至ステップＳ９７の処理が行われるが、これらの処理は図１２のステップＳ５３乃至ステップＳ５６の処理と同様であるので、その説明は省略する。
【０１８３】
但し、ステップＳ９４では、縮小画像上の射影領域から局所特徴量が抽出される。また、サブサンプリング推定部６６は、サブサンプリング精度のグローバル動きベクトルを算出すると、得られたグローバル動きベクトルをベクトル拡大部６７に供給する。
【０１８４】
ステップＳ９８において、ベクトル拡大部６７は、サブサンプリング推定部６６から供給されたグローバル動きベクトルを、縮小画像生成時の縮小率の逆数で拡大し、撮像画像のグローバル動きベクトルを生成する。ベクトル拡大部６７は、得られたグローバル動きベクトルをグローバル動きベクトル保持部６８に供給して保持させる。
【０１８５】
グローバル動きベクトルが算出されると、その後、ステップＳ９９およびステップＳ１００の処理が行われるが、これらの処理は図１２のステップＳ５７およびステップＳ５８の処理と同様であるので、その説明は省略する。
【０１８６】
なお、ステップＳ１００において、まだ全ての射影領域について処理していないと判定された場合には、処理はステップＳ９３に戻り、上述した処理が繰り返される。
【０１８７】
また、ステップＳ１００において、全ての射影領域について処理が行われたと判定された場合、ステップＳ１０１において、画像処理回路２６は、全ての解像度について処理したか否かを判定する。つまり、ステップＳ１０１では、図５のステップＳ１９と同様の処理が行われる。
【０１８８】
ステップＳ１０１において、まだ全ての解像度について処理していないと判定された場合、処理はステップＳ９２に戻り、上述した処理が繰り返される。すなわち、撮像画像がまだ選択されていない解像度に変換されて、射影領域選択部１０１に供給される。
【０１８９】
これに対してステップＳ１０１において、全ての解像度について処理したと判定された場合、ステップＳ１０２およびステップＳ１０３の処理が行われてグローバル動きベクトル算出処理は終了する。なお、これらの処理は図５のステップＳ２０およびステップＳ２１と同様であるので、その説明は省略する。
【０１９０】
以上のようにして、撮像装置１１は、撮像画像を複数の異なる解像度の縮小画像に変換し、縮小画像の各射影領域の局所特徴量を所定方向の軸に射影して、その結果得られた射影特徴ベクトルのマッチングにより、グローバル動きベクトルを求める。そして、撮像装置１１は、各解像度について射影領域ごとに求めたグローバル動きベクトルのうち、最も信頼度の高いグローバル動きベクトルを選択して、撮像画像の最終的なグローバル動きベクトルとする。
【０１９１】
このように、解像度と射影領域の組み合わせごとにグローバル動きベクトルを算出すれば、さらに信頼度の高いグローバル動きベクトルを得ることができるようになる。
【０１９２】
〈第４の実施の形態〉
［画像処理回路の構成］
なお、以上においては、画像処理回路２６においてグローバル動きベクトルが算出される例について説明したが、算出されたグローバル動きベクトルが用いられて、パノラマ画像が生成されるようにしてもよい。
【０１９３】
そのような場合、例えば図１５に示すように、ｎ枚の撮像画像ＦＰ（１）乃至撮像画像ＦＰ（ｎ）について、グローバル動きベクトルに基づいて、パノラマ画像の生成に用いられる短冊領域ＲＥ（１）乃至短冊領域ＲＥ（ｎ）が定められる。そして、これらの短冊領域ＲＥ（１）乃至短冊領域ＲＥ（ｎ）を並べて合成することで、１つのパノラマ画像ＰＬ１１が生成される。なお、図１５において、横方向および縦方向はｘ方向およびｙ方向を示している。
【０１９４】
例えば、撮像画像の撮像時に撮像装置１１を平行移動させる方向に平行な軸（以下、スイープ軸と称する）が図中、横方向、つまりｘ方向と平行である場合には、各撮像画像のグローバル動きベクトルのｘ成分に基づいて、短冊領域の端の位置が定められる。
【０１９５】
また、パノラマ画像が生成される場合、図３の画像処理回路２６は、図１６に示すように構成される。なお、図１６において、図４における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０１９６】
図１６の画像処理回路２６は、撮像画像保持部６１、解像度変換部６２、局所特徴量算出部６３、積分射影部６４、グローバル動きベクトル算出部６５、サブサンプリング推定部６６、ベクトル拡大部６７、グローバル動きベクトル保持部６８、信頼度算出部６９、信頼度保持部７０、グローバル動きベクトル選択部７１、短冊領域算出部１３１、およびパノラマ合成部１３２から構成される。
【０１９７】
図１６の画像処理回路２６の構成は、新たに短冊領域算出部１３１、およびパノラマ合成部１３２が設けられた点で図４の画像処理回路２６と異なり、その他の点では図４の画像処理回路２６と同じ構成となっている。
【０１９８】
なお、図１６の画像処理回路２６では、撮像画像保持部６１に保持された撮像画像は、解像度変換部６２およびパノラマ合成部１３２に供給される。
【０１９９】
短冊領域算出部１３１は、グローバル動きベクトル選択部７１から供給された各撮像画像のグローバル動きベクトルに基づいて、撮像画像上の短冊領域を定め、各短冊領域の端の位置（以下、接続位置と称する）を示す情報をパノラマ合成部１３２に供給する。
【０２００】
パノラマ合成部１３２は、短冊領域算出部１３１から供給された各短冊領域の接続位置を示す情報と、撮像画像保持部６１から供給された撮像画像とに基づいて、パノラマ画像を生成し、出力する。
【０２０１】
［グローバル動きベクトル算出処理の説明］
次に、図１７のフローチャートを参照して、撮像装置１１の画像処理回路２６が図１６に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップＳ１３１乃至ステップＳ１４１の処理は図５のステップＳ１１乃至ステップＳ２１の処理と同様であるので、その説明は省略する。また、ステップＳ１４１において、全てのフレームについて処理が行われたと判定された場合、処理はステップＳ１４２に進む。
【０２０２】
ステップＳ１４２において、短冊領域算出部１３１は、グローバル動きベクトル選択部７１から供給された各撮像画像のグローバル動きベクトルに基づいて、撮像画像上の短冊領域を定め、各短冊領域の接続位置を示す情報をパノラマ合成部１３２に供給する。
【０２０３】
例えば、短冊領域算出部１３１は図１８に示すように、撮像時刻の古い順（フレーム番号の小さい順）に撮像画像上の短冊領域の接続位置、つまり撮像画像同士の接続位置を定めていく。なお、図１８において、横方向はスイープ軸方向を示している。
【０２０４】
図１８では、３つの連続するフレーム（ｔ−１）乃至フレーム（ｔ＋１）の撮像画像ＦＰ（ｔ−１）乃至撮像画像ＦＰ（ｔ＋１）のそれぞれが、グローバル動きベクトルに基づいてスイープ軸方向に並べられている。撮像画像ＦＰ（ｔ−１）乃至撮像画像ＦＰ（ｔ＋１）のうち、最もフレーム番号が小さいものは撮像画像ＦＰ（ｔ−１）であるから、短冊領域算出部１３１は、まず撮像画像ＦＰ（ｔ−１）と撮像画像ＦＰ（ｔ）との接続位置を定める。
【０２０５】
すなわち、図中、上側に示すように、短冊領域算出部１３１は、互いに隣接する撮像画像ＦＰ（ｔ−１）と撮像画像ＦＰ（ｔ）との互いに重なる、スイープ軸上の位置Ｉ０（ｔ）から位置Ｉ１（ｔ−１）までの範囲を探索範囲として接続位置を定める。ここで、位置Ｉ０（ｔ）および位置Ｉ１（ｔ−１）は、それぞれ撮像画像ＦＰ（ｔ）の図中、左側の端の位置、および撮像画像ＦＰ（ｔ−１）の図中、右側の端の位置である。
【０２０６】
例えば、短冊領域算出部１３１は、撮像画像ＦＰ（ｔ−１）の図中、左側の端の位置Ｉ０（ｔ−１）と、撮像画像ＦＰ（ｔ）の図中、右側の端の位置Ｉ１（ｔ）との中間の位置Ｓ（ｔ−１，ｔ）を、撮像画像ＦＰ（ｔ−１）と撮像画像ＦＰ（ｔ）の接続位置とする。つまり、位置Ｓ（ｔ−１，ｔ）は、撮像画像ＦＰ（ｔ−１）の短冊領域の図中、右側の端の位置であり、かつ撮像画像ＦＰ（ｔ）の短冊領域の図中、左側の端の位置である。なお、以下、位置Ｓ（ｔ−１，ｔ）を接続位置Ｓ（ｔ−１，ｔ）とも称する。
【０２０７】
次に、短冊領域算出部１３１は、図中、中央に示すように撮像画像ＦＰ（ｔ）と撮像画像ＦＰ（ｔ＋１）との接続位置Ｓ（ｔ，ｔ＋１）を定める。
【０２０８】
ここで、撮像画像ＦＰ（ｔ）と撮像画像ＦＰ（ｔ＋１）が互いに重なる領域の図中、左側の端、つまり撮像画像ＦＰ（ｔ＋１）の左端の位置Ｉ０（ｔ＋１）は、撮像画像ＦＰ（ｔ−１）と撮像画像ＦＰ（ｔ）の接続位置Ｓ（ｔ−１，ｔ）よりも図中、左側に位置している。撮像画像ＦＰ（ｔ）と撮像画像ＦＰ（ｔ＋１）の接続位置は、撮像画像ＦＰ（ｔ−１）と撮像画像ＦＰ（ｔ）の接続位置よりも図中、右側に位置すべきであるから、接続位置Ｓ（ｔ−１，ｔ）よりも左側の領域は、接続位置Ｓ（ｔ，ｔ＋１）の探索範囲から除外されるべきである。
【０２０９】
そこで、短冊領域算出部１３１は、スイープ軸上の接続位置Ｓ（ｔ−１，ｔ）から、撮像画像ＦＰ（ｔ）の図中、右端の位置Ｉ１（ｔ）までの範囲を探索範囲として接続位置Ｓ（ｔ，ｔ＋１）を定める。例えば、短冊領域算出部１３１は、撮像画像ＦＰ（ｔ）の図中、左側の端の位置Ｉ０（ｔ）と、撮像画像ＦＰ（ｔ＋１）の図中、右側の端の位置Ｉ１（ｔ＋１）との中間の位置を接続位置Ｓ（ｔ，ｔ＋１）とする。
【０２１０】
このようにして連続するフレームの撮像画像を接続するための接続位置が定められると、図中、下側に示すように、後段のパノラマ合成部１３２において、接続位置により定まる撮像画像上の短冊領域が互いに接続されてパノラマ画像とされる。なお、図中、下側において、撮像画像ＦＰ（ｔ−１）乃至撮像画像ＦＰ（ｔ＋１）の斜線部分は、短冊領域を示している。
【０２１１】
例えば、撮像画像ＦＰ（ｔ）の短冊領域は、撮像画像ＦＰ（ｔ）におけるスイープ軸方向の位置が、接続位置Ｓ（ｔ−１，ｔ）から接続位置Ｓ（ｔ，ｔ＋１）までの領域とされる。このように、各撮像画像の隣接する他の撮像画像との接続位置を順次、定めていくことにより、各撮像画像の短冊領域を順次決定することができる。
【０２１２】
なお、ここでは時系列順に撮像画像の接続位置を決定する方法について説明したが、他の基準で決定した順番で、各撮像画像の接続位置を逐次決定するようにしてもよい。
【０２１３】
図１７のフローチャートの説明に戻り、各撮像画像の短冊領域が定められると、処理はステップＳ１４２からステップＳ１４３へと進む。
【０２１４】
ステップＳ１４３において、パノラマ合成部１３２は、短冊領域算出部１３１から供給された各短冊領域の接続位置を示す情報と、撮像画像保持部６１から供給された撮像画像とに基づいてパノラマ画像を生成し、出力する。例えば、各撮像画像上の短冊領域が合成され、１つのパノラマ画像とされる。換言すれば、各撮像画像が接続位置で互いに接続され、パノラマ画像とされる。
【０２１５】
より詳細には、パノラマ合成部１３２は、撮像画像の短冊領域を合成するにあたり、短冊領域の端近傍の部分については、隣接する２つの撮像画像の短冊領域を重み付き加算することにより、パノラマ画像を生成する。
【０２１６】
例えば、図１９に示すように、連続するフレームの撮像画像の短冊領域は、その端部分が互いに重なりを持つように定められる。なお、図１９において横方向はスイープ軸方向を示しており、図１９においては３つの連続するフレームの撮像画像ＦＰ（ｔ−１）乃至撮像画像ＦＰ（ｔ＋１）が、ｘ方向（スイープ軸方向）に並べられている。
【０２１７】
図中、上側に示すように、撮像画像ＦＰ（ｔ−１）の短冊領域ＲＥ（ｔ−１）の図中、右端は、撮像画像ＦＰ（ｔ）との接続位置Ｓ（ｔ−１，ｔ）よりもやや右側に位置している。また、撮像画像ＦＰ（ｔ）の短冊領域ＲＥ（ｔ）の図中、左端も撮像画像ＦＰ（ｔ−１）との接続位置Ｓ（ｔ−１，ｔ）よりもやや左側に位置しており、短冊領域ＲＥ（ｔ−１）と短冊領域ＲＥ（ｔ）は、端近傍の領域が互いに重なっている。
【０２１８】
そして、短冊領域ＲＥ（ｔ−１）と短冊領域ＲＥ（ｔ）とが接続される場合には、スイープ軸方向における、短冊領域ＲＥ（ｔ）の左端の位置から、短冊領域ＲＥ（ｔ−１）の右端の位置までの範囲では、短冊領域ＲＥ（ｔ−１）と短冊領域ＲＥ（ｔ）の同じ位置の画素の画素値が重み付き加算される。
【０２１９】
同様に、短冊領域ＲＥ（ｔ）と短冊領域ＲＥ（ｔ＋１）とは、接続位置Ｓ（ｔ，ｔ＋１）近傍において互いに重なっており、短冊領域ＲＥ（ｔ）と短冊領域ＲＥ（ｔ＋１）の接続時においても、それらの重なる部分では、画素値の重み付き加算が行われる。
【０２２０】
短冊領域の重み付き加算では、図中、下側に示すように、スイープ軸方向の各位置によって重み付き加算の重みが変化する。図１９の下側において、折れ線ＯＭは、撮像画像ＦＰ（ｔ−１）（短冊領域ＲＥ（ｔ−１））の画素に乗算される重みの大きさを示している。
【０２２１】
すなわち、短冊領域ＲＥ（ｔ−１）における、図中、左端から、短冊領域ＲＥ（ｔ）の左端の位置までの重みの大きさは「１」とされている。これは、短冊領域ＲＥ（ｔ−１）における、短冊領域ＲＥ（ｔ−１）の左端から、短冊領域ＲＥ（ｔ）の左端の位置までの領域は、短冊領域ＲＥ（ｔ−１）がそのままパノラマ画像とされるからである。
【０２２２】
また、短冊領域ＲＥ（ｔ−１）における、短冊領域ＲＥ（ｔ）の左端から、短冊領域ＲＥ（ｔ−１）の右端の位置までの短冊領域ＲＥ（ｔ−１）の重みの大きさは、その位置が図中、右方向に行くにしたがって小さくなり、短冊領域ＲＥ（ｔ−１）の右端の位置では、重みの大きさは「０」となっている。
【０２２３】
短冊領域ＲＥ（ｔ−１）と短冊領域ＲＥ（ｔ）が重なる部分では、接続位置Ｓ（ｔ−１，ｔ）から、短冊領域ＲＥ（ｔ）の左端により近くなるにしたがって、短冊領域ＲＥ（ｔ−１）のパノラマ画像の生成に対する寄与率がより高くなる。逆に、接続位置Ｓ（ｔ−１，ｔ）から、短冊領域ＲＥ（ｔ−１）の右端により近くなるにしたがって、短冊領域ＲＥ（ｔ）のパノラマ画像の生成に対する寄与率がより高くなる。
【０２２４】
さらに、撮像画像ＦＰ（ｔ−１）における、図中、短冊領域ＲＥ（ｔ−１）の右端よりも右側の位置では、撮像画像は、パノラマ画像の生成には用いられないので、重みの大きさは「０」とされている。
【０２２５】
このように、短冊領域の端近傍については、２つの隣接する短冊領域を用いてパノラマ画像を生成し、その他の部分では１つの短冊領域をそのままパノラマ画像とすることで、撮像画像の重ね合わせによるパノラマ画像のぼけの発生を抑制することができる。
【０２２６】
また、短冊領域の端部分を、位置により合成比率を変化させて、つまり重みに傾斜をつけて重み付き加算することで、より高品質なパノラマ画像を得ることができる。すなわち、接続される２つの短冊領域の互いに重なる部分において、被写体の位置にずれがあったり、画素の色が異なったりする場合であっても、重み付き加算によりスムージング効果が得られる。これにより、被写体の一部が欠損したり、パノラマ画像に色のむらが生じたりすることを抑制することができ、より自然なパノラマ画像を得ることができる。
【０２２７】
パノラマ合成部１３２は、このようにして、撮像画像の短冊領域を接続し、１つのパノラマ画像を生成する。なお、トリミングが行われるようにし、接続された短冊領域からなる１つの画像の一部の領域がパノラマ画像とされてもよい。
【０２２８】
例えば、ユーザが撮像装置１１を手で持って、撮像装置１１をスイープさせながら撮像画像を撮像させると、スープ軸方向と異なる方向の動きの成分を０とすることは困難である。そのため、例えば図２０に示すように、連続して撮像された撮像画像上の短冊領域ＲＥ１１乃至短冊領域ＲＥ１７は、図中、上下方向にばらつくことがある。
【０２２９】
なお、図２０において、図中、横方向はスイープ軸方向（ｘ方向）を示しており、縦方向は、ｙ方向を示している。
【０２３０】
図２０の例では、スイープ軸は、各撮像画像の長手方向、つまりｘ方向と平行となっている。また、図２０では、短冊領域ＲＥ１１乃至短冊領域ＲＥ１７の図中、上下方向の位置、つまりスイープ軸と垂直な方向の位置が、撮像画像ごとに異なっている。
【０２３１】
そのため、各撮像画像の短冊領域を接続して得られる１つの画像は、矩形状とはならなくなる。そこで、パノラマ合成部１３２は、短冊領域ＲＥ１１乃至短冊領域ＲＥ１７を接続して得られる画像全体の領域に内接する、最も大きい矩形領域ＰＬ２１を切り出して、パノラマ画像とする。このとき、矩形領域ＰＬ２１の長辺は、スイープ軸と平行になるようにされる。このように、トリミングを行うことにより、見映えのよい矩形状のパノラマ画像を得ることができる。
【０２３２】
図１７のフローチャートの説明に戻り、パノラマ画像が生成されて出力されると、グローバル動きベクトル算出処理は終了する。
【０２３３】
以上のようにして、撮像装置１１は、撮像画像のグローバル動きベクトルを算出し、得られたグローバル動きベクトルを用いて撮像画像から短冊領域を切り出して、パノラマ画像を生成する。
【０２３４】
なお、パノラマ画像の生成は、全てのフレームの撮像画像のグローバル動きベクトルが算出されてから行なわれてもよいし、グローバル動きベクトルの算出と、パノラマ画像の生成とが並列に行なわれるようにしてもよい。
【０２３５】
〈第５の実施の形態〉
［画像処理回路の構成］
また、解像度変換を行なってグローバル動きベクトルを得る場合に限らず、射影領域ごとに局所特徴量が算出されてグローバル動きベクトルが算出される場合にも、得られたグローバル動きベクトルが用いられてパノラマ画像が生成されるようにしてもよい。
【０２３６】
そのような場合、図３の画像処理回路２６は、図２１に示すように構成される。なお、図２１において、図１１または図１６における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２３７】
図２１の画像処理回路２６は、撮像画像保持部６１、射影領域選択部１０１、局所特徴量算出部６３、積分射影部６４、グローバル動きベクトル算出部６５、サブサンプリング推定部６６、グローバル動きベクトル保持部６８、信頼度算出部６９、信頼度保持部７０、グローバル動きベクトル選択部７１、短冊領域算出部１３１、およびパノラマ合成部１３２から構成される。
【０２３８】
図２１の画像処理回路２６の構成は、新たに短冊領域算出部１３１、およびパノラマ合成部１３２が設けられた点で図１１の画像処理回路２６と異なり、その他の点では図１１の画像処理回路２６と同じ構成となっている。
【０２３９】
短冊領域算出部１３１は、グローバル動きベクトル選択部７１から供給された各撮像画像のグローバル動きベクトルに基づいて、撮像画像上の短冊領域を定め、各短冊領域の接続位置を示す情報をパノラマ合成部１３２に供給する。
【０２４０】
パノラマ合成部１３２は、短冊領域算出部１３１から供給された各短冊領域の接続位置を示す情報と、撮像画像保持部６１から供給された撮像画像とに基づいて、パノラマ画像を生成し、出力する。
【０２４１】
［グローバル動きベクトル算出処理の説明］
次に、図２２のフローチャートを参照して、撮像装置１１の画像処理回路２６が図２１に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップＳ１７１乃至ステップＳ１８０の処理は図１２のステップＳ５１乃至ステップＳ６０の処理と同様であるので、その説明は省略する。また、ステップＳ１８０において、全てのフレームについて処理が行われたと判定された場合、処理はステップＳ１８１に進む。
【０２４２】
ステップＳ１８１において、短冊領域算出部１３１は、グローバル動きベクトル選択部７１から供給された各撮像画像のグローバル動きベクトルに基づいて、撮像画像上の短冊領域を定めて、各短冊領域の接続位置を示す情報をパノラマ合成部１３２に供給する。そして、ステップＳ１８２において、パノラマ合成部１３２は、短冊領域算出部１３１から供給された各短冊領域の接続位置を示す情報と、撮像画像保持部６１から供給された撮像画像とに基づいて、パノラマ画像を生成し、出力する。
【０２４３】
なお、これらのステップＳ１８１およびステップＳ１８２の処理は、図１７のステップＳ１４２およびステップＳ１４３の処理と同様であるので、その説明は省略する。パノラマ画像が生成されて出力されると、その後、グローバル動きベクトル算出処理は終了する。
【０２４４】
以上のように、射影領域ごとにグローバル動きベクトルが算出される場合においても、最終的に得られたグローバル動きベクトルを用いて撮像画像を合成することで、より高速に、高品質なパノラマ画像を得ることができる。
【０２４５】
なお、図１３に示した画像処理回路２６におけるグローバル動きベクトル選択部７１の後段に、短冊領域算出部１３１およびパノラマ合成部１３２が設けられるようにし、グローバル動きベクトルが用いられて、パノラマ画像が生成されてもよい。
【０２４６】
〈第６の実施の形態〉
［画像処理回路の構成］
また、以上においては、算出されたグローバル動きベクトルがパノラマ画像の生成に用いられる場合について説明したが、算出されたグローバル動きベクトルが動画像の撮像時などの手振れ補正に用いられるようにしてもよい。
【０２４７】
そのような場合、図３の画像処理回路２６は、図２３に示すように構成される。なお、図２３において、図１１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。
【０２４８】
図２３の画像処理回路２６は、撮像画像保持部６１、射影領域選択部１０１、局所特徴量算出部６３、積分射影部６４、グローバル動きベクトル算出部６５、サブサンプリング推定部６６、グローバル動きベクトル保持部６８、信頼度算出部６９、信頼度保持部７０、グローバル動きベクトル選択部７１、および手振れ補正部１７１から構成される。
【０２４９】
図２３の画像処理回路２６の構成は、新たに手振れ補正部１７１が設けられた点で図１１の画像処理回路２６と異なり、その他の点では図１１の画像処理回路２６と同じ構成となっている。
【０２５０】
手振れ補正部１７１は、撮像画像保持部６１から供給された撮像画像と、グローバル動きベクトル選択部７１から供給されたグローバル動きベクトルとに基づいて撮像画像の手振れ補正を行い、その結果得られた撮像画像を出力する。
【０２５１】
［グローバル動きベクトル算出処理の説明］
次に、図２４のフローチャートを参照して、撮像装置１１の画像処理回路２６が図２３に示す構成とされる場合におけるグローバル動きベクトル算出処理について説明する。なお、ステップＳ２１１乃至ステップＳ２１９の処理は図１２のステップＳ５１乃至ステップＳ５９の処理と同様であるので、その説明は省略する。
【０２５２】
ステップＳ２２０において、手振れ補正部１７１は、撮像画像保持部６１から供給された撮像画像と、グローバル動きベクトル選択部７１から供給されたグローバル動きベクトルとに基づいて撮像画像の手振れ補正を行い、その結果得られた撮像画像を出力する。例えば、手振れ補正部１７１は、グローバル動きベクトルを用いて、手振れ成分がキャンセルされるように撮像画像を基準座標系に射影することで、撮像画像から手振れ成分を除去する。
【０２５３】
ステップＳ２２１において、画像処理回路２６は、全てのフレームの撮像画像について、処理を行なったか否かを判定する。例えば、全フレームの撮像画像の手振れ補正が行なわれた場合、全てのフレームについて処理を行なったと判定される。
【０２５４】
ステップＳ２２１において、まだ全てのフレームについて処理を行なっていないと判定された場合、処理はステップＳ２１２に戻り、上述した処理が繰り返される。これに対して、ステップＳ２２１において、全てのフレームについて処理を行なったと判定された場合、画像処理回路２６は各部の処理を停止させ、グローバル動きベクトル算出処理は終了する。
【０２５５】
このようにして、撮像装置１１は、撮像画像のグローバル動きベクトルを算出し、得られたグローバル動きベクトルを用いて撮像画像から手振れ成分を除去する。
【０２５６】
なお、図４に示した画像処理回路２６や、図１３に示した画像処理回路２６において、グローバル動きベクトル選択部７１の後段に手振れ補正部１７１が設けられ、撮像画像の手振れ補正が行なわれるようにしてもよい。
【０２５７】
以上のように、本技術を適用した撮像装置１１によれば、精度よく高速にグローバル動きベクトルを算出することができる。
【０２５８】
例えば、複数の撮像画像を合成してパノラマ画像を生成する場合、撮像画像のグローバル動きベクトルは、最終的なパノラマ画像の品質や計算コストに大きな影響を与える要素である。しかしながら、従来のグローバル動きベクトル算出方法では、低計算コストと高い算出精度とを両立させることができず、特に動被写体や視差などがある場合に、グローバル動きベクトルの算出精度が低下するというリスクがあった。
【０２５９】
これに対して、撮像装置１１によれば、複数の解像度の撮像画像、または撮像画像上の複数の射影領域から局所特徴量を抽出して射影することでグローバル動きベクトルが算出されるとともに、解像度または射影領域ごとにグローバル動きベクトルの信頼度が算出される。そして、最も信頼度の高いものが最終的なグローバル動きベクトルとして選択されるので、上述したグローバル動きベクトルの算出精度低下のリスクを軽減し、ロバスト性の高いグローバル動きベクトルを得ることができる。
【０２６０】
また、局所特徴量の射影によってマッチング処理時における特徴量の探索範囲の次元が削減され、低計算コストが実現される。具体的には、撮像装置１１では、特徴量の探索範囲の次元が２次元から、１次元×２方向に削減される。
【０２６１】
以上のことから、撮像装置１１によれば、低計算コストと高い算出精度とを両立させるグローバル動きベクトルの算出が可能である。また、このような技術を利用すれば、パーソナルコンピュータなどと比べて処理能力の低いデジタルカメラや携帯型端末機器などにおいても、例えば高速かつ高品質なパノラマ画像合成を行なうことができるようになる。さらに、その他、動画像の撮像時または再生時における手振れ補正などを行なうこともできる。
【０２６２】
なお、上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。
【０２６３】
図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。
【０２６４】
コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。
【０２６５】
バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。
【０２６６】
以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。
【０２６７】
コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。
【０２６８】
そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。
【０２６９】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【０２７０】
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【０２７１】
さらに、本技術は、以下の構成とすることも可能である。
【０２７２】
［１］
撮像画像の解像度を変換する解像度変換部と、
解像度変換後の前記撮像画像から特徴量を抽出する特徴量算出部と、
前記特徴量を所定方向の軸上に射影することで射影特徴ベクトルを算出する射影部と、
解像度変換後の前記撮像画像の前記射影特徴ベクトルと、解像度変換後の他の撮像画像の前記射影特徴ベクトルとのマッチングを行なうことで、グローバル動きベクトルを算出するグローバル動きベクトル算出部と、
前記射影特徴ベクトルに基づいて、前記グローバル動きベクトルの信頼度を算出する信頼度算出部と、
前記信頼度に基づいて、複数の異なる解像度の前記撮像画像について求められた前記グローバル動きベクトルの何れかを選択する選択部と
を備える画像処理装置。
［２］
解像度変換後の前記撮像画像上の所定の領域を射影領域として選択する射影領域選択部をさらに備え、
前記特徴量算出部は、前記射影領域から前記特徴量を抽出し、
前記選択部は、各解像度の前記撮像画像における複数の異なる前記射影領域ごとに求められた前記グローバル動きベクトルの何れかを選択する
［１］に記載の画像処理装置。
［３］
前記信頼度算出部は、前記射影特徴ベクトルのマッチング誤差の最も小さい極小値と２番目に小さい極小値との差分に基づいて、前記信頼度を算出する
［１］または［２］に記載の画像処理装置。
［４］
前記信頼度算出部は、前記射影特徴ベクトルのマッチング誤差の最大値と最小値の差に基づいて、前記信頼度を算出する
［１］または［２］に記載の画像処理装置。
［５］
前記信頼度算出部は、前記射影特徴ベクトルのマッチング誤差の最小値部分のピークの深さに基づいて、前記信頼度を算出する
［１］または［２］に記載の画像処理装置。
［６］
前記信頼度算出部は、前記射影特徴ベクトルのマッチング誤差の最小値部分のピーク先鋭度に基づいて、前記信頼度を算出する
［１］または［２］に記載の画像処理装置。
［７］
前記信頼度算出部は、前記射影特徴ベクトルのマッチング誤差の最小値と、予め定められた所定値との差分に基づいて、前記信頼度を算出する
［１］または［２］に記載の画像処理装置。
［８］
前記射影部は、互いに直交する２つの軸のそれぞれに前記特徴量を射影して、前記軸ごとに前記射影特徴ベクトルを算出する
［１］乃至［７］の何れかに記載の画像処理装置。
［９］
選択された前記グローバル動きベクトルに基づいて前記撮像画像を合成し、パノラマ画像を生成するパノラマ合成部をさらに備える
［１］乃至［８］の何れかに記載の画像処理装置。
［１０］
選択された前記グローバル動きベクトルに基づいて前記撮像画像に対する手振れ補正を行なう手振れ補正部をさらに備える
［１］乃至［８］の何れかに記載の画像処理装置。
【符号の説明】
【０２７３】
１１  撮像装置，  ２６  画像処理回路，  ６２  解像度変換部，  ６３  局所特徴量算出部，  ６４  積分射影部，  ６５  グローバル動きベクトル算出部，  ６９  信頼度算出部，  ７１  グローバル動きベクトル選択部，  １０１  射影領域選択部，  １３１  短冊領域算出部，  １３２  パノラマ合成部，  １７１  手振れ補正部
【図１】
2013020528.tif 000006
【図２】
2013020528.tif 000007
【図３】
2013020528.tif 000008
【図４】
2013020528.tif 000009
【図５】
2013020528.tif 000010
【図６】
2013020528.tif 000011
【図７】
2013020528.tif 000012
【図８】
2013020528.tif 000013
【図９】
2013020528.tif 000014
【図１０】
2013020528.tif 000015
【図１１】
2013020528.tif 000016
【図１２】
2013020528.tif 000017
【図１３】
2013020528.tif 000018
【図１４】
2013020528.tif 000019
【図１５】
2013020528.tif 000020
【図１６】
2013020528.tif 000021
【図１７】
2013020528.tif 000022
【図１８】
2013020528.tif 000023
【図１９】
2013020528.tif 000024
【図２０】
2013020528.tif 000025
【図２１】
2013020528.tif 000026
【図２２】
2013020528.tif 000027
【図２３】
2013020528.tif 000028
【図２４】
2013020528.tif 000029
【図２５】
2013020528.tif 000030