(57)【要約】【課題】連続して取得される２つの画像間の位置ズレを適切に補正する。【解決手段】本発明の画像処理装置は、第１画像及び第２画像を受け付ける画像受付部と、第１画像及び第２画像間の位置ズレ量を求める位置ズレ量算出部と、第１画像の特徴量を示す特徴量情報を取得する第１情報取得部と、第１画像と第２画像との差分、及び第１画像と位置ズレ量を用いた位置ズレ補正処理を施した第２画像との差分を示す差分情報を取得する第２情報取得部と、位置ズレ量、特徴量情報及び差分情報に基づいて、第２画像に対する位置ズレ補正処理に用いる補正量を求める補正量設定部と、を備えたことを特徴とする。【選択図】    図５
2015106807.tif 000002
【特許請求の範囲】
【請求項１】
第１画像及び第２画像を受け付ける画像受付部と、
前記第１画像及び前記第２画像間の位置ズレ量を求める位置ズレ量算出部と、
前記第１画像の特徴量を示す特徴量情報を取得する第１情報取得部と、
前記第１画像と前記第２画像との差分、及び前記第１画像と前記位置ズレ量を用いた位置ズレ補正処理を施した前記第２画像との差分を示す差分情報を取得する第２情報取得部と、
前記位置ズレ量、前記特徴量情報及び前記差分情報に基づいて、前記第２画像に対する位置ズレ補正処理に用いる補正量を求める補正量設定部と、
を備えたことを特徴とする画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記特徴量情報及び前記差分情報から、前記位置ズレ量算出部により求めた前記位置ズレ量に対する評価値を求める評価値算出部を備え、
前記補正量設定部は、前記評価値及び前記位置ズレ量を用いて前記補正量を求めることを特徴とする画像処理装置。
【請求項３】
請求項１又は請求項２に記載の画像処理装置において、
前記第１情報取得部は、前記第１画像の鮮鋭度を前記特徴量情報として取得することを特徴とする画像処理装置。
【請求項４】
請求項１から請求項３のいずれか１項に記載の画像処理装置において、
前記第２情報取得部は、前記第１画像に対する、前記位置ズレ量を用いた位置ズレ補正処理を施す前後の前記第２画像の差分の変動率を前記差分情報として取得することを特徴とする画像処理装置。
【請求項５】
請求項１から請求項４のいずれか１項に記載の画像処理装置において、
前記第１画像及び前記第２画像を用いた位置ズレ補正処理を実行するか否かを判定する判定部を、さらに備えていることを特徴とする画像処理装置。
【請求項６】
請求項５に記載の画像処理装置において、
前記判定部における判定結果の履歴を記憶する記憶部を備え、
前記補正量設定部は、前記位置ズレ量、前記画像情報及び前記差分情報の他に、前記判定部における判定結果の履歴を参照して、前記補正量を求めることを特徴とする画像処理装置。
【請求項７】
請求項６に記載の画像処理装置において、
前記記憶部は、前記位置ズレ量算出部により求めた位置ズレ量の履歴を記憶し、
前記補正量設定部は、前記位置ズレ量の履歴を参照して前記補正量を求めることを特徴とする画像処理装置。
【請求項８】
請求項１から請求項７のいずれか１項に記載の画像処理装置において、
前記位置ズレ量を用いた位置ズレ補正処理を、前記第２画像に対して行う第１の位置ズレ補正部を備えていることを特徴とする画像処理装置。
【請求項９】
請求項１から請求項８のいずれか１項に記載の画像処理装置において、
前記補正量設定部により求めた補正量を前記第２画像に付帯する情報付与部を備えていることを特徴とする画像処理装置。
【請求項１０】
請求項１から請求項８のいずれか１項に記載の画像処理装置において、
前記補正量設定部により求めた補正量を用いた位置ズレ補正処理を前記第２画像に対して実行する第２の位置ズレ補正部を備えていることを特徴とする画像処理装置。
【請求項１１】
複数の画像を取得することが可能な画像取得部と、
請求項１から請求項１０のいずれか１項に記載の画像処理装置と、を備えたことを特徴とする撮像装置。
【請求項１２】
第１画像及び第２画像を受け付ける画像受付工程と、
前記第１画像及び前記第２画像間の位置ズレ量を求める位置ズレ量算出工程と、
前記前記第１画像の特徴量を示す特徴量情報を取得する第１情報取得工程と、
前記第１画像と前記第２画像との差分、及び前記第１画像と前記位置ズレ量を用いた位置ズレ補正処理を施した前記第２画像との差分を示す差分情報を取得する第２情報取得工程と、
前記位置ズレ量、前記画像情報及び前記差分情報に基づき、前記第２画像に対する位置ズレ補正処理に用いる補正量を求める補正量設定工程と、
をコンピュータに実行させることが可能な、コンピュータにより読み取り可能な画像処理プログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置及び画像処理プログラムに関する。
【背景技術】
【０００２】
動画像などの連続して取得される画像間の位置ズレを検出する方法として、例えば連続する２つの画像の一方の画像から抽出される特徴点を用いて２つの画像間の位置ズレを検出する方法や、２つの画像のそれぞれから抽出される特徴点の対応関係から２つの画像間の位置ズレを検出する方法が挙げられる。また、動画撮影においては、ユーザによっては、デジタルカメラなどの撮像装置をパンさせる動作（左右に振る動作）や、チルトさせる動作（上下に振る動作）を行う場合もある。このような動作を行いながらの動画撮影で取得される動画像に対して位置ズレを検出する方法として、画像における特定の点が理想的に移動するときの座標と、実際に移動したときの座標とを用いて、位置ズレに対する補正値を算出することが考案される（特許文献１参照）。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２０１０−１０７９８号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上述した位置ズレに対する補正値を算出する方法であっても、風景などの動画像に代表されるように画像内のテクスチャがはっきりしない場合や、動画撮影中に撮像装置と被写体と間を撮影対象外のオブジェクトが横切る場合には、連続する画像間の位置ズレを正確に検出することができない。したがって、連続する画像間の位置ズレを適切に補正することができない。
【０００５】
本発明は、２つの画像間の位置ズレを適切に補正することができる画像処理装置、撮像装置及び画像プログラムを提供することを目的とする。
【課題を解決するための手段】
【０００６】
上述した課題を解決するために、本発明の画像処理装置は、第１画像及び第２画像を受け付ける画像受付部と、前記第１画像及び前記第２画像間の位置ズレ量を求める位置ズレ量算出部と、前記第１画像の特徴量を示す特徴量情報を取得する第１情報取得部と、前記第１画像と前記第２画像との差分、及び前記第１画像と前記位置ズレ量を用いた位置ズレ補正処理を施した前記第２画像との差分を示す差分情報を取得する第２情報取得部と、前記位置ズレ量、前記特徴量情報及び前記差分情報に基づいて、前記第２画像に対する位置ズレ補正処理に用いる補正量を求める補正量設定部と、を備えたことを特徴とする。
【０００７】
また、本発明の撮像装置は、複数の画像を取得することが可能な画像取得部と、上述した画像処理装置と、を備えたことを特徴とする。
【０００８】
また、本発明の画像処理プログラムは、第１画像及び第２画像を受け付ける画像受付工程と、前記第１画像及び前記第２画像間の位置ズレ量を求める位置ズレ量算出工程と、前記前記第１画像の特徴量を示す特徴量情報を取得する第１情報取得工程と、前記第１画像と前記第２画像との差分、及び前記第１画像と前記位置ズレ量を用いた位置ズレ補正処理を施した前記第２画像との差分を示す差分情報を取得する第２情報取得工程と、前記位置ズレ量、前記画像情報及び前記差分情報に基づき、前記第２画像に対する位置ズレ補正処理に用いる補正量を求める補正量設定工程と、をコンピュータに実行させることが可能な、コンピュータにより読み取り可能なものである。
【発明の効果】
【０００９】
本発明によれば、２つの画像間の位置ズレを適切に補正することができる。
【図面の簡単な説明】
【００１０】
【図１】撮像装置の構成を示す機能ブロック図である。
【図２】位置ズレ補正部の構成を示す機能ブロック図である。
【図３】位置ズレ量を算出する処理の流れを示すフローチャートである。
【図４】（ａ）は画像の一例を示す図、（ｂ）及び（ｃ）は、画像Ａ及び画像Ｂにおける（ａ）に示すＣ−Ｃ直線上の画素値の分布を示す図である。
【図５】位置ズレ補正処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１１】
以下、本発明の実施の形態について説明する。図１は、本実施形態の撮像装置の一例を示す機能ブロック図である。なお、撮像装置としては、デジタルカメラの他、例えばカメラ機能を備えた携帯電話機やタブレットＰＣなどの携帯型端末機器が挙げられる。
【００１２】
撮像装置１０は、撮像光学系１５、撮像素子１６、操作部材１７、レンズ駆動回路１８、撮像素子駆動回路１９、ＣＰＵ２０、Ａ／Ｄ変換器２１、画像処理回路２２、表示出力回路２３、液晶モニタ２４、圧縮伸長処理回路２５及び記憶媒体２６を備えている。
【００１３】
不図示の被写体の像は、撮像光学系１５によって、撮像素子１６の撮像面上に結像される。撮像光学系１５は複数枚のレンズで構成される。この撮像光学系１５は、操作部材１７の操作などに基づいて、レンズ駆動回路１８を介して、フォーカス、ズームなどの調整が可能な構成とされている。
【００１４】
撮像素子１６は、例えばＣＭＯＳイメージセンサが用いられる。このＣＭＯＳイメージセンサは、例えば赤（Ｒ）色、緑（Ｇ）色及び青（Ｂ）色のカラーフィルタを市松状に配置したベイヤー配列のカラーフィルタアレイを備えた単板式カラーセンサが用いられる。この撮像素子１６は、静止画像の単写撮像とともに、静止画像の連続撮像（連写）、及び動画像の撮像が可能な撮像素子である。この撮像素子１６は、被写体の測光データに基づいて、ＣＰＵ２０の制御のもとで、撮像素子駆動回路１９によって駆動される。撮像素子１６により読み出された画像信号は、Ａ／Ｄ変換器２１に入力される。
【００１５】
Ａ／Ｄ変換器２１は、撮像素子１６から読み出されたアナログの画像信号に対してＡ／Ｄ変換処理を施し、デジタルの画像信号に変換する。デジタルの画像信号は、画像処理回路２２に入力される。
【００１６】
画像処理回路２２は、入力された画像信号に対して、色補間処理、ホワイトバランス（ＷＢ）処理、マトリックス変換処理、γ変換処理、色相・彩度補正処理などの画像処理を施す。この画像処理により、画像データが生成される。また、この他に、画像処理回路２２は、生成された画像データに対して解像度（画素数）変換処理を施す。本実施形態の撮像装置１０は、動画撮影により得られた動画像を構成する複数のフレーム画像に対して、位置ズレを補正する、いわゆる位置ズレ補正機能を備えている。この位置ズレ補正機能を実行するために、画像処理回路２２は、位置ズレ補正部３０を備えている。なお、この位置ズレ補正部３０の機能については、後述する。
【００１７】
表示出力回路２３は、画像処理回路２２からの画像データに所定の信号処理を施し、液晶モニタ２４に出力する。表示出力回路２３は、必要に応じて、画像処理回路２２からの画像データに、撮影メニュー、カーソルなどのオーバーレイ画像データを重畳する処理を行う。これにより、液晶モニタ２４には、被写体画像にオーバーレイ画像が重畳されて表示される。
【００１８】
圧縮伸長処理回路２５は、画像データに対して圧縮処理を施す。そして、圧縮伸長処理回路２５は、圧縮処理を行った画像データ（符号化データ）を、記憶媒体２６に記憶する。また、圧縮伸長処理回路２５は、記憶媒体２６に記憶された画像データが読み出されたときに、読み出された画像データに対して復号化処理を施す。そして、圧縮伸長処理回路２５は、復号化処理が施された画像データを画像処理回路２２および表示出力回路２３を介して、液晶モニタ２４に供給する。なお、記憶媒体２６としては、不揮発性メモリを用いたメモリカードや、光学ディスク、磁気ディスクなどが挙げられる。なお、この記憶媒体２６は、撮像装置１０に着脱可能であってもよいし、撮像装置１０に内蔵されるものであってもよい。
【００１９】
ＣＰＵ２０は、操作部材１７の一部を構成するレリーズボタンの操作に基づいて、撮像画面上に設定された領域（ＡＦエリア）の画像信号を抽出し、該領域のコントラスト値（もしくは、該領域の高空間周波数成分量）を算出し、算出結果をもとに、撮像素子１６の撮像面上における被写体像のフォーカス状態を調整する、いわゆるコントラストＡＦ動作を行う。
【００２０】
また、ＣＰＵ２０は、撮像光学系１５を駆動し、順次得られる画像信号を画像内の被写体毎に解析し、領域内のコントラスト値が最大となった際のレンズ位置をもとに、被写体毎の撮影距離情報を取得する。
【００２１】
なお、自動合焦動作として、コントラストＡＦ動作を例に挙げているが、これに限定される必要はなく、周知の瞳分割方式の位相差ＡＦ動作を用いることも可能である。この場合にも、自動合焦点動作によって、各領域の撮影距離情報を得ることができる。
【００２２】
ＣＰＵ２０は、操作部材１７の一部を構成するズーム操作部材の操作に基づいて、レンズ駆動回路１８を介して撮像光学系１５を駆動し、撮像素子１６の撮像面上に結像される被写体像を拡大、又は縮小する、光学的なズーム動作を実行する。さらに、ＣＰＵ２０は、操作部材１７の一部を構成するズーム操作部材の操作に基づいて、撮像素子１６により得られる画像信号、又は記憶媒体２６に記憶される画像信号を、画像処理回路２２による解像度（画素数）変換処理によって拡大または縮小する電気的なズーム動作を制御する。
【００２３】
次に、画像処理回路２２に設けられる位置ズレ補正部３０について、図２を参照して説明する。図２に示すように、位置ズレ補正部３０は、エッジ抽出部３１、エラー判定部３２、位置ズレ量算出部３３、変動率算出部３４、評価値算出部３５、補正量設定部３６、位置合わせ部３７及び記憶部３８を備えている。
【００２４】
以下、動画像を構成するフレーム画像のうち、時間的に前後する２つのフレーム画像を用いて位置ズレ補正処理を実行する場合について説明する。この時間的に前後する２つのフレーム画像のうち、時間的に先（前）となるフレーム画像をｎ−１フレーム目のフレーム画像、時間的に後になるフレーム画像をｎフレーム目のフレーム画像と称する。なお、ｎは、２以上の整数である。
【００２５】
エッジ抽出部３１は、ｎ−１フレーム目のフレーム画像に対してエッジ抽出処理を行う。エッジ抽出部３１は、例えばＳｏｂｅｌフィルタなどを用いて、対象となる画素の水平走査方向のエッジ量Ｅｘ及び垂直走査方向のエッジ量Ｅｙを求める。これらエッジ量を求めた後、エッジ抽出部３１は、以下に示す（１）式を用いて、対象となる画素のエッジ量Ｅを求める。
【００２６】
【数１】
2015106807.tif 000003
【００２７】
エッジ抽出部３１は、（１）式を用いて、ｎ−１フレーム目のフレーム画像の全画素に対するエッジ量Ｅを求めた後、求めた全画素のエッジ量Ｅの総和（総エッジ量）を求める。
以下、総エッジ量をＥallと称する。
【００２８】
エラー判定部３２は、ｎ−１フレーム目のフレーム画像及びｎフレーム目のフレーム画像を参照して、位置ズレ補正処理を実行できるか否かを判定する処理である。例えば２つのフレーム画像の一方のフレーム画像が被写体を含む画像となり、他方のフレーム画像が撮像装置１０と被写体との間に入り込んだ他のオブジェクトが占める画像となる場合、位置ズレ補正処理により位置ズレ量を算出することができない。また、一方のフレーム画像が被写体を含む画像となり、他方のフレーム画像が暗黒、或いは白色などの単一色成分の画像となる場合も、位置ズレ補正処理により位置ズレ量を算出することができない。したがって、エラー判定部３２は、ｎ−１フレーム目のフレーム画像及びｎフレーム目のフレーム画像の画像構成から位置ズレ補正処理を行うことはできない場合に、エラーであると判定する。なお、上述した以外の場合、つまり、ｎ−１フレーム目のフレーム画像及びｎフレーム目のフレーム画像の画像構成から位置ズレ補正処理を行うことができる場合には、エラー判定部３２は、エラーでないと判定する。詳細には、上述したエラー判定処理は、２つのフレーム画像のそれぞれに対して被写体抽出処理や特徴量抽出処理を行い、これら処理により得られる値を比較することで実行される。
【００２９】
位置ズレ量算出部３３は、ｎ−１フレーム目のフレーム画像及びｎフレーム目のフレーム画像間の位置ズレ量を算出する。まず、位置ズレ量算出部３３は、連続する２つのフレーム画像間の位置ズレ量を求める際に使用する標本点を設定する。位置ズレ量算出部３３は、画像に含まれる複数の画素のうち、例えば所定ピッチ間隔で配置される、言い換えれば標本点として設定される画素間の距離が同一の間隔となる画素を、標本点として設定する。以下、標本点として設定される画素をサンプル画素と称する。
【００３０】
位置ズレ量算出部３３は、標本点として設定される複数のサンプル画素の画素値を用いて、ｎ−１フレーム目のフレーム画像及びｎフレーム目のフレーム画像間の位置ズレ量を算出する。この位置ズレ量の算出は、（２）式に示す６軸の幾何変換モデルを用いて実行される。なお、（２）式は、画像の座標（ｘ，ｙ）が６変数（ｐ０，ｐ１，ｐ２，ｐ３，ｐ４，ｐ５）の幾何変換モデルによる行列を用いて座標変換される形式で、画像の位置ズレ量を表現している。
【００３１】
【数２】
2015106807.tif 000004
【００３２】
ここで、ｐ０，ｐ１，ｐ２，ｐ３，ｐ４，ｐ５は変数である。これら変数ｐ０，ｐ１，ｐ２，ｐ３，ｐ４，ｐ５を変化させることで、座標変換される画像の変換量が変化する。そして、位置ズレ量算出部３３は、以下に示す（３）式を用いて、２つの画像間の位置ズレに対する評価値ΔＧを求める。
【００３３】
【数３】
2015106807.tif 000005
【００３４】
上記の（３）式における、Ａ（ｆ（ｘ、ｙ；ｐ））は、ｎ−１フレーム目のフレーム画像の座標（ｘ，ｙ）にあるサンプル画素の画素値を、上述した（２）式を用いて幾何変換した画素値を示す。また、Ｂ（ｘ，ｙ）は、ｎフレーム目のフレーム画像の座標（ｘ，ｙ）にあるサンプル画素の画素値である。したがって、上述した（３）式を用いることで、ｎ−１フレーム目のフレーム画像の座標（ｘ，ｙ）にあるサンプル画素を幾何変換したときの画素値と、ｎフレーム目のフレーム画像の座標（ｘ，ｙ）にあるサンプル画素の画素値との差分の二乗和により評価値ΔＧを求めている。この（３）式で求まる評価値ΔＧは、その値が小さいほど、画像間の合致度は高くなる。ここで、上述した（３）式の符号ｎは、サンプル画素の数を示す。また、（３）式中に示す符号ｐは、変数ｐ０，ｐ１，ｐ２，ｐ３，ｐ４，ｐ５をまとめて示すものである。
【００３５】
位置ズレ量算出部３３は、上述した変数ｐの値をΔｐずつ変化させながら、上述した評価値ΔＧを繰り返し算出する。位置ズレ量算出部３３は、例えば変数ｐを変化させた回数が予め設定された回数に到達する、或いは、変数ｐの変化量が予め設定された上限に到達するまで、評価値ΔＧを繰り返し算出する。この評価値ΔＧを繰り返し算出する過程で評価値ΔＧの最小値が算出された場合、位置ズレ量算出部３３は、上記条件が満足しなくとも、評価値ΔＧを算出する処理を終了する。
【００３６】
ここで、上述した変数ｐの値の変化量は、以下の処理にて求めることができる。例えば画像Ａと画像Ｂのズレ量が微小であると仮定すると、上述した（３）式は、（４）式に示すΔｐを最小化する形式に変形できる。
【００３７】
【数４】
2015106807.tif 000006
【００３８】
この（４）式をテイラー展開して整理すると、Δｐを求める式は、（５）式に示す行列演算に置換できる。これらの式の変形については、例えば論文“Lucas-Kanade 20 years On:A Unifying Framework: Part 1”Simon Baker and Ian Matthewsに記載がある。
【００３９】
【数５】
2015106807.tif 000007
【００４０】
ここで、ｄｘはｎフレーム目のフレーム画像のｘ方向の微分画像を示し、ｄｙはｎフレーム目のフレーム画像のｙ方向の微分画像を示す。また、ｎは、各画像におけるサンプル画素ｎの座標であることを示す。
【００４１】
位置ズレ量算出部３３は、（５）式を用いてΔｐの計算を行って、画像間の位置ズレ量に相当する変数ｐを求める。これにより、（２）式の変数ｐ０，ｐ１，ｐ２，ｐ３，ｐ４，ｐ５の各値が求められる。
【００４２】
上述した評価値ΔＧを算出する際に、位置ズレ量算出部３３は、設定される複数のサンプル画素のうち、以下に示すサンプル画素を、評価値ΔＧを算出する際に用いるサンプル画素から除外しながら、評価値ΔＧを算出する際に用いるサンプル画素を絞り込む処理を行う。位置ズレ量算出部３３は、例えば２〜３回連続して評価値ΔＧを算出する毎に、サンプル画素を絞り込む処理を実行する。
【００４３】
評価値ΔＧを算出する際に用いる複数のサンプル画素うち、除外されるサンプル画素としては、幾何変換されたｎ−１フレーム目のフレーム画像と、ｎフレーム目のフレーム画像との間の画素値の差分の絶対値Ｈ＝｜Ａ（ｆ（ｘ，ｙ；ｐ））−Ｂ（ｘ，ｙ）｜が０となる（言い換えれば、差分が存在しない）サンプル画素や、差分の絶対値Ｈが減少傾向にないサンプル画素が挙げられる。
【００４４】
変動率算出部３４は、ｎ−１フレーム目のフレーム画像に対する、算出した位置ズレ量を用いた位置合わせ処理を行う前後のｎフレーム目のフレーム画像の差分の変動率を求める。この変動率は以下の処理により求められる。まず、変動率算出部３４は、ｎ−１フレーム目のフレーム画像のサンプル座標（ｘ，ｙ）にある画素の画素値と、ｎフレーム目のフレーム画像の座標（ｘ，ｙ）にあるサンプル画素の画素値との差分ΔＦ１を、サンプル画素毎に求める。変動率算出部３４は、サンプル画素毎に求めた差分ΔＦ１を積算し、差分ΔＦ１の総和を求める。以下、差分ΔＦ１の総和をＴΔＦ１と称する。
【００４５】
次に、変動率算出部３４は、ｎ−１フレーム目のフレーム画像の座標（ｘ，ｙ）にあるサンプル画素の画素値と、上述した評価値ΔＧが最小となるときの位置ズレ量を用いて位置合わせ処理したｎフレーム目のフレーム画像の座標（ｘ，ｙ）にあるサンプル画素の画素値との差分ΔＦ２をサンプル画素毎に求める。そして、変動率算出部３４は、サンプル画素毎に求めた差分ΔＦ２を積算し、差分ΔＦ２の総和を求める。以下、差分ΔＦ２の総和をＴΔＦ２と称する。
【００４６】
変動率算出部３４は、差分ΔＦ２の総和ＴΔＦ２から差分ΔＦ１の総和ＴΔＦ１を減算する。この減算を行うことで、変動率算出部３４は、ｎ−１フレーム目のフレーム画像に対する、位置合わせ処理を行う前後のｎフレーム目のフレーム画像との差分の変動量ΔＴを算出する。そして、変動率算出部３４は、差分の変動量ΔＴと差分ΔＦ１の総和ＴΔＦ１とを用いて、差分の変動率ＲＴを求める。差分の変動率ＲＴを求めることで、ｎ−１フレーム目のフレーム画像に対する、位置合わせ処理が施されたｎフレーム目のフレーム画像の位置ズレが低減されているかを判断することができる。
【００４７】
なお、変動率算出部３４は、ｎ−１フレーム目のフレーム画像に対する、算出した位置ズレ量を用いた位置合わせ処理を行う前後のｎフレーム目のフレーム画像の差分の変動率を、位置ズレ量算出部３３にて用いたサンプル画素を利用して求めているが、これに限定される必要はなく、フレーム画像の全画素を用いて算出してもよい。
【００４８】
評価値算出部３５は、まず、エッジ抽出部３１により求めた総エッジ量Ｅall、及び変動率算出部３４により求めた差分の変動率ＲＴを、位置ズレ量算出部３３により求めた位置ズレ量の信頼性を示す評価値（信頼度）を求める際に使用する指標に変換する。
【００４９】
総エッジ量Ｅallに関する指標は、％表示で表現すると、例えば総エッジ量Ｅallが予め設定された閾値Ｔｈ１以下となる場合に０とし、閾値Ｔｈ１を超過した場合に１００とする。なお、予め設定された閾値Ｔｈ１は、統計や評価から得られる値である。差分の変動率ＲＴに関する指標は、％表示で表現すると、差分の変動率ＲＴが予め設定された閾値Ｔｈ２以下となる場合に１００とし、閾値Ｔｈ２を超過した場合に０とする。なお、予め設定された閾値Ｔｈ２は、統計や評価から得られる値である。
【００５０】
評価値算出部３５は、上述した総エッジ量Ｅallに関する指標及び差分の変動率ＲＴに関する指標をそれぞれ加重平均することで、上述した信頼度を求める。ここで、総エッジ量Ｅallに関する指標を符号Ｉｅ、差分の変動率ＲＴに関する指標を符号Ｉｖで示すと、信頼度Ｒｅは、以下の（６）式で求められる。
【００５１】
信頼度Ｒｅ＝（α×Ｉｅ＋β×Ｉｖ）／（α＋β）・・・（６）
ここで、係数α及び係数βは、動画撮影時のシーンなどに基づいて設定される値であり、係数α及び係数βは、α＋β＝１となるように設定される。これら係数α及び係数βの設定において、例えば空や風景の動画撮影を行う場合には、各フレーム画像から取得される総エッジ量Ｅallは低い。したがって、このような場合には、係数αの値は低く設定される。一方、人物や動物などの動画撮影を行う場合には、フレーム画像から取得される総エッジ量Ｅallは高くなる。したがって、このような場合には、係数αの値は高く設定される。
【００５２】
補正量設定部３６は、評価値算出部３５によって求められた信頼度Ｒｅ、位置ズレ量算出部３３により求めた位置ズレ量、及び過去に実行された位置ズレ補正処理の履歴に基づいて、位置合わせ部３７にて実行される位置合わせ処理にて用いる補正量を設定する。ここで、過去に実行された位置ズレ補正処理の履歴を示す情報は、記憶部３８に記憶される。
【００５３】
補正量設定部３６は、記憶部３８に記憶された位置ズレ補正処理の履歴を示す情報を参照し、直前の複数回の位置ズレ補正処理の履歴を参照する。例えば複数回の位置ズレ補正処理のうち、位置ズレ補正処理を実行している回数が閾値Ｔｈ３以上であると判定される場合、補正量設定部３６は、評価値算出部３５により求めた信頼度Ｒｅに基づき、補正量を設定する。なお、複数回の位置ズレ補正処理のうち、位置ズレ補正処理を実行している回数が閾値Ｔｈ３未満であると判定される場合、補正量設定部３６は、補正量を０にする。
【００５４】
なお、動画撮影を開始した直後においては、記憶部２８に記憶される位置ズレ補正処理の履歴はごくわずかであることから、動画撮影を開始してから所定時間経過した後、又は位置ズレ補正処理の回数が予め設定された回数を超過したときに、位置ズレ補正処理の履歴を参照することも可能である。この場合、動画撮影を開始してから所定時間経過するまで、又は位置ズレ補正処理の回数が予め設定された回数以下となる場合には、補正量設定部３６は、上述した判定を省略し、以下の処理を行うようにする。
【００５５】
補正量設定部３６は、求めた信頼度Ｒｅが閾値Ｔｈ４と比較する。例えば求めた信頼度Ｒｅが閾値Ｔｈ４以上であれば、補正量設定部３６は、位置ズレ量算出部３３にて求めた位置ズレ量を補正量として設定する。また、信頼度Ｒｅが閾値Ｔｈ４未満であれば、補正量設定部３６は、位置ズレ量算出部３３にて求めた位置ズレ量を用いず、補正量を０に設定する。
【００５６】
位置合わせ部３７は、位置ズレ量算出部３３により求めた補正量を用いて、ｎフレーム目のフレーム画像に対する位置合わせ処理を行う。また、補正量設定部３６により設定された補正量を用いてｎフレーム目のフレーム画像に対する位置合わせ処理を行う。
【００５７】
記憶部３８は、過去に実行されたエラー判定部３２におけるエラー判定処理の結果の履歴及び位置ズレ量算出部３３における位置ズレ量の履歴が記憶される。
【００５８】
次に、位置ズレ量ｐを算出する処理の流れについて図３のフローチャートを用いて説明する。なお、図３のフローチャートにおいては、ｎ−１フレーム目のフレーム画像を画像Ａ、ｎフレーム目のフレーム画像を画像Ｂと称している。
【００５９】
ステップＳ１０１は、標本点を設定する処理である。位置ズレ量算出部３３は、画像Ａ及び画像Ｂに対して、後述する位置合わせ処理に用いる標本点を設定する。
【００６０】
ステップＳ１０２は、画像Ａに対する幾何変換処理である。位置ズレ量算出部３３は、画像Ａに対して、上述した（２）式を用いた幾何変換処理を実行する。これにより、画像Ａ’が生成される。なお、このステップＳ１０２の期間変換処理を行う際の変数ｐは０に設定される。
【００６１】
ステップＳ１０３は、幾何変換処理を施した画像Ａ’と画像Ｂとの差分を算出する処理である。位置ズレ量算出部３３は、ステップＳ１０１において設定されたサンプル画素毎に、幾何変換処理を施した画像Ａ’と画像Ｂとの差分を算出する。
【００６２】
ステップＳ１０４は、評価値ΔＧを算出する処理である。位置ズレ量算出部３３は、上述した（３）式を用いて評価値ΔＧを算出する。
【００６３】
ステップＳ１０５は、終了条件を満足しているか否かを判定する処理である。例えば、変数ｐを変化させた回数が予め設定された回数に到達した場合、又は、変数ｐの変化量が予め設定された上限に到達した場合のいずれか一方を満足した場合に、位置ズレ量算出部３３は、終了条件を満足していると判定する。この場合、位置ズレ量算出部３３は、ステップＳ１０５の判定処理の結果をＹｅｓとする。この場合、図３に示すフローチャートの処理が終了する。一方、上述した２つの条件をそれぞれ満足していない場合、位置ズレ量算出部３３は、終了条件を満足していないと判定する。この場合、ステップＳ１０５の判定処理の結果がＮｏとなる。この場合、ステップＳ１０７に進む。
【００６４】
また、繰り返し実行される各演算処理において算出される評価値ΔＧの値から、評価値ΔＧの最小値が求められる場合も、位置ズレ量算出部３３は、終了条件を満足していると判定する。したがって、評価値ΔＧの最小値が求められた場合も、位置ズレ量算出部３３は、ステップＳ１０５の判定処理の結果をＹｅｓとする。つまり、このステップＳ１０５の判定処理の結果がＹｅｓとなることで、画像Ａ及び画像Ｂ間の位置ズレ量ΔＧが求められる。
【００６５】
ステップＳ１０７は、演算回数が２ｍ（ｍ：１以上の整数）であるか否かを判定する処理である。例えば演算処理の回数が２の倍数となる場合には、位置ズレ量算出部３３は、ステップＳ１０７の判定処理の結果をＹｅｓとする。この場合、ステップＳ１０８に進む。
一方、例えば演算処理の回数が２の倍数でない場合には、位置ズレ量算出部３３は、ステップＳ１０７の判定処理の結果をＮｏとする。この場合、ステップＳ１１０に進む。なお、ステップＳ１０７における判定処理において、演算回数が２ｍとなるか否かを判定しているが、演算回数が２の倍数になる場合に限定される必要はなく、３以上の倍数となる場合であってもよい。
【００６６】
ステップ１０８は、除外する標本点があるか否かを判定する処理である。このステップＳ１０８の処理は、演算処理の回数が２ｍとなる場合に実行される。位置ズレ量算出部３３は、２ｍ−１回目の演算処理及び２ｍ回目の演算処理にて求めたサンプル画素毎のＡ（ｆ（ｘ，ｙ；ｐ））−Ｂ（ｘ，ｙ）の値から、幾何変換された画像Ａ’と画像Ｂとの間の画素値の差分の絶対値Ｆ＝｜Ａ（ｆ（ｘ，ｙ；ｐ））−Ｂ（ｘ，ｙ）｜を求める。そして、求めた差分の絶対値Ｆが変化しないサンプル画素や、差分の絶対値Ｆが減少傾向にないサンプル画素があれば、これらサンプル画素を標本点から除外すると判断する。
【００６７】
図４（ａ）に示すように、画像のＣ−Ｃ直線上に位置する画素の画素値の分布を考える。ここで、図４（ｂ）及び図４（ｃ）は、連続撮影により得られる画像のＣ−Ｃ直線上に位置する画素の画素値の分布を示す。なお、図４（ｂ）及び図４（ｃ）において、実線で示す画素値の分布が画像Ａ、点線で示す画素値の分布が画像Ｂを示す。
【００６８】
図４（ｂ）に示すように、例えば晴天の空を連続撮影した画像の場合、平坦な画像構造が含まれる。なお、図４（ｂ）においては、符号Ｓ１で示す範囲が平坦な画像構造の範囲となる。この場合、符号Ｓ１の範囲に位置するサンプル画素は、画像Ａと画像Ｂとの間の差分は発生しない（差分の絶対値Ｆ＝０）。つまり、この符号Ｓ１の範囲に含まれるサンプル画素を除外しても評価値ΔＧには影響しない。この場合、符号Ｓ１の範囲に位置するサンプル画素は、次に評価値ΔＧを算出する際に用いるサンプル画素から除外される。
【００６９】
また、連続撮影を行ったときに動体が含まれる場合を考慮する。ここでは、図４（ｃ）に示すＳ２の範囲が動体が位置するものと考える。動体上に位置するサンプル画素における差分の絶対値Ｆの値は、他の領域の差分値よりも大きくなり、また絶対値Ｆの変化量が減少傾向にない。つまり、画像Ａ及び画像Ｂの各画像の動体上に位置するサンプル画素の差分の絶対値Ｆは、評価値ΔＧに対する影響が大きくなる。その結果、画像Ａ及び画像Ｂ間の位置ズレ量を適切に求めることができなくなる。したがって、図４（ｃ）の場合、符号Ｓ２の範囲に位置するサンプル画素は、次に評価値ΔＧを算出する際に用いるサンプル画素から除外される。このように、差分の絶対値Ｆが減少傾向にないサンプル画素は、評価値ΔＧを求める際に用いる評価点から除外される。
【００７０】
したがって、除外する標本点があると判断された場合、位置ズレ量算出部３３は、ステップＳ１０８の判定処理の結果をＹｅｓとする。この場合、ステップＳ１０９に進む。一方、除外する標本点がないと判断された場合、位置ズレ量算出部３３は、ステップＳ１０８の判定処理の結果をＮｏとする。この場合、ステップＳ１１０に進む。
【００７１】
ステップＳ１０９は、標本点を絞り込む処理である。位置ズレ量算出部３３は、標本点として設定された複数のサンプル画素のうち、求めた差分の絶対値Ｇが変化しないサンプル画素や、差分の絶対値Ｇが減少傾向にないサンプル画素を、次の演算処理の際に用いる標本点から除外する。このステップＳ１０９の処理を行うことで、次の演算処理の際に用いる標本点として設定されたサンプル画素が絞り込まれる。
【００７２】
なお、以下に示すステップＳ１１０からステップＳ１１２の処理が２回目以降の演算処理となる。なお、図３中においては、ｒ（ｒ≧２）回目の演算処理と称している。
【００７３】
ステップＳ１１０は、Δｐ変動させたパラメータｐ’を用いた画像Ａに対する幾何変換処理である。位置ズレ量算出部３３は、Δｐ変動させたパラメータｐ’を用いて、画像Ａに対する幾何変換処理を実行する。なお、この幾何変換処理は、上述した（２）式を用いて実行される。これにより、画像Ａ”が生成される。
【００７４】
ステップＳ１１１は、幾何変換処理した画像Ａ”と画像Ｂとの差分を算出する処理である。このステップＳ１１１の処理は、ステップＳ１０３の処理と同一の処理である。なお、このステップＳ１１１においては、絞り込まれた標本点を用いて実行される。
【００７５】
ステップＳ１１２は、評価値ΔＧを算出する処理である。なお、このステップＳ１１２の処理は、ステップＳ１０４と同一の処理である。このステップＳ１１２の処理も、ステップＳ１１１と同様にして、絞り込まれた標本点を用いて実行される。このステップＳ１１２の処理が実行されると、２回目の演算処理が終了し、ステップＳ１０５に戻る。
【００７６】
そして、ステップＳ１０５における判定処理が実行されたときに、ステップＳ１０５の判定処理の結果がＮｏとなる場合には、位置ズレ量算出部３３は、必要に応じて標本点を絞り込む処理を実行した後、３回目の演算処理を実行する。つまり、位置ズレ量算出部３３は、ステップＳ１０５の判定処理の結果がＹｅｓとなるまで、位置ズレ量算出部３３は、位置ズレ補正量に係る演算処理を繰り返し実行する。
【００７７】
ここで、図３に示すフローチャートにおいては、ステップＳ１０８及びＳ１０９の処理を行うことで、標本点に設定されるサンプル画素を絞り込む処理を行っているが、これに限定される必要はなく、これらステップＳ１０８及びステップＳ１０９に示している標本点を絞り込む処理は、必ずしも行う必要はない。
【００７８】
次に、位置ズレ補正処理における流れを図５のフローチャートに基づいて説明する。動画撮影が開始されると、撮像処理により撮像素子１６から所定間隔を空けて画像信号が出力される。この画像信号は、Ａ／Ｄ変換器２１に入力される。Ａ／Ｄ変換器２１は、入力されるアナログの画像信号をデジタルの画像信号に変換する。この変換された画像信号は、画像処理回路２２に入力される。画像処理回路２２は、入力される画像信号に色補間処理、ホワイトバランス（ＷＢ）処理、マトリックス変換処理、γ変換処理、色相・彩度補正処理などの画像処理を施す。これにより、動画像を構成するフレーム画像が所定間隔を空けて取得される。したがって、図５のフローチャートは、連続する２つのフレーム画像が取得されることで開始される。
【００７９】
ステップＳ２０１は、ｎ−１フレーム目のフレーム画像を入力する処理である。位置ズレ補正部３０は、上述した撮像処理により取得されるフレーム画像のうち、ｎ−１フレーム目のフレーム画像を受け付ける。
【００８０】
ステップＳ２０２は、エッジ量を抽出する処理である。位置ズレ補正部３０は、受け付けたｎ−１フレーム目のフレーム画像に対して、上述した（１）式を用いて、各画素のエッジ量Ｅを算出する。そして位置ズレ補正部３０は、各画素のエッジ量Ｅを加算し、総エッジ量Ｅallを求める。
【００８１】
ステップＳ２０３は、ｎフレーム目のフレーム画像を入力する処理である。位置ズレ補正部３０は、上述した撮像処理により取得されるフレーム画像のうち、ｎフレーム目のフレーム画像を受け付ける。
【００８２】
ステップＳ２０４は、エラーでないか否かを判定する（エラー判定する）処理である。ここでは、位置ズレ補正部３０は、入力されるｎ−１フレーム目のフレーム画像とｎフレーム目のフレーム画像とを用いて、位置ズレ補正処理が実行できるか否かを判定することで、エラー判定を行う。位置ズレ補正部３０は、入力されるｎ−１フレーム目のフレーム画像とｎフレーム目のフレーム画像とを用いて位置ズレ補正処理が実行できると判定した場合、エラーでないと判定する。したがって、位置ズレ補正部３０は、ステップＳ２０４の判定処理の結果をＹｅｓとする。この場合、ステップＳ２０５に進む。また、位置ズレ補正部３０は、入力されるｎ−１フレーム目のフレーム画像とｎフレーム目のフレーム画像とを用いて位置ズレ補正処理が実行できないと判定した場合、エラーであると判定する。この場合、位置ズレ補正部３０は、ステップＳ２０４の判定処理の結果をＮｏとする。この場合、ステップＳ２１０に進む。このとき、位置ズレ補正部３０は、ｎ−１フレーム目のフレーム画像とｎフレーム目のフレーム画像との間で位置ズレ補正処理を実行していないことを示す情報（エラー情報）を記憶部３８に書き込む。
【００８３】
ステップＳ２０５は、位置ズレ量ｐを算出する処理である。位置ズレ補正部３０は、ｎ−１フレーム目のフレーム画像及びｎフレーム目のフレーム画像間の位置ズレ量ｐを、図３に示すフローチャートの処理にしたがって算出する。位置ズレ補正部３０は、ｎ−１フレーム目のフレーム画像及びｎフレーム目のフレーム画像間の位置ズレ量ｐの情報を記憶部３８に書き込む。
【００８４】
ステップＳ２０６は、変動率を算出する処理である。位置ズレ補正部３０は、ｎ−１フレーム目のフレーム画像と、ｎフレーム目のフレーム画像との差分ΔＦ１を画素毎に求める。そして、位置ズレ補正部３０は、差分ΔＦ１の総和ＴΔＦ１を求める。
【００８５】
また、位置ズレ補正部３０は、ステップＳ２０５にて求めた位置ズレ量ｐを用いて、ｎフレーム目のフレーム画像に対する位置合わせ処理を行う。そして、位置ズレ補正部３０は、ｎ−１フレーム目のフレーム画像と、位置合わせ処理を行ったｎフレーム目のフレーム画像との差分ΔＦ２を画素毎に求める。そして、位置ズレ補正部３０は、差分ΔＦ２の総和ＴΔＦ２を求める。位置ズレ補正部３０は、差分ΔＦ２の総和ＴΔＦ２から差分ΔＦ１の総和ＴΔＦ１を減算し、位置合わせ処理を行う前後のｎ−１フレーム目のフレーム画像とｎフレーム目のフレーム画像との差分の変動量ΔＴを算出する。そして、位置ズレ補正部３０は、差分の変動量ΔＴと、差分ΔＦ１の総和ＴΔＦ１とを用いて、差分の変動率ＲＴを求める。
【００８６】
ステップＳ２０７は、信頼度Ｒｅを算出する処理である。位置ズレ補正部３０は、ステップＳ２０２で求めた総エッジ量Ｅall、及びステップＳ２０６にて求めた差分の変動率ＲＴを用いて、総エッジ量Ｅallに関する指標Ｉｅ及び差分の変動率ＲＴに関する指標Ｉｖを求める。これら指標を求めた後、位置ズレ補正部３０は、上述した（６）式を用いて、信頼度Ｒｅを求める。
【００８７】
ステップＳ２０８は、補正量を算出する処理である。位置ズレ補正部３０は、記憶された位置ズレ補正処理の履歴を示す情報から、位置合わせ処理を実行している回数が閾値Ｔｈ３以上であるか否かを判定する。位置合わせ処理を実行している回数が閾値Ｔｈ３以上となる場合、位置ズレ補正部３０は、ステップＳ２０７にて求めた信頼度Ｒｅが閾値Ｔｈ４以上であるか否かを判定する。ステップＳ２０７にて求めた信頼度Ｒｅが閾値Ｔｈ４以上であれば、位置ズレ補正部３０は、ステップＳ２０５にて求めた位置ズレ量を用いて、ｎフレーム目のフレーム画像に対する補正量を求める。また、ステップＳ２０７にて求めた信頼度Ｒｅが閾値Ｔｈ４未満であれば、位置ズレ補正部３０は、ステップＳ２０５にて求めた位置ズレ量を用いず、補正量を０に設定する。
【００８８】
さらに、過去に実行された複数回の位置ズレ補正処理のうち、位置ズレ補正処理を実行している回数が閾値Ｔｈ３未満であると判定される場合、位置ズレ補正部３０は、補正量を０に設定する。
【００８９】
ステップＳ２０９は、位置合わせ処理である。位置ズレ補正部３０は、ステップＳ２０８により求めた補正量を用いて、ｎフレーム目のフレーム画像に対して位置合わせ処理を実行する。
【００９０】
ステップＳ２１０は、未処理のフレーム画像がないか否かを判定する処理である。位置ズレ補正処理を行っていないフレーム画像がない場合、位置ズレ補正部３０は、ステップＳ２１０の判定処理の結果をＹｅｓとする。したがって、この場合、図５のフローチャートの処理が終了する。一方、位置ズレ補正処理を行っていないフレーム画像があれば、位置ズレ補正部３０は、ステップＳ２１０の判定処理の結果をＮｏとする。この場合、ステップＳ２０１に戻る。したがって、この場合には、未処理のフレーム画像を対象とした位置ズレ補正処理が実行される。
【００９１】
このように、本実施形態では、ｎ−１フレーム目のフレーム画像の総エッジ量Ｅallに関する指標Ｉｅや、ｎフレーム目のフレーム画像とｎ−１フレーム目のフレーム画像との間の位置合わせ処理を施す前後に生じる差分の変動率ＲＴに関する指標Ｉｖから、ｎフレーム目のフレーム画像とｎ−１フレーム目のフレーム画像との位置ズレ量に対する信頼性の評価値である信頼度Ｒｅを求めている。
【００９２】
例えば、風景モードでの動画撮影を行う場合には、ｎ−１フレーム目のフレーム画像から求まる総エッジ量Ｅallが低くなりやすい。また、ｎフレーム目のフレーム画像とｎ−１フレーム目のフレーム画像との間の位置合わせ処理を施す前後に生じる差分の変動率ＲＴも低い。したがって、総エッジ量Ｅallに関する指標Ｉｅは０、差分の変動率ＲＴに関する指標Ｉｖは１００となる。ここで、風景モードでの動画撮影であれば、位置ズレ補正部３０は、係数αの値を低く設定する。したがって、風景の動画撮影では、位置ズレ量に関する指標Ｉｅの重みは小さく、差分の変動率ＲＴに関する指標Ｉｖの重みは大きい。その結果、位置ズレ量に対する信頼度Ｒｅは１００となりやすい。ここで、求めた信頼度Ｒｅが閾値Ｔｈ４以上であれば、位置ズレ補正部３０は、求めた位置ズレ量ｐを補正量とした位置合わせ処理をｎフレーム目のフレーム画像に対して実行する。
【００９３】
また、撮像装置１０を固定して人物の動画撮影を行う場合、ｎ−１フレーム目のフレーム画像から求まる総エッジ量Ｅallが高くなりやすい。また、ｎフレーム目のフレーム画像とｎ−１フレーム目のフレーム画像との間の位置合わせ処理を施す前後に生じる差分の変動率ＲＴは小さく、動画撮影時に生じる手振れに起因するものと判断できる。したがって、総エッジ量Ｅallに関する指標Ｉｅは１００、差分の変動率ＲＴに関する指標Ｉｖは１００となる。人物の動画撮影においては、位置ズレ補正部３０は、係数αの値を高く設定する。このような人物の動画撮影では、位置ズレ量に関する指標Ｉｅの重みは大きく、差分の変動率ＲＴに関する指標Ｉｖの重みは小さくなる。その結果、位置ズレ量に対する信頼度Ｒｅは１００となる。ここで、求めた信頼度Ｒｅが閾値Ｔｈ４以上であれば、位置ズレ補正部３０は、求めた位置ズレ量ｐを補正量として設定する。そして、位置ズレ補正部３０は、求めた位置ズレ量ｐを補正量とした位置合わせ処理をｎフレーム目のフレーム画像に対して実行する。
【００９４】
一方、撮像装置１０をパンする動作やチルトする動作を行いながらの動画撮影では、撮像装置１０を固定した場合と同様にして、ｎ−１フレーム目のフレーム画像から求まる総エッジ量Ｅallが高くなりやすい。この場合、差分の変動率ＲＴは、手振れの他、上述したパンする動作やチルトする動作に起因する変動分も加わるので、差分の変動率ＲＴは大きい。したがって、総エッジ量Ｅallに関する指標Ｉｅは１００、差分の変動率ＲＴに関する指標Ｉｖは０となる。上述したように、人物の動画撮影においては、位置ズレ補正部３０は、係数αの値を高く設定する。その結果、信頼度Ｒｅは総エッジ量Ｅallに関する指標Ｉｅに依存した値となる。したがって、求めた信頼度Ｒｅは閾値Ｔｈ４以下となるので、位置ズレ補正部３０は、求めた位置ズレ量ｐを補正量とした位置合わせ処理を行わずに、補正量を０とする。つまり、補正量０の場合には、位置ズレ補正部３０は、ｎフレーム目のフレーム画像に対して位置合わせ処理を行わない。
【００９５】
このように、連続する２つのフレーム画像（ｎ−１フレーム目のフレーム画像及びｎフレーム目のフレーム画像）から求まる指標に基づいて、時間的に後になるフレーム画像に対する位置ズレ補正処理を適切に実行することが可能となる。
【００９６】
本実施形態において、評価値算出部３５は、総エッジ量Ｅallが予め設定された閾値Ｔｈ１を超過するか否かによって、総エッジ量Ｅallに関する指標Ｉｅを０又は１００のいずれかの値に設定している。しかしながら、総エッジ量Ｅallの範囲を複数設け、これら複数の範囲のそれぞれに異なる指標の値を対応付けておくことも可能である。また、差分の変動率ＲＴに関する指標Ｉｖに対しても同様であり、差分の変動率ＲＴを複数設け、これら複数の範囲のそれぞれに異なる指標の値を対応付けておくことも可能である。
【００９７】
ここで、総エッジ量Ｅallに関する指標Ｉｅや、差分の変動率ＲＴに関する指標Ｉｖの値が０、１００以外の値となる場合には、信頼度Ｒｅは０又は１００以外の値となる場合が多い。したがって、このような場合には、本実施形態に示すように、求めた信頼度Ｒｅが閾値Ｔｈ４以上であるか否かによって補正量を設定することも可能であるが、位置ズレ量算出部３３によって算出される位置ズレ量ｐを信頼度Ｒｅに応じて調整することも可能である。
【００９８】
本実施形態では、信頼度Ｒｅが０になる場合には、位置合わせ処理に用いる補正量を０としているが、これに限定される必要はなく、例えば過去に算出された位置ズレ量の履歴の平均値を補正量として設定してもよい。つまり、信頼度Ｒｅが０となる場合、位置ズレ量算出部３３によって位置ズレ量ｐが算出されているにも関わらず、位置合わせ処理時に用いる補正量は０に設定されてしまう。この場合、動画像によっては、２つのフレーム画像間の位置ズレが補正されずに残留してしまう恐れがある。したがって、信頼度Ｒｅが０になる場合には、補正量設定部３６は、例えば過去に算出された位置ズレ量の履歴の平均値を補正量として設定する。これにより、２つのフレーム画像間の位置ズレの度合いを抑制することができる。
【００９９】
本実施形態では、評価値算出部３５は、総エッジ量Ｅall及び差分の変動率ＲＴを参照して信頼度Ｒｅを求めているが、総エッジ量Ｅall及び差分の変動率ＲＴの他に、記憶部３８に記憶される位置ズレ量の履歴を参照して信頼度Ｒｅを求めることも可能である。つまり、評価値算出部３５は、位置ズレ量の履歴を参照し、新たに算出された位置ズレ量と比較する。新たに算出された位置ズレ量が位置ズレ量の履歴よりも突出して大きい又は小さい場合、評価値算出部３５は、信頼度Ｒｅを下げるように調整し、新たに算出された位置ズレ量が位置ズレ量の履歴から得られる範囲内に収まっている場合には信頼度Ｒｅを上げるように、求めた信頼度Ｒｅを調整する。このような位置ズレ量の履歴を参照することで、撮像装置１０における動作を推定することができる。
【０１００】
本実施形態では、位置ズレ算出部３３によって算出した位置ズレ量ｐと信頼度Ｒｅとに基づいて補正量を設定し、ｎフレーム目のフレーム画像に対する位置合わせ処理を実行しているが、これに限定される必要はなく、設定された補正量の情報を、ｎフレーム目のフレーム画像に付帯させることも可能である。また、この他に、求めた補正量とフレーム画像のフレーム数とを対応付けたテーブルデータを作成し、作成したテーブルデータを動画像に付帯させることも可能である。
【０１０１】
本実施形態では、撮像装置を例に取り上げているが、図２に示す位置ズレ補正部の機能を備えた画像処理装置であってもよい。
【０１０２】
また、この他に、図２に示す位置ズレ補正部の機能や、図３及び図５のフローチャートの処理をコンピュータに実行させることができる画像処理プログラムであってもよい。この画像処理プログラムは、不揮発性メモリを備えたメモリカード、光学ディスクや磁気ディスクなど、コンピュータにおいて読み取ることができる記憶媒体に記憶されていることが好ましい。
【符号の説明】
【０１０３】
１０…撮像装置、２０…ＣＰＵ、２２…画像処理回路、３０…位置ズレ補正部、３１…エラー判定部、３２…エッジ抽出部、３３…位置ズレ量算出部、３４…変動率算出部、３５…評価値算出部、３６…補正量設定部、３７…位置合わせ部、３８…記憶部
【図１】
2015106807.tif 000008
【図２】
2015106807.tif 000009
【図３】
2015106807.tif 000010
【図４】
2015106807.tif 000011
【図５】
2015106807.tif 000012