(57)【要約】【課題】  本発明は、画像合成装置，カメラの手ぶれ補正装置およびカメラに関し、第１の画像に対して第２の画像が回転している場合にも第１の画像と第２の画像とを迅速に重ね合わせることができる画像合成装置、および、この画像合成装置を用いたカメラの手ぶれ補正装置およびカメラを提供することを目的とする。【解決手段】  重複領域を有する第１の画像の画素情報と第２の画像の画素情報とを比較し、前記重複領域のずれ量を求め、前記ずれ量に基づいて前記第１の画像と前記第２の画像の重複領域を重ね合わせる画像合成装置において、判定エリアを、円状または円環状にし、その中心位置を判定エリアの位置としてなることを特徴とする。【選択図】      図６
2006086888.tif 000002
【特許請求の範囲】
【請求項１】
重複領域を有する第１の画像の画素情報と第２の画像の画素情報とを比較し、前記重複領域のずれ量を求め、前記ずれ量に基づいて前記第１の画像と前記第２の画像の重複領域を重ね合わせる画像合成装置において、
前記第１の画像の画素情報を所定の判定エリアの位置において抽出する第１の抽出手段と、
前記第２の画像の画素情報を前記判定エリアを移動しながら各判定エリアの位置において順次抽出する第２の抽出手段と、
前記第１の画像の前記判定エリア内の画素情報から得られる統計的な特徴と前記第２の画像の前記各判定エリア内の画素情報から得られる統計的な特徴とを比較し比較結果を生成する比較手段と、
前記比較結果に基づいて前記第１の画像の判定エリアの統計的な特徴に最も類似する統計的な特徴を有する前記第２の画像の判定エリアを対応エリアと判断する判断手段と、
前記第１の画像の判定エリアの位置と前記対応エリアと判断された前記第２の画像の判定エリアの位置とから前記重複領域のずれ量を求める算出手段とを備え、
前記判定エリアを、円状または円環状にし、その中心位置を前記判定エリアの位置としてなることを特徴とする画像合成装置。
【請求項２】
請求項１記載の画像合成装置において、
前記第１の画像の統計的な特徴および前記第２の画像の統計的な特徴は、前記判定エリア内の画素情報値のヒストグラムであることを特徴とする画像合成装置。
【請求項３】
請求項２記載の画像合成装置において、
前記比較手段により生成される比較結果は、前記判定エリア内の画素情報値のヒストグラムの各度数の差の絶対値の総和であり、前記判断手段は、前記度数の差の絶対値の総和が最小となる前記第２の画像の判定エリアを前記対応エリアと判断することを特徴とする画像合成装置。
【請求項４】
請求項１ないし請求項３のいずれか１項記載の画像合成装置において、
前記判定エリアを間隔を置いて少なくとも２箇所に設け、前記第１の画像における前記２箇所の判定エリアの中心を結ぶ直線と、前記第２の画像における前記対応エリアと判断された２箇所の判定エリアの中心を結ぶ直線とが平行になるように前記第１の画像と前記第２の画像を相対的に回転する処理と、前記第１の画像における前記２箇所の判定エリアの少なくとも１箇所の判定エリアの中心と前記第２の画像における前記対応エリアと判断された２箇所の判定エリアのうち前記少なくとも１箇所の判定エリアに対応する判定エリアの中心とを重ねる処理とにより前記第１の画像と前記第２の画像の重複領域を重ね合わせることを特徴とする画像合成装置。
【請求項５】
請求項４記載の画像合成装置において、
前記第１の画像における前記２箇所の判定エリアの中心を結ぶ直線と、前記第２の画像における前記対応エリアと判断された２箇所の判定エリアの中心を結ぶ直線とがなす角度を求め、この角度だけ前記第１の画像または前記第２の画像を前記判定エリアの一方の中心を軸として回転して、前記第２の画像における前記対応エリアと判断された２箇所の判定エリアの中心を結ぶ直線とを平行にすることを特徴とする画像合成装置。
【請求項６】
請求項１ないし請求項５のいずれか１項記載の画像合成装置において、予め計算した前記判定エリアの外周の座標値を記憶するテーブルを有することを特徴とする画像合成装置。
【請求項７】
請求項１ないし請求項６のいずれか１項記載の画像合成装置において、前記比較結果を記憶する記憶手段を有することを特徴とする画像合成装置。
【請求項８】
適正露光時間を分割し少なくとも第１の画像と第２の画像とを撮像素子により撮像し、撮影後に前記第１の画像と前記第２の画像とを画像合成するカメラの手ぶれ補正装置において、
請求項１ないし請求項７のいずれか１項記載の画像合成装置を有することを特徴とするカメラの手ぶれ補正装置。
【請求項９】
請求項８記載のカメラの手ぶれ補正装置を有することを特徴とするカメラ。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像合成装置，カメラの手ぶれ補正装置およびカメラに関する。
【背景技術】
【０００２】
カメラによる撮影において、手持ちの状態でシャッタを切る等、カメラ本体が動いている間の映像が記録されると記録された画像はいわゆるピンボケのような先鋭感の乏しい画像になることがある。このような状態を手ぶれと呼ぶ。
このような手ぶれを回避または補正する方法として、大きく分けると、ぶれを打ち消す動きを組み込んで補正するものと、ぶれた画像を処理して補正する方法とが知られている。
【０００３】
ぶれを打ち消す機構を備える場合、被写体像がフィルム面や受光素子面上の同一位置に結像するように、レンズや受光面を相対的に移動させる方法が知られている。このような方法では、カメラ本体に加速度センサやレンズまたは受光面を移動させるためのアクチュエータを配置し、検出された移動を打ち消すようにカメラ本体側の構成要素を移動させている。
【０００４】
一方、ぶれた画像を処理して補正する場合、適正露光時間を複数に分割し、ぶれが生じない程度の短い露出時間の画像を複数撮影し、それらの画像を合成してぶれのない画像を生成する方法が知られている。
この方法では、ぶれの情報を検出するセンサを備えていないため、複数の画像を位置ずれを補正した上で合成する必要がある。そのため、画像内のある特定エリアを判定の領域とし、ぶれ量や動きベクトル量としてその大きさを求め補正値としている。
【０００５】
図１４は、このような従来技術におけるぶれ量や動きベクトルの判定エリアを示している。ここでは画像Ｇ上に５箇所の判定エリアＥが設けられている。なお、このような判定エリアの例として、例えば、特開平０５−３０４６３１号公報，特開平０６−２１７１８７号公報に開示されるものが知られている。
今ここで、被写体を撮影した時、図１５に示すように、シャッタが開き始めた時には実線で示すような範囲の画像Ｇ１が撮像素子に投影される場合と、同シャッタが開いている間ではあるが異なる時刻では手ぶれにより破線で示すような範囲の画像Ｇ２が投影されるような場合を想定する。なお、画像Ｇ１から画像Ｇ２の間あるいはシャッタが閉じるまでにはさらに別の範囲が投影されるような連続的な移動があるが簡単のため省略している。
【０００６】
図１５は、左右方向、上下方向および回転方向のぶれが生じた状態を示しており、実線で示す画像Ｇ１内の左上、右上、左下、右下の部分は、画像Ｇ２では矢印で示した方向にずれて投影されている。
このように、２つの画像Ｇ１，Ｇ２があり２つの画像Ｇ１，Ｇ２間で被写体の位置がずれているか否かあるいはずれがどの程度の量かを見る場合、ある特定のパターン（絵柄）を両方の画像から見つけ出し、その位置がどのくらいずれているかを検出したり、一方の所定のエリアの画像が、他方のどの位置にあるかを検出する等の方法によっている。
【０００７】
そして、２つの画像Ｇ１，Ｇ２の同一性を判定するのに以下のような２つの方法がある。
第１の方法は、それぞれに等しい大きさのエリアを設定し、同エリア内の相対的に同じ位置の画像データ同士を全エリアについて比較する方法である。例えば、同一位置と想定した画素データの差の絶対値の和を取ると位置が一致している場合は和が最小になる。画像データ値が完全に同じで位置のみが異なる場合、その位置を正確に補正できた場合には差の絶対値の和は０になる。判定のエリアを少しずつ移動させ、同様な処理を行い差の絶対値の和が最小値を示した判定位置の値と移動前の画像の判定の位置との差が画像がずれた値となる。
【０００８】
第２の方法は、それぞれの判定エリアの全体の特性を調べその差が最小となる位置を探す方法である。この方法では、図１６の(ａ)に示すように、移動前の画像の実線のエリアと、移動後の画像の点線のエリアの特性、例えば、エリア内の画像データの総和、最大値、最小値、平均値、最大一最小値差、最大一最小値比あるいはこれ等の組み合わせを求め、その一致度を元に移動量を求める。
【特許文献１】特開平０５−３０４６３１号公報
【特許文献２】特開平０６−２１７１８７号公報
【発明の開示】
【発明が解決しようとする課題】
【０００９】
しかしながら、上述した第２の方法では、ぶれによる画像の移動に回転要素が加わると回転要素の補正に処理時間が多くかかり、結果として手ぶれを補正をするのに時間がかかるという問題があった。
すなわち、図１６の(ａ)は、図１４の左上の判定エリアＥに例えば「Ａ」の文字が投影されている場合にその部分を拡大した状態を示している。図１６の(ａ)において、図の右下の移動後の「Ａ」の位置に相当する判定エリアは、移動前の「Ａ」の文字との相対関係を維持した場合に点線のようになっている。当初は、ずれに回転要素があるかないか、あるいはどの程度か不明であるので、回転要素がないものとして判定エリアを想定すると点線のような判定エリアが想定される。しかしながら、図を見ると明らかなように、移動後の画像の「Ａ」と判定エリアの矩形とは位置関係がずれているため移動前の画像と同一の画像と判定されない可能性が高い。
【００１０】
そこで、正確に判定するためには、図１６の(ｂ)のように、判定エリアに回転方向のずれを加えて、移動前の画像の矩形内の位置と移動後の画像の傾いた矩形内の相対的に同じ位置の画素データ同士、あるいは、それぞれの判定エリアの特性を比較する必要がある。
この場合には、回転量が事前には不明なため、回転量を少しずつずらして上記同様の処理を繰り返し、上記同様の判定を経てずれ量を算出しなければならない。例えば、最大補正回転角度を３０度、検出分解能を１度とすると、１度から３０度までの３０回の回転処理を施す必要がある。なお、この説明では判定エリアを回転させたが、移動後の画像を回転させて判定エリアは回転させずに処理する場合も同様である。
【００１１】
本発明は、かかる従来の問題を解決するためになされたもので、第１の画像に対して第２の画像が回転している場合にも第１の画像と第２の画像とを迅速に重ね合わせることができる画像合成装置を提供することを目的とする。また、この画像合成装置を用いたカメラの手ぶれ補正装置およびカメラを提供することを目的とする。
【課題を解決するための手段】
【００１２】
請求項１の画像合成装置は、重複領域を有する第１の画像の画素情報と第２の画像の画素情報とを比較し、前記重複領域のずれ量を求め、前記ずれ量に基づいて前記第１の画像と前記第２の画像の重複領域を重ね合わせる画像合成装置において、前記第１の画像の画素情報を所定の判定エリアの位置において抽出する第１の抽出手段と、前記第２の画像の画素情報を前記判定エリアを移動しながら各判定エリアの位置において順次抽出する第２の抽出手段と、前記第１の画像の前記判定エリア内の画素情報から得られる統計的な特徴と前記第２の画像の前記各判定エリア内の画素情報から得られる統計的な特徴とを比較し比較結果を生成する比較手段と、前記比較結果に基づいて前記第１の画像の判定エリアの統計的な特徴に最も類似する統計的な特徴を有する前記第２の画像の判定エリアを対応エリアと判断する判断手段と、前記第１の画像の判定エリアの位置と前記対応エリアと判断された前記第２の画像の判定エリアの位置とから前記重複領域のずれ量を求める算出手段とを備え、前記判定エリアを、円状または円環状にし、その中心位置を前記判定エリアの位置としてなることを特徴とする。
【００１３】
請求項２の画像合成装置は、請求項１記載の画像合成装置において、前記第１の画像の統計的な特徴および前記第２の画像の統計的な特徴は、前記判定エリア内の画素情報値のヒストグラムであることを特徴とする。
請求項３の画像合成装置は、請求項２記載の画像合成装置において、前記比較手段により生成される比較結果は、前記判定エリア内の画素情報値のヒストグラムの各度数の差の絶対値の総和であり、前記判断手段は、前記度数の差の絶対値の総和が最小となる前記第２の画像の判定エリアを前記対応エリアと判断することを特徴とする。
【００１４】
請求項４の画像合成装置は、請求項１ないし請求項３のいずれか１項記載の画像合成装置において、前記判定エリアを間隔を置いて少なくとも２箇所に設け、前記第１の画像における前記２箇所の判定エリアの中心を結ぶ直線と、前記第２の画像における前記対応エリアと判断された２箇所の判定エリアの中心を結ぶ直線とが平行になるように前記第１の画像と前記第２の画像を相対的に回転する処理と、前記第１の画像における前記２箇所の判定エリアの中心と前記第２の画像における前記対応エリアと判断された２箇所の判定エリアの中心とを重ねる処理とにより前記第１の画像と前記第２の画像の重複領域を重ね合わせることを特徴とする。
【００１５】
請求項５の画像合成装置は、請求項４記載の画像合成装置において、前記第１の画像における前記２箇所の判定エリアの中心を結ぶ直線と、前記第２の画像における前記対応エリアと判断された２箇所の判定エリアの中心を結ぶ直線とがなす角度を求め、この角度だけ前記第１の画像または前記第２の画像を前記判定エリアの一方の中心を軸として回転して、前記第２の画像における前記対応エリアと判断された２箇所の判定エリアの中心を結ぶ直線とを平行にすることを特徴とする。
【００１６】
請求項６の画像合成装置は、請求項１ないし請求項５のいずれか１項記載の画像合成装置において、予め計算した前記判定エリアの外周の座標値を記憶するテーブルを有することを特徴とする。
請求項７の画像合成装置は、請求項１ないし請求項６のいずれか１項記載の画像合成装置において、前記比較結果を記憶する記憶手段を有することを特徴とする。
【００１７】
請求項８のカメラの手ぶれ補正装置は、適正露光時間を分割し少なくとも第１の画像と第２の画像とを撮像素子により撮像し、撮影後に前記第１の画像と前記第２の画像とを画像合成するカメラの手ぶれ補正装置において、請求項１ないし請求項７のいずれか１項記載の画像合成装置を有することを特徴とする。
請求項９のカメラは、請求項８記載のカメラの手ぶれ補正装置を有することを特徴とする。
【発明の効果】
【００１８】
本発明の画像合成装置では、判定エリアを円状または円環状にしたので、画像の位置ずれの際に回転方向のずれの補正処理を省略することが可能になり処理の高速化を図ることができる。また、本発明のカメラの手ぶれ補正装置およびカメラでは、手ぶれ補正を迅速に行うことができる。
【発明を実施するための最良の形態】
【００１９】
以下、本発明の一実施形態を図面を用いて詳細に説明する。この実施形態では、本発明の画像合成装置の一実施形態が手ぶれ補正装置を備えたデジタルカメラに適用される。
図１は、本発明のカメラの一実施形態であるデジタルカメラを示す説明図である。
このデジタルカメラは、撮影レンズ部１１と、この撮影レンズ部１１が取り付けられる本体部１３とを有している。
【００２０】
撮影レンズ部１１は、被写体からの光束を集光する撮影レンズ１５と、絞り１７とを有している。
本体部１３の撮影レンズ１５側には、図に点線で示す閉状態と実線で示す開状態とに回動可能なミラー１９が配置されている。
本体部１３の撮影レンズ１５と反対側には、撮影レンズ１５を透過した光束を受光可能な撮像素子であるＣＣＤ２１が配置されている。このＣＣＤ２１により、被写体が撮像される。ＣＣＤ２１の前面には、シャッター２３が配置されている。
【００２１】
本体部１３内の上部には、ミラー１９が閉状態にある時に、ミラー１９を介し撮影レンズ１５の結像位置に配置されるピントグラス２５が配置されている。また、ピントグラス２５を透過した光束の光路を変更するペンタプリズム２７と、このペンタプリズム２７からの光束を観察するためのファインダー２９が配置されている。
上述したデジタルカメラでは、ファインダー２９で被写体を観察する時には、撮影レンズ１５を透過した光束は、点線で示す閉状態のミラー１９で反射され、ピントグラス２５、ペンタプリズム２７を透過して、ファインダー２９に導かれる。
【００２２】
また、撮影時に不図示のレリーズ釦が押されると、ミラー１９が実線で示す開状態に回転され、絞り１７が絞り込まれ、シャッター２３が開かれる。そして、撮影レンズ１５を透過した被写体からの光がＣＣＤ２１に結像され撮像が行われる。
図２は、上述したデジタルカメラが有する手ぶれ補正装置の一実施形態を示すブロック図である。この手ぶれ補正装置は、適正露光時間を分割し少なくとも第１の画像Ｇ１と第２の画像Ｇ２とを撮像部３１のＣＣＤ２１に撮像し、撮影後に第１の画像Ｇ１と第２の画像Ｇ２とを画像合成する。この実施形態では、説明の簡略化のために適正露光時間を２分割した例について説明する。
【００２３】
この手ぶれ補正装置は、適正露光時間の最初に撮像部３１のＣＣＤ２１に撮像された第１の画像Ｇ１を記憶する第１の画像メモリ３３と、次に撮像部３１のＣＣＤ２１に撮像された第２の画像Ｇ２を記憶する第２の画像メモリ３５とを有している。また、第１の画像メモリ３３および第２の画像メモリ３５のアドレスを生成する第１のアドレス発生器３７および第２のアドレス発生器３９を有している。
【００２４】
また、後述する円形の判定エリアのアドレス計算を参照により簡略化するためのテーブル用ＲＡＭ４１を有している。そして、手ぶれ補正装置の全体を制御するＣＰＵ４３およびＣＰＵ４３のプログラム実行用のメモリ４５とを有している。
図３および図４は、上述した手ぶれ補正装置の動作を示すフローチャートである。
先ず、ステップＳ１では、適正露光時間の最初に撮像部３１のＣＣＤ２１に撮像された第１の画像Ｇ１を第１の画像メモリ３３に取り込み、次に撮像部３１のＣＣＤ２１に撮像された第２の画像Ｇ２を第２の画像メモリ３５に取り込む。
【００２５】
図５の実線は第１の画像メモリ３３に取り込まれた第１の画像Ｇ１(便宜上画枠のみを示す)を示しており、点線は第２の画像メモリ３５に取り込まれた第２の画像Ｇ２(便宜上画枠のみを示す)を示している。第２の画像Ｇ２は、手ぶれのために、第１の画像Ｇ１に対して上下左右方向および回転方向にずれて撮像されている。
次に、ステップＳ２では、後述するｉの値を１に初期設定する。
【００２６】
次に、ステップＳ３では、第１の画像Ｇ１から、第１の画像Ｇ１と第２の画像Ｇ２との重なり位置を判定するための判定エリアの画素情報が切り出される。この実施形態では、図５に示したように、判定エリアとして画像の４隅に計４箇所の判定エリアＥ１，Ｅ２，Ｅ３，Ｅ４が設けられている。そして、先ず、判定エリアＥ１の画素情報が切り出される。すなわち、この実施形態では、ｉの値が１の時には、判定エリアＥ１の画素情報、２の時には判定エリアＥ２の画素情報、３の時には判定エリアＥ３の画素情報、４の時には判定エリアＥ４の画素情報が切り出される。
【００２７】
この実施形態では、各判定エリアＥ１，Ｅ２，Ｅ３，Ｅ４は、円形状とされている。そして、図６に示すように、例えば画像の左上角の位置を２次元座標の(０，０)とすると、各判定エリアＥ１，Ｅ２，Ｅ３，Ｅ４の中心の座標が（ｘ，ｙ）とされ、半径ｒの円内が判定エリアＥ１，Ｅ２，Ｅ３，Ｅ４とされている。
このように判定エリアＥ１，Ｅ２，Ｅ３，Ｅ４を円形状とするのは以下のような理由による。
【００２８】
すなわち、図７は、図８のように被写体像が上下左右方向および回転方向にずれた場合の「Ａ」の文字が写っている部分を示している。図７(ａ)では、左上の移動前の画像と、右下の移動後の画像について、判定を施す判定エリアＥ１が円形であるため、判定エリアＥ１を点線のように傾けた図７(ｂ)と比較しても明らかなように、判定エリアＥ１内の被写体像と判定エリアＥ１との位置関係が保たれている。従って、判定エリアＥ１内全体の特性を評価する場合、画像の回転方向についての考慮が不要になる。
【００２９】
次に、ステップＳ４では、第１の画像Ｇ１の判定エリアＥ１内における画素情報のヒストグラムを求める。図９は判定エリアＥ１で求められた画素情報のヒストグラムを示している。横軸には、判定エリアＥ１内における各画素の明るさの階調がとられ、縦軸には、各階調に対応する度数がとられている。
ここで、判定エリアＥ１内の各画素のアドレスは、図６に示したように、円形の判定エリアＥ１の中心を（ｘ，ｙ）とし、中心からｘ方向（横方向）の距離をΔｘ、ｙ方向（縦方向）の距離をΔｙとし、円の半径をｒとすると、
（Δｘ）2＋（Δｙ）2＜ｒ2
の関係を満たしている。従って、この式を満たす範囲のΔｘ、Δｙのすべての組み合わせについて評価してヒストグラムを作成すればよい。なお、上記式における不等号は、≦であってもよい。また、全てのアドレス（画素）に限定する必要もなく、例えば２の倍数のアドレスのみや、４の倍数のアドレスのみについて評価してもよい。
【００３０】
この実施形態では、上記アドレスを求める際、あるΔｘに対するΔｙの値の最大値については、図１１のように事前に計算で求めた結果が専用のテーブルとしてテーブル用ＲＡＭ４１に記憶されている。すなわち、図６に示したように、あるΔＸ＝ｎの値に対しては、Δｙ＝１から、テーブル値の範囲のΔｙ＝(ｒ2−ｎ2)1/2までの値を使用すればよい。このようにテーブルを参照することにより計算量を減らすことが可能である。
【００３１】
次に、ステップＳ５では、第２の画像Ｇ２の判定エリアＥ１の中心位置を初期化する。
次に、ステップＳ６では、第２の画像Ｇ２から判定エリアＥ１の画素情報を切り出す。
次に、ステップＳ７では、第２の画像Ｇ２の判定エリアＥ１内における画素情報のヒストグラムをステップＳ４と同様にして求める。図１０の実線は第２の画像Ｇ２の判定エリアＥ１で求められたヒストグラムを示している。
【００３２】
次に、ステップＳ８では、第１の画像Ｇ１の判定エリアＥ１のヒストグラムと第２の画像Ｇ２の判定エリアＥ１のヒストグラムの統計的な特徴を比較し比較値を生成する。この実施形態では、判定エリアＥ１内の画素情報値のヒストグラムの各度数の差の絶対値の総和を求めることにより判定エリアＥ１の比較値を求める。すなわち、図１０に示したように、図９に示したヒストグラムの各度数(破線で示す)と図１０に示したヒストグラムの各度数(実線で示す)とが比較され各度数の差の絶対値の総和が比較値Ｈとして求められる。従って、比較値Ｈの値が小さい程、判定エリアＥ１の画素情報が類似していることになる。
【００３３】
次に、ステップＳ９では、新たに求められたヒストグラムの比較値Ｈと前に保持されているヒストグラムの比較値Ｈを比較する。
そして、新たに求められたヒストグラムの比較値Ｈが前に保持されているヒストグラムの比較値Ｈより小さい時には、ステップＳ１０において、前回のヒストグラムの比較値Ｈを新たに求められたヒストグラムの比較値Ｈに書き換えて保持し、また、その時の判定エリアＥ１の中心位置を保持する。
【００３４】
次に、ステップＳ１１では、第２の画像Ｇ２の判定エリアＥ１の中心位置が手ぶれを想定して予め定められた範囲内にあるか否かを判断する。
予め定められた範囲内にある時には、ステップＳ１２において、第２の画像Ｇ２の判定エリアＥ１の中心位置を１画素分更新する。このようにして判定エリアＥ１の中心位置を１画素ずつずらし、ヒストグラムの比較値Ｈを予め定められた範囲内において全て求める。そして、求め終わった時にステップＳ１０において保持されている中心位置を有する判定エリアＥ１(以下対応エリアＴ１という)が、第１の画像Ｇ１の判定エリアＥ１に重なる判定エリアとなる。
【００３５】
ステップＳ１１において予め定められた範囲内にない時には、ステップＳ１３において、ｉの値が４であるか否かを判断する。そして、４になっていない時には、ステップＳ１４においてｉの値に１が加算される。このようにして、上述した処理を判定エリアＥ２，Ｅ３，Ｅ４に対して順次行うことにより、図１２に示すように、第１の画像Ｇ１の全ての判定エリアＥ１，Ｅ２，Ｅ３，Ｅ４に対応する対応エリアＴ１，Ｔ２，Ｔ３，Ｔ４を求めることができる。
【００３６】
次に、ステップＳ１５では、ステップＳ１０において保持されている４つの比較値Ｈのうち比較値Ｈの小さい２つの対応エリアを選択する。これは、比較値Ｈの値が小さい程、対応エリアの画素情報が類似しているためである。この実施形態では、対応エリアＴ３，Ｔ４が選択される。
次に、ステップＳ１６では、図１２に示したように、第１の画像Ｇ１の判定エリアＥ３，Ｅ４の中心を結ぶ直線と、第２の画像Ｇ２の対応エリアＴ３，Ｔ４の中心を結ぶ直線とがなす角度θを求める。
【００３７】
次に、ステップＳ１７では、図１３に示すように、角度θだけ第２の画像Ｇ２を対応エリアＴ３の中心を軸として回転して、第２の画像Ｇ２を第１の画像Ｇ１に対して平行にする。これにより第１の画像Ｇ１と第２の画像Ｇ２との回転補正が行われる。
次に、ステップＳ１８では、第２の画像Ｇ２を上下左右に移動して、第１の画像Ｇ１における判定エリアＥ３の中心と第２の画像Ｇ２における対応エリアＴ３の中心とを重ね、第１の画像Ｇ１と第２の画像Ｇ２の重複領域を重ね合わせる。なお、この場合、第１の画像Ｇ１における判定エリアＥ４の中心と第２の画像Ｇ２における対応エリアＴ４の中心とを重ね、第１の画像Ｇ１と第２の画像Ｇ２の重複領域を重ね合わせても良い。これにより一連の手ぶれ補正処理が終了する。なお、第２の画像Ｇ２の移動を先に行い、後に回転補正しても良い。
【００３８】
上述したカメラの手ぶれ補正装置では、判定エリアＥ１，Ｅ２，Ｅ３，Ｅ４を、円状にしたので、画像の位置ずれの際に回転方向のずれの補正処理を省略することが可能になる。従って、処理の高速化を図ることが可能になり、手ぶれ補正を迅速に行うことができる。また、最終的に画像を重ね合わせる際の回転操作を１回にすることができる。
そして、判定エリアＥ１，Ｅ２，Ｅ３，Ｅ４を求める際のアドレス計算にテーブルを参照するようにしたので、より処理の高速化を図ることができる。
(実施形態の補足事項)
以上、本発明を上述した実施形態によって説明してきたが、本発明の技術的範囲は上述した実施形態に限定されるものではなく、例えば、以下のような形態でも良い。
【００３９】
(１)上述した実施形態では、判定エリアＥ１，Ｅ２，Ｅ３，Ｅ４を円形状にした例について説明したが、判定エリアを円環状にしても良い。このように判定エリアを円環状にすることにより処理時間をより短縮することが可能になる。
(２)上述した実施形態では、本発明の画像合成装置をデジタルカメラの手ぶれ補正装置に適用した例について説明したが、本発明の画像合成装置は、例えば、パノラマ写真の合成、スキャナー画像の合成等に広く適用することができる。
【００４０】
(３)上述した実施形態では、第１の画像メモリ３３と第２の画像メモリ３５をそれぞれ独立したメモリとした例について説明したが、物理的には同一のメモリにしても良い。
(４)上述した実施形態では、判定エリアＥ１，Ｅ２，Ｅ３，Ｅ４を４箇所設けた例について説明したが、判定エリアは少なくとも２箇所設ければ良い。
(５)上述した実施形態では、判定エリアＥ１，Ｅ２，Ｅ３，Ｅ４内の画素情報から得られる統計的な特徴を、ヒストグラムの各度数の差の絶対値の総和とした例について説明したが、例えば、ヒストグラムの度数の最大一最小値差，最大一最小値比等にしても良い。
【図面の簡単な説明】
【００４１】
【図１】本発明のカメラの一実施形態を示す説明図である。
【図２】本発明の手ぶれ補正装置を示すブロック図である。
【図３】図２の手ぶれ補正装置の動作の前半部を示すフローチャートである。
【図４】図２の手ぶれ補正装置の動作の後半部を示すフローチャートである。
【図５】第１の画像に対する第２の画像のぶれおよび判定エリアを示す説明図である。
【図６】円形の判定エリアのヒストグラムを求める方法を示す説明図である。
【図７】円形の判定エリアの特徴を示す説明図である。
【図８】第１の画像および第２の画像を示す説明図である。
【図９】第１の画像の判定エリアのヒストグラムを示す説明図である。
【図１０】第２の画像の判定エリアのヒストグラムを示す説明図である。
【図１１】円形の判定エリアのアドレス計算結果のテーブルを示す説明図である。
【図１２】第１の画像と第２の画像との傾き角度を示す説明図である。
【図１３】第２の画像を傾き角度だけ回転した状態を示す説明図である。
【図１４】従来の判定エリアを示す説明図である。
【図１５】手ぶれによる第１の画像と第２の画像とのずれを示す説明図である。
【図１６】従来の判定エリアの不具合点を示す説明図である。
【符号の説明】
【００４２】
２１  ＣＣＤ
３１  撮像部
３３  第１の画像メモリ
３５  第２の画像メモリ
４１  テーブル用ＲＡＭ
４３  ＣＰＵ
Ｇ１  第１の画像
Ｇ２  第２の画像
Ｅ１，Ｅ２，Ｅ３，Ｅ４  判定エリア
Ｔ１，Ｔ２，Ｔ３，Ｔ４  対応エリア
【図１】
2006086888.tif 000003
【図２】
2006086888.tif 000004
【図３】
2006086888.tif 000005
【図４】
2006086888.tif 000006
【図５】
2006086888.tif 000007
【図６】
2006086888.tif 000008
【図７】
2006086888.tif 000009
【図８】
2006086888.tif 000010
【図９】
2006086888.tif 000011
【図１０】
2006086888.tif 000012
【図１１】
2006086888.tif 000013
【図１２】
2006086888.tif 000014
【図１３】
2006086888.tif 000015
【図１４】
2006086888.tif 000016
【図１５】
2006086888.tif 000017
【図１６】
2006086888.tif 000018