(57)【特許請求の範囲】
【請求項１】
第１画像および第２画像のペアを取得する取得部と、
前記第１画像および前記第２画像を同じ画像サイズ比で縮小して縮小画像のペアを生成する縮小画像生成部と、
複数の縮小画像のペアを用いて、前記画像サイズ比の値の小さい順に縮小画像の位置合わせを繰り返した後に、前記第１画像および前記第２画像の位置ズレを求める位置ズレ演算部と、を備え、
前記縮小画像生成部は、各々の前記画像サイズ比が定数のべき乗の逆数で変化するように、前記縮小画像のペアを複数生成し、
前記位置ズレ演算部は、各画像で演算対象となる標本点の間隔を、画像サイズ比が最小値となる縮小画像の標本点に対して前記定数の平方根の倍数で変化するように決定し、
前記位置ズレ演算部は、前記標本点の候補のうち、画像内の原点を基準とする回転対称の位置および前記原点を通過する軸に対して線対称の位置の少なくとも一方の関係を満たす前記候補をグループ化し、前記候補を前記グループごとに前記標本点とするか否かを判断する画像処理装置。
【請求項２】
請求項１に記載の画像処理装置において、
前記縮小画像生成部は、前記第１画像および前記第２画像に対する画像サイズ比が１／（４k）となるように、各々の縮小画像で画像サイズ比を決定し、
前記位置ズレ演算部は、最小値の画像サイズ比が１／（４N）のときに、画像サイズ比が１／（４k）の縮小画像での前記標本点の間隔を２N-kの倍数で決定する画像処理装置。（ただし、Ｎは１以上の整数であり、ｋは１以上でＮ以下の整数である。）
【請求項３】
第１画像および第２画像のペアを取得する取得部と、
前記第１画像および前記第２画像を同じ画像サイズ比で縮小して縮小画像のペアを生成する縮小画像生成部と、
複数の縮小画像のペアを用いて、前記画像サイズ比の値の小さい順に縮小画像の位置合わせを繰り返した後に、前記第１画像および前記第２画像の位置ズレを求める位置ズレ演算部と、を備え、
前記位置ズレ演算部は、各画像で演算対象となる標本点の候補のうち、画像内の原点を基準とする回転対称の位置および前記原点を通過する軸に対して線対称の位置の少なくとも一方の関係を満たす前記候補をグループ化し、前記候補を前記グループごとに前記標本点とするか否かを判断する画像処理装置。
【請求項４】
第１画像および第２画像を撮像する撮像部と、
請求項１から請求項３のいずれか１項に記載の画像処理装置と、
を備える撮像装置。
【請求項５】
コンピュータに、
第１画像および第２画像のペアを取得する取得処理と、
前記第１画像および前記第２画像を同じ画像サイズ比で縮小して縮小画像のペアを生成する縮小画像生成処理と、
複数の縮小画像のペアを用いて、前記画像サイズ比の値の小さい順に縮小画像の位置合わせを繰り返した後に、前記第１画像および前記第２画像の位置ズレを求める位置ズレ演算処理と、を実行させ、
前記縮小画像生成処理では、各々の前記画像サイズ比が定数のべき乗の逆数で変化するように、前記縮小画像のペアを複数生成し、
前記位置ズレ演算処理では、各画像で演算対象となる標本点の間隔を、画像サイズ比が最小値となる縮小画像の標本点に対して前記定数の平方根の倍数で変化するように決定し、
前記位置ズレ演算処理では、前記標本点の候補のうち、画像内の原点を基準とする回転対称の位置および前記原点を通過する軸に対して線対称の位置の少なくとも一方の関係を満たす前記候補をグループ化し、前記候補を前記グループごとに前記標本点とするか否かを判断するプログラム。
【請求項６】
コンピュータに、
第１画像および第２画像のペアを取得する取得処理と、
前記第１画像および前記第２画像を同じ画像サイズ比で縮小して縮小画像のペアを生成する縮小画像生成処理と、
複数の縮小画像のペアを用いて、前記画像サイズ比の値の小さい順に縮小画像の位置合わせを繰り返した後に、前記第１画像および前記第２画像の位置ズレを求める位置ズレ演算処理と、を実行させ、
前記位置ズレ演算処理では、各画像で演算対象となる標本点の候補のうち、画像内の原点を基準とする回転対称の位置および前記原点を通過する軸に対して線対称の位置の少なくとも一方の関係を満たす前記候補をグループ化し、前記候補を前記グループごとに前記標本点とするか否かを判断するプログラム。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、撮像装置およびプログラムに関する。
【背景技術】
【０００２】
画像合成の基盤技術として、従来から複数画像間の位置合わせの手法が種々提案されている。その一例として、明度勾配法などで動きをモデル化して画像の位置合わせを行う手法が公知である。また、上記の画像の位置合わせを行う場合、入力画像から生成した縮小画像を用いて画像の位置合わせを多重解像度で行う手法も検討されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特許第３９１４９７３号
【発明の概要】
【発明が解決しようとする課題】
【０００４】
上記の動きをモデル化して画像の位置合わせを行う場合、行列に含まれる要素の値が大きくなると、演算の負荷が非常に大きくなる。
【０００５】
上記事情に鑑み、位置ズレの検出精度に大きな影響を与えることなく、複数画像の位置合わせの演算負荷を抑制する技術を提供する。
【課題を解決するための手段】
【０００６】
一の態様の画像処理装置は、第１画像および第２画像のペアを取得する取得部と、縮小画像生成部と、位置ズレ演算部とを備える。縮小画像生成部は、第１画像および第２画像を同じ画像サイズ比で縮小して縮小画像のペアを生成する。位置ズレ演算部は、複数の縮小画像のペアを用いて、画像サイズ比の値の小さい順に縮小画像の位置合わせを繰り返した後に、第１画像および第２画像の位置ズレを求める。また、縮小画像生成部は、各々の画像サイズ比が定数のべき乗の逆数で変化するように、縮小画像のペアを複数生成する。そして、位置ズレ演算部は、各画像で演算対象となる標本点の間隔を、画像サイズ比が最小値となる縮小画像の標本点に対して定数の平方根の倍数で変化するように決定する。
【０００７】
上記の一の態様において、縮小画像生成部は、第１画像および第２画像に対する画像サイズ比が１／（４k）となるように、各々の縮小画像で画像サイズ比を決定してもよい。また、位置ズレ演算部は、最小値の画像サイズ比が１／（４N）のときに、画像サイズ比が１／（４k）の縮小画像での標本点の間隔を２N-kの倍数に決定してもよい。ただし、Ｎは１以上の整数であり、ｋは１以上でＮ以下の整数である。
【０００８】
上記の一の態様において、位置ズレ演算部は、標本点の候補のうち、画像内の原点を基準とする回転対称の位置および原点を通過する軸に対して線対称の位置の少なくとも一方の関係を満たす候補をグループ化してもよい。また、位置ズレ演算部は、上記の候補をグループごとに標本点とするか否かを判断してもよい。
【０００９】
他の態様の画像処理装置は、第１画像および第２画像のペアを取得する取得部と、縮小画像生成部と、位置ズレ演算部とを備える。縮小画像生成部は、第１画像および第２画像を同じ画像サイズ比で縮小して縮小画像のペアを生成する。位置ズレ演算部は、複数の縮小画像のペアを用いて、画像サイズ比の値の小さい順に縮小画像の位置合わせを繰り返した後に、第１画像および第２画像の位置ズレを求める。また、位置ズレ演算部は、各画像で演算対象となる標本点の候補のうち、画像内の原点を基準とする回転対称の位置および原点を通過する軸に対して線対称の位置の少なくとも一方の関係を満たす候補をグループ化する。そして、位置ズレ演算部は、上記の候補をグループごとに標本点とするか否かを判断する。
【００１０】
なお、上記の画像処理装置を撮像部とともに備える撮像装置や、コンピュータを上記の画像処理装置として動作させるプログラムや、当該プログラムを記憶した記憶媒体や、上記の画像処理装置の動作を方法のカテゴリで表現したものは、いずれも本発明の具体的態様として有効である。
【発明の効果】
【００１１】
複数画像間の位置合わせを行うときに行列演算の要素の値を小さくできるので、位置ズレの検出精度に大きな影響を与えることなく、画像の位置合わせの演算負荷を抑制できる。
【図面の簡単な説明】
【００１２】
【図１】一の実施形態での画像処理装置の構成例を示す図
【図２】一の実施形態での画像処理装置の動作例を示す流れ図
【図３】画像の画像サイズ比と標本点の間隔との関係を示す図
【図４】＃１０６での標本点候補のグループ化の例を示す図
【図５】＃１０７における多重解像度での位置ズレ演算の概要を示す図
【図６】他の実施形態での撮像装置の構成例を示す図
【発明を実施するための形態】
【００１３】
＜一の実施形態の説明＞
図１は、一の実施形態での画像処理装置の構成例を示す図である。一の実施形態での画像処理装置は、複数の画像の合成処理を実行する画像処理プログラムがインストールされたパーソナルコンピュータである。
【００１４】
図１に示すコンピュータ１１は、データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６、バス１７を有している。データ読込部１２、記憶装置１３、ＣＰＵ１４、メモリ１５および入出力Ｉ／Ｆ１６は、バス１７を介して相互に接続されている。さらに、コンピュータ１１には、入出力Ｉ／Ｆ１６を介して、入力デバイス１８（キーボード、ポインティングデバイスなど）とモニタ１９とがそれぞれ接続されている。なお、入出力Ｉ／Ｆ１６は、入力デバイス１８からの各種入力を受け付けるとともに、モニタ１９に対して表示用のデータを出力する。
【００１５】
データ読込部１２は、画像のデータや、プログラムを外部から読み込むときに用いられる。例えば、データ読込部１２は、着脱可能な記憶媒体からデータを取得する読込デバイス（光ディスク、磁気ディスク、光磁気ディスクの読込装置など）や、公知の通信規格に準拠して外部の装置と通信を行う通信デバイス（ＵＳＢインターフェース、ＬＡＮモジュール、無線ＬＡＮモジュールなど）である。
【００１６】
記憶装置１３は、例えば、ハードディスクや、不揮発性の半導体メモリなどの記憶媒体で構成される。この記憶装置１３には、画像処理プログラムが記録される。なお、記憶装置１３には、データ読込部１２から読み込んだ画像のデータや、画像処理プログラムで合成された画像のデータを記憶しておくこともできる。
【００１７】
ＣＰＵ１４は、コンピュータ１１の各部を統括的に制御するプロセッサである。このＣＰＵ１４は、画像処理プログラムの実行によって、縮小画像生成部２１、位置ズレ演算部２２、画像処理部２３として動作する（縮小画像生成部２１、位置ズレ演算部２２および画像処理部２３の各動作については後述する）。
【００１８】
メモリ１５は、画像処理プログラムでの各種演算結果を一時的に記憶する。このメモリ１５は、例えば揮発性のＳＤＲＡＭである。
【００１９】
次に、図２の流れ図を参照しつつ、一の実施形態での画像処理装置による画像合成処理の動作例を説明する。この図２の流れ図の処理は、ユーザからのプログラム実行指示に応じてＣＰＵ１４が開始する。
【００２０】
ステップ＃１０１：ＣＰＵ１４は、位置合わせの対象となる第１画像のデータをデータ読込部１２から取得する。そして、ＣＰＵ１４は、第１画像のデータを記憶装置１３に記録する。
【００２１】
ステップ＃１０２：ＣＰＵ１４は、位置合わせの対象となる第２画像のデータをデータ読込部１２から取得する。そして、ＣＰＵ１４は、第２画像のデータを記憶装置１３に記録する。
【００２２】
ここで、第１画像および第２画像は、画像間で被写体の位置関係がほぼ同じであることが前提となる。一例として、第１画像および第２画像は、動画撮影または連写撮影で得られた一連の画像群から抽出された２つの画像である。
【００２３】
また、第１画像および第２画像は、同じ画像サイズ（解像度）で同形式のものであればその種類は問われない。例えば、第１画像および第２画像は、色補間処理が施される前のベイヤ配列構造のＲＡＷ画像であってもよく、ＲＡＷ画像に画像処理を施すことで色再現がなされた画像（ＲＧＢ画像、ＹＣｂＣｒ画像、ＪＰＥＧ画像等）であってもよい。
【００２４】
ステップ＃１０３：縮小画像生成部２１は、第１画像（＃１０１）および第２画像（＃１０２）を同じ画像サイズ比で縮小して、第１画像の縮小画像（第１縮小画像）と第２画像の縮小画像（第２縮小画像）とのペアを生成する。このとき、縮小画像生成部２１は、各々の画像サイズ比が定数のべき乗の逆数で変化するように、画像サイズ比の値を変化させて縮小画像のペアを複数生成する。なお、縮小画像は、画像サイズ比の小ささに比例して画像サイズ（解像度）も小さくなる。
【００２５】
ここで、一の実施形態での縮小画像生成部２１は、入力画像（第１画像および第２画像）に対する画像サイズ比が、いずれも４のべき乗の逆数で表現できるように画像サイズ比を決定する。すなわち、縮小画像生成部２１は、最小値の画像サイズ比が「１／（４N）」であって、各々の画像サイズ比が「１／（４k）」となるように画像サイズ比を決定すればよい（ただし、本明細書の説明において、Ｎは１以上の整数であり、ｋは１以上でＮ以下の整数である）。
【００２６】
例えば、縮小画像のペアを４つ生成する場合（Ｎ＝４）、各々の画像サイズ比は、大きい順に「１／４（＝１／(４1)）」，「１／１６（＝１／(４2)）」，「１／６４（＝１／(４3)）」，「１／２５６（＝１／(４4)）」の４種類となる。この場合、１／４，１／１６，１／６４，１／２５６の４つの画像サイズ比で、第１縮小画像と第２縮小画像とがそれぞれ４枚ずつ生成されることとなる。
【００２７】
ステップ＃１０４：位置ズレ演算部２２は、各画像で演算対象となりうる標本点の間隔を決定する。＃１０４での標本点は、画像内で格子状に均等に配置されるものとする。なお、一の実施形態において、標本点の総数は異なる画像間においても共通である。
【００２８】
ここで、＃１０４での位置ズレ演算部２２は、画像サイズ比が最小値となる縮小画像の標本点の座標を決定する。そして、位置ズレ演算部２２は、画像サイズ比が最小値となる縮小画像の標本点に対して定数の平方根の倍数になるように、他の縮小画像での標本点の間隔を決定する。これにより、第１画像および第２画像のペアおよび各縮小画像のペアのいずれにおいても、最も解像度が低い縮小画像の標本点を数倍することで、標本点の座標を表現することが可能となる。
【００２９】
例えば、＃１０３で例示の画像サイズ比が１／（４k）で表現できる縮小画像の場合、＃１０４の位置ズレ演算部２２は、標本点の間隔が２N-kの倍数となるように決定すればよい。なお、標本点の間隔は縦または横の一方のサイズに関するため定数は「２」となるが、画像サイズ比では縦×横のサイズが関係するので定数は「４（＝２2）」となる。
【００３０】
図３に示すように、画像サイズ比１／２５６の縮小画像での標本点の間隔をｍとする。このとき、画像サイズ比１／６４の縮小画像での標本点の間隔は、「（２4-3）・ｍ＝２ｍ」となる。画像サイズ比１／２５６の縮小画像に対して画像サイズ比１／６４の縮小画像は縦横各２倍のサイズであるので、標本点の相対間隔は同じとなることが分かる。同様に、画像サイズ比１／４の縮小画像での標本点の間隔は、「（２4-1）・ｍ＝８ｍ」となる。画像サイズ比１／２５６の縮小画像に対して画像サイズ比１／４の縮小画像は縦横各８倍のサイズであるので、標本点の相対間隔は同じとなることが分かる。
【００３１】
なお、＃１０４で求めた標本点は、実際には標本点の候補であって、後述の＃１０６の処理によって一部の標本点の候補は演算対象から除外される。
【００３２】
ステップ＃１０５：位置ズレ演算部２２は、第２画像（＃１０２）および第２縮小画像（＃１０３）を用いて微分画像をそれぞれ生成する。
【００３３】
このとき、位置ズレ演算部２２は、第２画像の各標本点でｘ方向（画像の横方向）の隣接標本点との差分を求めて、ｘ方向の微分画像を生成する。また、位置ズレ演算部２２は、第２画像の各標本点でｙ方向（画像の縦方向）の隣接標本点との差分を求めて、ｙ方向の微分画像を生成する。そして、位置ズレ量演算部２２は、上記の処理を各々の第２縮小画像でも繰り返して、ｘ方向およびｙ方向の微分画像をそれぞれ生成する。
【００３４】
なお、＃１０３の例のように４種類の画像サイズ比で第２縮小画像を４つ生成した場合、＃１０５の処理では、第２画像による２つの微分画像と、４つの第２縮小画像による８つの微分画像とが生成されることとなる。
【００３５】
ステップ＃１０６：位置ズレ演算部２２は、標本点の候補（＃１０４）の絞り込みを行い、演算対象となる標本点を決定する。
【００３６】
一般的に、画像の位置合わせの手法では、画像内の特徴箇所（エッジの部分など）を抽出して演算を行うことが多い。一の実施形態の例も、微分画像によってエッジの特徴を用いることから、標本点の位置はエッジのある画素であることが望ましい。しかし、画像全体から単純にエッジのある箇所のみを標本点として採用すると、画像の一部にエッジの部分が偏在する場合や、動体の一部に多くの標本点が設定された場合に、画像全体の本来の位置ずれ量と演算結果とが乖離するおそれもある。そのため、安定した演算結果を得るためには、標本点の分布が画像中で偏らないようにする必要がある。
【００３７】
上記の観点から、＃１０６での位置ズレ演算部は、以下の（イ）〜（ホ）の処理によって演算対象となる標本点を決定する（図４参照）。
【００３８】
（イ）位置ズレ演算部２２は、注目する標本点候補（注目点）と、この注目点に対して以下の関係にある３つの標本点候補とをグループ化する。
・画像内の原点（例えば、画像の中心に最も近い標本点または画像中心）を基準として注目点に対して回転対称の位置にある標本点候補。
・画像内で原点を通過するｘ軸（横軸）を基準として、注目点と線対称の位置にある標本点候補。
・画像内で原点を通過するｙ軸（縦軸）を基準として、注目点と線対称の位置にある標本点候補。
【００３９】
（ロ）位置ズレ演算部２２は、上記（イ）でグループ化された４つの標本点候補からそれぞれエッジ量を抽出する。例えば、位置ズレ演算部２２は、＃１０５で求めた第２画像の微分画像から対応点の画素値を抽出し、各々の標本点候補のエッジ量としてもよい。
【００４０】
（ハ）位置ズレ演算部２２は、グループ化された４つの標本点候補のエッジ量（上記（ロ）で取得したもの）の平均値および分散値を求める。
【００４１】
（ニ）位置ズレ演算部２２は、上記のエッジ量の平均値および分散値を用いて、４つの標本点候補をグループ単位で標本点として採用するか否かを判断する。例えば、位置ズレ演算部２２は、エッジ量の平均値および分散値から評価値を求める関数を用いて、評価値が閾値以上となる場合に標本点として採用すると判断すればよい。なお、標本点として採用しないと判断された標本点候補のグループは、後段の演算処理で演算対象から除外される。
【００４２】
ここで、上記の関数は、エッジ量の平均値の増加に応じて評価値が高くなり、エッジ量の分散値の低下に応じて評価値が高くなるものとする。よって、（ニ）での判断では、標本点候補のエッジ量が高く、かつ各標本点候補にエッジ量がばらついているほど、標本点に採用されやすくなる。
【００４３】
（ホ）位置ズレ演算部２２は、上記（イ）〜（ニ）の処理を繰り返して、すべての標本点候補をグループ化し、グループごとに標本点候補を標本点として採用するか否かを決定する。
【００４４】
かかる＃１０６の処理により、位置ズレ量の演算に大きく寄与しない標本点を演算対象から除外できるので、演算負荷を抑制することができる。また、＃１０６の処理により、位置ズレ量の演算に適した標本点を画像内で偏りなく採用することが可能となり、位置ズレ量の演算精度を向上させることもできる。
【００４５】
ステップ＃１０７：位置ズレ演算部２２は、幾何変換モデルによって第１画像および第２画像の位置ズレを求める。このとき、位置ズレ演算部２２は、解像度が異なる複数の縮小画像のペアを用いて、画像サイズ比の小さい順に縮小画像の位置合わせを繰り返した後に、第１画像および第２画像の位置ズレを求める（図５参照）。
【００４６】
まず、＃１０７で適用される幾何変換モデルの演算を概説する。ここでは、簡単のため、第１画像Ａと第２画像Ｂとを演算対象とする例を説明する。
【００４７】
一の実施形態の位置ズレ演算部２２は、一例として、式（１）に示す６軸の幾何変換モデルで画像間の位置調整を行う。なお、式（１）は、画像の座標（ｘ，ｙ）が６変数（ｐ0〜ｐ5）の幾何変換モデルによって座標変換される形式で、画像の位置ズレ量を表現している。
【００４８】
【数１】
0005750884.tif 000002
ここで、第１画像Ａと第２画像Ｂとの位置ズレ量の演算は、式（２）の評価値ΔＥを最小化する問題と捉えることができる。
【００４９】
【数２】
0005750884.tif 000003
上記の式（２）では、一方の画像（第１画像Ａ）の座標（ｘ，ｙ）を幾何変換して得た画素値と、他方の画像（第２画像Ｂ）の座標（ｘ，ｙ）の画素値との差の二乗和によって、評価値ΔＥを求めている。上記の評価値ΔＥが小さいほど、２画像間の合致度は高くなる。なお、上記の「ｎ」は画像Ａ，Ｂの差を求める標本点の数を示す。
【００５０】
【数３】
0005750884.tif 000004
【００５１】
【数４】
0005750884.tif 000005
【００５２】
【数５】
0005750884.tif 000006
本明細書において、「ｄｘ」は第２画像Ｂのｘ方向の微分画像を示し、「ｄｙ」は第２画像Ｂのｙ方向の微分画像を示す。また、下付の添字ｎは、各画像における標本点ｎの座標であることを示している。
【００５３】
【数６】
0005750884.tif 000007
図５に示すように、多重解像度で位置ズレ演算を行うことで、低解像度の画像で求めた位置ズレ量の演算結果を、高解像度の画像を用いた位置ズレ量の演算の初期値とすることができ、処理全体での演算量を削減できる。また、低解像度の画像では画像の平滑化が行われることからノイズの影響を低減できる。
【００５４】
一の実施形態での位置ズレ量の演算では、位置ズレ量が微小であるということと、位置ズレ自体を幾何変換モデルで表現可能であることが前提となる。そのため、演算の初期値や、演算の標本点の取り方が演算性能の重要なファクターとなる。
【００５５】
ここで、式（４）に示す行列の要素はｎの累積値となるので、＃１０６の手法で標本点を少なくすれば行列の要素の値を小さくできることが分かる。
【００５６】
【数７】
0005750884.tif 000008
【００５７】
【数８】
0005750884.tif 000009
上記の手法による場合、位置ズレ演算部２２は、行列の各要素を求めるときに低解像度の画像の座標値で演算を行える。低解像度の画像は、そもそも画像が小さいので座標値も相対的に小さな値となる。そのため、上記の手法による場合には、行列演算の各要素の値をより小さな値にできるので、位置ズレの演算において精度を保ちつつ演算規模を抑制することができる。
【００５８】
ステップ＃１０８：画像処理部２３は、＃１０７で求めた位置ズレ量を用いて、第１画像および第２画像の合成を行う。例えば、画像処理部２３は、適正露出よりも露光期間を短くして連写撮影された第１画像および第２画像を合成することで、手ブレの補正された合成画像を生成することができる。また、画像処理部２３は、露光条件を変化させて取得した第１画像および第２画像を合成することで、ダイナミックレンジの広い合成画像を生成することができる。そして、ＣＰＵ１４は、上記の合成画像のデータを記憶装置１３に記録する。以上で、図２の流れ図の説明を終了する。
【００５９】
＜他の実施形態の説明＞
図６は、他の実施形態での撮像装置の構成例を示す図である。他の実施形態は、一の実施形態の画像処理装置を電子カメラ３１に実装した例であって、電子カメラ３１の撮像部３３から画像処理装置が第１画像および第２画像を取得する。
【００６０】
電子カメラ３１は、撮影レンズ３２と、撮像部３３と、画像処理エンジン３４と、第１メモリ３５および第２メモリ３６と、記録Ｉ／Ｆ３７と、操作部３８とを備えている。ここで、撮像部３３、第１メモリ３５、第２メモリ３６、記録Ｉ／Ｆ３７および操作部３８は、それぞれ画像処理エンジン３４と接続されている。
【００６１】
撮像部３３は、撮影レンズ３２によって結像された被写体の像を撮像（撮影）するモジュールである。例えば、撮像部３３は、光電変換を行う撮像素子と、アナログ信号処理を行うアナログフロントエンド回路と、Ａ／Ｄ変換およびデジタル信号処理を行うデジタルフロントエンド回路とを含んでいる。
【００６２】
画像処理エンジン３４は、電子カメラ３１の動作を統括的に制御するプロセッサである。例えば、画像処理エンジン３４は、撮影モードにおいて、ユーザの撮影指示入力に応じて、第１画像および第２画像を撮像部３３に連写撮影させる。また、画像処理エンジン３４は、プログラムの実行により、一の実施形態のＣＰＵ１４（縮小画像生成部２１、位置ズレ演算部２２、画像処理部２３）と同様に動作することができる。
【００６３】
第１メモリ３５は、第１画像および第２画像のデータを一時的に記憶するメモリであって、例えば揮発性の記憶媒体であるＳＤＲＡＭで構成される。また、第２メモリ３６は、画像処理エンジン３４の実行するプログラムを記憶するメモリであって、例えばフラッシュメモリ等の不揮発性メモリで構成される。
【００６４】
記録Ｉ／Ｆ３７は、不揮発性の記憶媒体を接続するためのコネクタを有している。そして、記録Ｉ／Ｆ３７は、コネクタに接続された記憶媒体３９に対して画像のデータの書き込み／読み込みを実行する。上記の記憶媒体３９は、例えば、ハードディスクや、半導体メモリを内蔵したメモリカードである。なお、図６では記憶媒体の一例としてメモリカードを図示する。
【００６５】
操作部３８は、ユーザの操作を受け付ける複数のスイッチを有している。この操作部３８は、例えば、記録用の静止画像の撮影指示を受け付けるレリーズ釦などを含む。
【００６６】
以下、他の態様における電子カメラ３１の動作例を簡単に説明する。他の態様の電子カメラ３１では、ユーザの撮影指示入力に応じて、撮像部３３が第１画像および第２画像を連続的に撮影する。これにより、図２の＃１０１，＃１０２の処理に相当する第１画像および第２画像の取得が行われる。なお、位置合わせの対象となる画像は、動画像（構図確認用のいわゆるスルー画像を含む）の一部のフレームであっても良い。
【００６７】
そして、画像処理エンジン３４は、撮像部３３の取得した第１画像および第２画像を用いて、図２の＃１０３〜＃１０７と同様の手法で画像の位置ズレ量を検出する。その後、画像処理エンジン３４は、図２の＃１０８と同様に位置ズレ量を用いて画像合成処理を実行し、手ブレの補正された合成画像やダイナミックレンジの広い合成画像を生成する。その後、合成画像は記録Ｉ／Ｆ３７を介して記憶媒体３９に記録される。また、画像処理エンジン３４は、不図示の表示部に合成画像を表示してもよい。かかる他の実施形態においても、一の実施形態とほぼ同様の効果を得ることができる。
【００６８】
＜実施形態の補足事項＞
（ａ）上記実施形態で説明した６つの変数（ｐ0〜ｐ5）に代えて、８つの変数による射影変換を実現する幾何変換モデルにおいても、本発明の演算手法を同様に適用できる。
【００６９】
（ｂ）上記実施形態の＃１０６の位置ズレ演算部２２は、注目点と回転対称の標本点候補、注目点とｘ軸対称の標本点候補、注目点とｙ軸対称の標本点候補のいずれか１つを注目点とグループ化するようにしてもよい。
【００７０】
（ｃ）上記実施形態では、画像処理装置の各機能をプログラムによってソフトウエア的に実現する例を説明した。しかし、本発明では、ＡＳＩＣを用いて縮小画像生成部２１、位置ズレ演算部２２、画像処理部２３の各機能をハードウエア的に実現してもかまわない。
【００７１】
以上の詳細な説明により、実施形態の特徴点および利点は明らかになるであろう。これは、特許請求の範囲が、その精神および権利範囲を逸脱しない範囲で前述のような実施形態の特徴点および利点にまで及ぶことを意図する。また、当該技術分野において通常の知識を有する者であれば、あらゆる改良および変更に容易に想到できるはずであり、発明性を有する実施形態の範囲を前述したものに限定する意図はなく、実施形態に開示された範囲に含まれる適当な改良物および均等物によることも可能である。
【符号の説明】
【００７２】
１１…コンピュータ，１２…データ読込部，１３…記憶装置，１４…ＣＰＵ，２１…縮小画像生成部，２２…位置ズレ演算部，２３…画像処理部，３１…電子カメラ，３３…撮像部，３４…画像処理エンジン
【図１】
0005750884.tif 000010
【図２】
0005750884.tif 000011
【図３】
0005750884.tif 000012
【図４】
0005750884.tif 000013
【図５】
0005750884.tif 000014
【図６】
0005750884.tif 000015