(57)【要約】【課題】  好適な撮影が可能な撮像装置を提供する。【解決手段】  装置の振れを検出し検出信号を出力する検出部（２８）と、第１画像（Ｐ１）と、第１画像が取得された時刻とは異なる時刻に取得された第２画像（Ｐ２）とを取得する第１画像取得部（５２）と、第１画像及び第２画像とは異なる第３画像を取得する第２画像取得部（５１）と、第１画像に含まれる第１領域（ＴＭ１）に対応する第２領域（ＴＭ１’’）を、検出信号を用いて第２画像から特定し、第１領域の情報と第２領域の情報とを用いて動きベクトルを取得する動きベクトル取得部（８４）と、動きベクトルを用いて前記装置の振れを補正する補正部（２５）と、を含むことを特徴とする。【選択図】    図４
2010183353.tif 000002
【特許請求の範囲】
【請求項１】
装置の振れを検出し検出信号を出力する検出部と、
第１画像と、前記第１画像が取得された時刻とは異なる時刻に取得された第２画像とを取得する第１画像取得部と、
前記第１画像及び前記第２画像とは異なる第３画像を取得する第２画像取得部と、
前記第１画像に含まれる第１領域に対応する第２領域を、前記検出信号を用いて前記第２画像から特定し、前記第１領域の情報と前記第２領域の情報とを用いて動きベクトルを取得する動きベクトル取得部と、
前記動きベクトルを用いて前記装置の振れを補正する補正部と、を含むことを特徴とする撮影装置。
【請求項２】
請求項１に記載された撮影装置であって、
前記補正部は、前記第２画像取得部により取得される像を形成する光学系の少なくとも一部、及び、前記第２画像取得部の少なくとも一方を駆動することにより、前記装置の振れを補正することを特徴とする撮影装置。
【請求項３】
請求項１又は請求項２に記載された撮影装置であって、
前記検出信号に含まれるパンニング成分を低減させるフィルタ部と、
撮影者が操作可能な操作部とを含み、
前記動きベクトル取得部は、前記撮影者により前記操作部が操作されたとき、前記フィルタ部から出力された信号を用いて前記第２画像から前記第２領域を特定することを特徴とする撮影装置。
【請求項４】
請求項１から請求項３までの何れか１項に記載された撮影装置であって、
前記動きベクトル取得部は、前記検出信号に基づいて前記第２画像に前記第１領域に対応する設定領域を設定し、前記設定領域と前記第１領域との相関が高いときは、前記設定領域を前記第２領域とすることを特徴とする撮影装置。
【請求項５】
請求項４に記載された撮影装置であって、
前記動きベクトル取得部は、前記設定領域と前記前記第１領域との相関が低い場合、前記設定領域の近傍の領域と前記第１領域との相関を演算し、前記設定領域の近傍の領域と前記第１領域との相関が前記設定領域と前記第１領域との相関よりも高いとき、前記設定領域の近傍の領域を前記第２領域とすることを特徴とする撮影装置。
【請求項６】
請求項１から請求項５までの何れか１項に記載された撮影装置であって、
前記第３画像に含まれる主要被写体を検出する主要被写体検出部を有し、
前記第１領域には、前記主要被写体の少なくとも一部が含まれることを特徴とする撮影装置。
【請求項７】
請求項１から請求項５までの何れか１項に記載された撮影装置であって、
前記第３画像の合焦領域を検出する合焦領域検出部を有し、
前記第１領域は、前記合焦領域検出部により検出された前記合焦領域を含むことを特徴とする撮影装置。
【請求項８】
請求項１からから請求項７までの何れか１項に記載された撮影装置であって、
前記第１画像取得部により撮像された前記第１画像及び前記第２画像は、前記第２画像取得部により撮像された前記第３画像よりも被写界深度が深いことを特徴とする撮影装置。
【請求項９】
請求項１から請求項８までの何れか１項に記載された撮影装置であって、
前記第１画像取得部により撮像された前記第１画像及び前記第２画像は、前記第２画像取得部により撮像された前記第３画像よりも広角の画像であることを特徴とする撮影装置。
【請求項１０】
請求項１からから請求項９までの何れか１項に記載された撮影装置であって、
前記第１画像取得部は、前記第１画像及び前記第２画像を形成するための第１光学系を有し、
前記第２画像取得部は、前記第１光学系よりも狭角な前記第３画像を形成するための第２光学系を有することを特徴とする撮影装置。
【請求項１１】
請求項１から請求項１０までの何れか１項に記載された撮影装置であって、
前記第１画像取得部は、前記第２画像を取得した後、前記第１画像、前記第２画像及び前記第３画像とは異なる第４画像を取得し、
前記動きベクトル取得部は、前記第２画像の前記第２領域に対応する第４領域を、前記検出信号を用いて前記第４画像から特定し、前記第２領域の情報と前記第４領域の情報とを用いて動きベクトルを取得することを特徴とする撮影装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影時に生じるブレを補正するブレ補正機能を備えた撮影装置に関する。
【背景技術】
【０００２】
撮影光学系における光軸のブレを補正するブレ補正装置や、そのようなブレ補正装置を備えた撮影装置などが知られている。これらの装置の中には、撮影光学系の一部と撮像素子（またはフィルム）とのいずれかを物理的に移動させることによりブレを補正するものがある。また、この他に、露光時間を分割して繰り返し撮像を行い、該撮像で得られた複数の画像を撮影光学系の光軸のブレとから求められる動きベクトルに基づいて合成する装置も提案されている。
【発明の概要】
【発明が解決しようとする課題】
【０００３】
本発明は、好適な撮影が可能な撮影装置を提供することを目的とする。
【課題を解決するための手段】
【０００４】
本発明は、以下のような解決手段により前記課題を解決する。なお、理解を容易にするために、本発明の一実施例を示す図面に対応する符号を付して説明するが、これに限定されるものではない。
【０００５】
請求項１に記載の発明は、装置の振れを検出し検出信号を出力する検出部（２８）と、
第１画像（Ｐ１）と、前記第１画像（Ｐ１）が取得された時刻とは異なる時刻に取得された第２画像（Ｐ２）とを取得する第１画像取得部（５２）と、
前記第１画像（Ｐ１）及び前記第２画像（Ｐ２）とは異なる第３画像を取得する第２画像取得部（５１）と、
前記第１画像（Ｐ１）に含まれる第１領域（ＴＭ１）に対応する第２領域（ＴＭ１’’）を、前記検出信号を用いて前記第２画像（Ｐ２）から特定し、前記第１領域（ＴＭ１）の情報と前記第２領域（ＴＭ１’’）の情報とを用いて動きベクトルを取得する動きベクトル取得部（８４）と、
前記動きベクトルを用いて前記装置の振れを補正する補正部（２５）とを含むことを特徴とする撮影装置である。
【０００６】
請求項２に記載の発明は、請求項１に記載された撮影装置であって、
前記補正部（２５）は、前記第２画像取得部（５１）により取得される像を形成する光学系（２１）の少なくとも一部、及び、前記第２画像取得部（５１）の少なくとも一方を駆動することにより、前記装置の振れを補正することを特徴とする撮影装置である。
【０００７】
請求項３に記載の発明は、請求項１又は請求項２に記載された撮影装置であって、
前記検出信号に含まれるパンニング成分を低減させるフィルタ部と、
撮影者が操作可能な操作部（７４）とを含み、
前記動きベクトル取得部（８４）は、前記撮影者により前記操作部（７４）が操作されたとき、前記フィルタ部から出力された信号を用いて前記第２画像（Ｐ２）から前記第２領域（ＴＭ１’’）を特定することを特徴とする撮影装置である。
【０００８】
請求項４に記載の発明は、請求項１から請求項３までの何れか１項に記載された撮影装置であって、
前記動きベクトル取得部（８４）は、前記検出信号に基づいて前記第２画像（Ｐ２）に前記第１領域（ＴＭ１）に対応する設定領域（ＴＭ１’）を設定し、前記設定領域（ＴＭ１’）と前記第１領域（ＴＭ１）との相関が高いときは、前記設定領域（ＴＭ１’）を前記第２領域（ＴＭ１’’）とすることを特徴とする撮影装置である。
【０００９】
請求項５に記載の発明は、請求項４に記載された撮影装置であって、
前記動きベクトル取得部（８４）は、前記設定領域（ＴＭ１’）と前記第１領域（ＴＭ１）との相関が低い場合、前記設定領域（ＴＭ１’）の近傍の領域と前記第１領域（ＴＭ１）との相関を演算し、前記設定領域（ＴＭ１’）の近傍の領域と前記第１領域（ＴＭ１）との相関が前記設定領域（ＴＭ１’）と前記第１領域（ＴＭ１）との相関よりも高いとき、前記設定領域（ＴＭ１’）の近傍の領域を前記第２領域（ＴＭ１’’）とすることを特徴とする撮影装置である。
【００１０】
請求項６に記載の発明は、請求項１から請求項５までの何れか１項に記載された撮影装置であって、
前記第３画像に含まれる主要被写体を検出する主要被写体検出部を有し、
前記第１領域（ＴＭ１）には、前記主要被写体の少なくとも一部が含まれることを特徴とする撮影装置である。
【００１１】
請求項７に記載の発明は、請求項１から請求項５までの何れか１項に記載された撮影装置であって、
前記第３画像の合焦領域を検出する合焦領域検出部（３５）を有し、
前記第１領域（ＴＭ１）は、前記合焦領域検出部（３５）により検出された前記合焦領域に対応する領域を含むことを特徴とする撮影装置である。
【００１２】
請求項８に記載の発明は、請求項１からから請求項７までの何れか１項に記載された撮影装置であって、
前記第１画像取得部（５２）により撮像された前記第１画像（Ｐ１）及び前記第２画像（Ｐ２）は、前記第２画像取得部（５１）により撮像された前記第３画像よりも被写界深度が深いことを特徴とする撮影装置である。
【００１３】
請求項９に記載の発明は、請求項１から請求項８までの何れか１項に記載された撮影装置であって、
前記第１画像取得部（５２）により撮像された前記第１画像（Ｐ１）及び前記第２画像（Ｐ２）は、前記第２画像取得部（５１）により撮像された前記第３画像よりも広角の画像であることを特徴とする撮影装置である。
【００１４】
請求項１０に記載の発明は、請求項１からから請求項９までの何れか１項に記載された撮影装置であって、
前記第１画像取得部（５２）は、前記第１画像（Ｐ１）及び前記第２画像（Ｐ２）を形成するための第１光学系（４１）を有し、
前記第２画像取得部（５１）は、前記第１光学系（４１）よりも狭角な前記第３画像を形成するための第２光学系（２１）を有することを特徴とする撮影装置である。
【００１５】
請求項１１に記載の発明は、請求項１から請求項１０までの何れか１項に記載された撮影装置であって、
前記第１画像取得部（５２）は、前記第２画像（Ｐ２）を取得した後、前記第１画像（Ｐ１）、前記第２画像（Ｐ２）及び前記第３画像とは異なる第４画像を取得し、
前記動きベクトル取得部（８４）は、前記第２画像（Ｐ２）の前記第２領域（ＴＭ１’’）に対応する第４領域を、前記検出信号を用いて前記第４画像から特定し、前記第２領域（ＴＭ１’’）の情報と前記第４領域の情報とを用いて動きベクトルを取得することを特徴とする撮影装置である。
【００１６】
なお、符号を付して説明した構成は適宜改良してもよく、また、少なくとも一部を他の構成物に代替してもよい。
【発明の効果】
【００１７】
本発明によれば、好適な撮影が可能な撮影装置を提供することができる。
【図面の簡単な説明】
【００１８】
【図１】電子カメラの構成を示す図である。
【図２】電子カメラの回路構成を示す図である。
【図３】角速度センサにより求められる移動ベクトルを、手ブレ成分とパンニング成分とに分解したときの図である。
【図４】第１ズレ補正モードが選択されたときに得られる第１画像及び第２画像における撮影範囲及び被写体の位置を示す図である。
【図５】撮影範囲を固定したときに、時間Ｔ１から時間Ｔ２に変化したときの被写体の位置を示す図である。
【図６】第２ズレ補正モードが選択されたときに得られる第1画像及び第２画像における撮影範囲及び被写体の位置を示す図である。
【図７】撮影範囲を固定したときに、時間Ｔ３から時間Ｔ４に変化したときの被写体の位置を示す図である。
【図８】撮像時の処理の流れを示すフローチャートである。
【発明を実施するための形態】
【００１９】
図１は、本実施形態の撮影装置の一例としての電子カメラの概略を示す。電子カメラ１０は、カメラ本体１１と、撮影光学系を収容したレンズユニット１２とを有している。カメラ本体１１及びレンズユニット１２には、雄雌の関係をなす一対のマウント１３，１４がそれぞれ設けられている。レンズ側のマウント１４をバヨネット機構等でカメラ本体１１側のマウント１３に結合することで、レンズユニット１２はカメラ本体１１に対して交換可能に装着される。また、上記のマウント１３，１４にはそれぞれ電気接点（不図示）が設けられている。カメラ本体１１とレンズユニット１２との接続時には、電気接点間の接触で両者の電気的な接続が確立するようになっている。
【００２０】
まず、レンズユニット１２の構成を説明する。レンズユニット１２は、撮像光学系２１と、ズームエンコーダ２２と、レンズ駆動部２３と、距離エンコーダ２４と、ブレ補正部２５と、絞り２６と、絞り駆動部２７と、角速度センサ２８と、レンズマイコン２９とを有している。なお、ズームエンコーダ２２、レンズ駆動部２３、距離エンコーダ２４、ブレ補正部２５及び絞り駆動部２７は、それぞれレンズマイコン２９に接続されている。以下、このレンズユニット１２に設けられる撮像光学系２１を第１撮像光学系２１と称して説明する。
【００２１】
第１撮像光学系２１は、ズームレンズ２１ａやフォーカスレンズ２１ｂ等、複数のレンズを有している。ズームレンズ２１ａは焦点距離を調整するためのレンズであって、ズーム環（不図示）の操作に応じて光軸方向に前後移動可能に構成されている。このズームレンズ２１ａには、レンズの光軸方向位置を検出するズームエンコーダ２２が取り付けられている。フォーカスレンズ２１ｂは合焦位置を調節するためのレンズであって、光軸方向に前後移動可能に構成されている。レンズ駆動部２３はフォーカスレンズ２１ｂをモータ（不図示）によって駆動させる。このフォーカスレンズ２１ｂには、光軸方向に移動するフォーカスレンズ２１ｂの位置を検出する距離エンコーダ２４が取り付けられている。上述したズームエンコーダ２２からの検出信号や、距離エンコーダ２４からの検出信号は、レンズマイコン２９に出力される。これら検出信号より、撮影時の撮影距離や焦点距離が求められる。なお、撮影距離や焦点距離はレンズマイコン２９又は後述するＣＰＵ５８にて求められ、第１撮像光学系２１と第２撮像光学系４１との視差補正時に用いられる。
【００２２】
ブレ補正部２５は、例えば、ＶＣＭ（ボイスコイルモータ）等のアクチュエータであり、後述する相関演算部８６により求められるブレ量に基づいて第１撮像光学系２１の少なくとも一部のレンズを光軸方向と直交する方向に移動させ、撮影時に生じるブレを補正する。
【００２３】
絞り２６は、カメラ本体１１への入射光量を絞り羽根の開閉で調整する。絞り駆動部２７は、絞り２６の開口度をモータ（不図示）によって制御する。
【００２４】
角速度センサ２８は、レンズユニット１２の姿勢が変化したときのレンズユニット１２の角速度を検出する。例えば動いている被写体を追って電子カメラ１０を移動させる、所謂パンニングを行う場合や、ユーザが電子カメラ１０を把持する際にカメラ本体１１のブレ（手ブレ）が生じた場合に、レンズユニット１２の姿勢が変化するので、このような場合に、角速度センサ２８により角速度が検出される。つまり、この角速度センサ２８によって、レンズユニット１２及びカメラ本体１１の角速度、言い換えれば第１撮像光学系２１の角速度が検出される。この角速度は、第２撮像光学系４１の角速度に等しい。
【００２５】
レンズマイコン２９は、マウント１４の電気接点を介してカメラ本体１１との通信を行うとともに、レンズユニット１２での各種制御を実行する。また、レンズマイコン２９は、ＲＯＭ（不図示）に記録されたレンズデータなどをカメラ本体１１に送信する。
【００２６】
ところで、図１に示すレンズユニット１２は一般的なズームレンズユニットの構成の一例にすぎない。そのため、カメラ本体１１には、上記のレンズユニット１２のほかにも、例えばレンズマイコン２９を有しないレンズユニットや、単焦点レンズのレンズユニットなどを装着することが可能である。
【００２７】
また、レンズユニット１２がカメラ本体１１に着脱自在な、所謂一眼レフタイプの電子カメラの例を取り上げているが、これに限定する必要はなく、レンズユニット１２がカメラ本体１１に固定される、所謂コンパクトタイプの電子カメラであってもよい。
【００２８】
次に、カメラ本体１１の撮影機構の構成を説明する。カメラ本体１１は、クイックリターンミラー３１と、メカニカルシャッタ３２と、第１撮像素子３３と、サブミラー３４と、焦点検出部３５と、ファインダ光学系（３６〜３９）と、第２撮像光学系４１及び第２撮像素子４２を有している。
【００２９】
クイックリターンミラー３１、メカニカルシャッタ３２及び第１撮像素子３３は、第１撮像光学系２１の光軸に沿って配置される。クイックリターンミラー３１の後方にはサブミラー３４が配置される。また、カメラ本体１１の上部にはファインダ光学系、第２撮像光学系４１及び第２撮像素子４２が配置されている。さらに、カメラ本体１１の下部領域には焦点検出部３５が配置されている。
【００３０】
クイックリターンミラー３１は、不図示の回動軸によって回動可能に軸支されており、観察状態と退避状態とを切り替え可能となっている。観察状態のクイックリターンミラー３１は、メカニカルシャッタ３２及び第１撮像素子３３の前方で傾斜配置される。この観察状態のクイックリターンミラー３１は、第１撮像光学系２１を通過した光束を上方へ反射してファインダ光学系に導く。また、クイックリターンミラー３１の中央部はハーフミラーとなっている。そして、クイックリターンミラー３１を透過した一部の光束は、サブミラー３４によって下方に屈折されて焦点検出部３５に導かれる。なお、焦点検出部３５は、不図示のセパレータレンズで分割された被写体像の像ズレ量を各々のＡＦエリア毎に検出し、いわゆる位相差検出式の焦点検出を行う。
【００３１】
一方、退避状態のクイックリターンミラー３１は、サブミラー３４とともに上方に跳ね上げられて撮影光路から外れた位置に回動する。クイックリターンミラー３１が退避状態にあるときは、第１撮像光学系２１を通過した光束がメカニカルシャッタ３２及び第１撮像素子３３に導かれる。
【００３２】
ファインダ光学系は、拡散スクリーン（焦点板）３６と、コンデンサレンズ３７と、ペンタプリズム３８と、接眼レンズ３９とを有している。拡散スクリーン３６はクイックリターンミラー３１の上方に位置し、観察状態のクイックリターンミラー３１で反射された光束が一旦結像する。拡散スクリーン３６上で結像した光束はコンデンサレンズ３７及びペンタプリズム３８を通過し、ペンタプリズム３８の入射面に対して９０°の角度を有する射出面に導かれる。そして、ペンタプリズム３８の射出面からの光束は、接眼レンズ３９を介してユーザの目に到達することとなる。
【００３３】
第２撮像光学系４１及び第２撮像素子４２は例えばカメラ本体１１上部に設けられる。この第２撮像光学系４１は、第１撮像光学系２１の光軸に平行な直線を光軸とするように配置される。これら第２撮像光学系４１及び第２撮像素子４２は、後述するブレ量を算出するための画像（以下、演算用画像）を取得する際に用いられる。このため、第２撮像光学系４１は、第１撮像光学系２１の画角を含有しつつ、第１撮像光学系２１よりもイメージサークルの小さい光学系から構成される。なお、第２撮像素子４２は、例えば毎秒２００枚など、所定間隔毎に演算用画像を取得するように制御される。この第２撮像素子４２においては、例えば１万画素など、第１撮像素子３３よりも画素数が少ないものが用いられる。
【００３４】
次に、電子カメラ１０の回路構成について、図２を用いて説明する。カメラ本体１１は、第１画像取得部５１、第２画像取得部５２、メモリ５３、記録Ｉ／Ｆ５４、表示Ｉ／Ｆ５５、メインモニタ５６、操作部５７、ＣＰＵ５８及びシステムバス５９を有している。ここで、第１画像取得部５１、メモリ５３、記録Ｉ／Ｆ５４、表示Ｉ／Ｆ５５及びＣＰＵ５８はシステムバス５９を介して接続されている。なお、ＣＰＵ５８は、マウント１３の電気接点とも接続されている（図示省略）。
【００３５】
第１画像取得部５１は、第１撮像素子３３、第１アナログ処理部６１、第１デジタル処理部６２を有している。第１撮像素子３３は、記録用画像である撮影画像を生成するためのセンサである。この第１撮像素子３３は、レリーズ時に第１撮像光学系２１を通過した光束を光電変換して撮影画像のアナログ画像信号を出力する。第１撮像素子３３の出力信号は第１アナログ処理部６１に入力される。なお、第１撮像素子３３は、撮影待機時（非レリーズ時）に所定間隔毎に間引き読み出しでスルー画像を出力することもできる。そのため、クイックリターンミラー３１が退避位置にある場合には、ＣＰＵ５８が第１撮像素子３３のスルー画像によって撮影条件を決定することも可能である。
【００３６】
第１アナログ処理部６１は、ＣＤＳ回路、ゲイン回路、Ａ／Ｄ変換回路などを有するアナログフロントエンド回路である。ＣＤＳ回路は、相関二重サンプリングによって第１撮像素子３３の出力のノイズ成分を低減する。ゲイン回路は入力信号の利得を増幅して出力する。このゲイン回路では、ＩＳＯ感度に相当する撮像感度の調整を行うことができる。Ａ／Ｄ変換回路は第１撮像素子３３の出力信号のＡ／Ｄ変換を行う。なお、図２では、第１アナログ処理部６１の各々の回路の図示は省略する。
【００３７】
第１デジタル処理部６２は、第１アナログ処理部６１の出力信号に対して各種の画像処理（欠陥画素補正、色補間、階調変換処理、ホワイトバランス調整、エッジ強調など）を実行して撮影画像のデータを生成する。また、第１デジタル処理部６２は、撮影画像のデータの圧縮伸長処理なども実行する。この第１デジタル処理部６２はシステムバス５９と接続されている。
【００３８】
第２画像取得部５２は、第２撮像素子４２、第２アナログ処理部６３、第２デジタル処理部６４を有している。なお、第２画像取得部５２の構成は第１画像取得部５１の構成にほぼ対応するので、両者の重複部分については説明を一部省略する。第２撮像素子４２は、第２撮像光学系４１を通過して結像した被写体像を所定間隔毎に光電変換することで、後述するブレ量を算出する際に用いる画像（以下、演算用画像）を取得する。第２撮像素子４２の出力信号は、第２アナログ処理部６３に入力される。上述したように、第２撮像光学系４１は、第１撮像光学系２１の画角を含有しつつ、第１撮像光学系２１よりもイメージサークルの小さい光学系から構成されることから、この第２画像取得部５２により取得される画像（演算用画像）は、第１画像取得部５１により取得される撮影画像よりも被写体深度が深く、また、その画角が第１画像取得部５１により取得される撮影画像よりも広角となる。
【００３９】
第２アナログ処理部６３は、ＣＤＳ回路、ゲイン回路、Ａ／Ｄ変換回路などを有するアナログフロントエンド回路である。第２デジタル処理部６４は、演算用画像の色補間処理などを実行する。なお、第２デジタル処理部６４から出力された演算用画像のデータはＣＰＵ５８に入力される。
【００４０】
メモリ５３は、第１デジタル処理部６２による画像処理の前工程や後工程などで撮影画像のデータを一時的に記録するためのバッファメモリである。記録Ｉ／Ｆ５４には記録媒体６６を接続するためのコネクタが形成されている。そして、記録Ｉ／Ｆ５４は、コネクタに接続された記録媒体６６に対して撮影画像のデータの書き込み／読み込みを実行する。上記の記録媒体６６は、ハードディスクや、半導体メモリを内蔵したメモリカードなどから構成される。
【００４１】
表示Ｉ／Ｆ５５は、ＣＰＵ５８の指示に基づいてメインモニタ５６の表示を制御する。メインモニタ５６は、例えばカメラ本体１１の背面部などに配置される。メインモニタ５６は、ＣＰＵ５８及び表示Ｉ／Ｆ５５の指示に応じて各種の画像を表示する。例えば、メインモニタ５６には、撮影画像の再生画像やＧＵＩ(Graphical User Interface)形式の入力が可能なメニュー画面などを表示できる（上記の各画像の図示は省略する）。
【００４２】
操作部５７は、レリーズボタン７１、モードダイヤル７２、ズームスイッチ７３及び補正モード切替スイッチ７４など、ユーザの操作を受け付ける複数のスイッチを有している。レリーズボタン７１は、撮影前のＡＦ動作開始の指示入力と撮影時の露光動作開始の指示入力とをユーザから受け付ける。モードダイヤル７２は、そのダイヤル操作により撮影モードの切替入力をユーザから受け付ける。ズームスイッチ７３は、第１撮像素子３３により取得されるスルー画像の倍率を光学的または電子的に拡大／縮小する操作をユーザから受け付ける。
【００４３】
補正モード切替スイッチ７４は、ブレ補正を行うモード（以下、ブレ補正モード）を選択する操作をユーザから受け付ける。撮影時には、カメラ本体１１のブレ（以下、手ブレ成分）、カメラ本体１１のパンニング（以下、パンニング成分）及び被写体自体のブレ（以下、被写体ブレ成分）等が発生することにより、取得される撮影画像はブレが生じた画像となる。ブレ補正モードは、これらブレ成分のうち、予めユーザの意図するブレ成分を補正できるように複数のブレ補正モードが設けられている。これらブレ補正モードとしては、第１ブレ補正モード、第２ブレ補正モードとして説明する。第１ブレ補正モードは、手ブレ成分、パンニング成分及び被写体ブレ成分の全てを補正するモードである。一方、第２ブレ補正モードは、手ブレ成分及び被写体ブレ成分を補正するモードである。
【００４４】
以下、補正モード切替スイッチ７４の機能について、静止画像を撮影画像として取得する場合を例にして説明する。
【００４５】
図３に示すように、角速度センサ２８により検出される角速度の基になる検出信号から、所定時間における第１撮像光学系２１の像面上での移動ベクトルＡΔTを求めることができる。この検出信号に対してフィルタ処理を行い、高周波成分と、低周波成分とに分離する。このうち、低周波成分はパンニング成分ＢΔTとなり、高周波成分は手ブレ成分は手ブレ成分ＣΔTとなる。すなわち、ＡΔT＝ＢΔT＋ＣΔT（式１）となる。
【００４６】
補正モード切替スイッチ７４により、第１ブレ補正モードが選択されているときには、パンニング成分ＢΔT、手ブレ成分ＣΔT、及び、被写体ブレ成分ＤΔT（図４参照）についてブレ補正を行う。一方、補正モード切替スイッチ７４により、第２ブレ補正モードが選択されているときには、パンニング成分ＢΔTは補正せずに、手ブレ成分ＣΔT、及び、被写体ブレ成分ＤΔTについてブレ補正を行う。
【００４７】
ＣＰＵ５８は電子カメラ１０の各部の統括的な制御を行う。また、ＣＰＵ５８は、不図示のＲＯＭに格納されたプログラムによって、シーケンス制御部８１、撮影設定部８２、視差補正部８３及び動きベクトル取得部８４として機能する。シーケンス制御部８１は、レンズユニット１２、クイックリターンミラー３１、メカニカルシャッタ３２、第１画像取得部５１、第２画像取得部５２などの動作の制御などを実行する。
【００４８】
撮影設定部８２は、オートフォーカス（ＡＦ）を行うとともに、自動露出（ＡＥ）演算、オートホワイトバランス（ＡＷＢ）演算などを実行し、第１画像取得部５１における撮影条件の各種パラメータ（露光時間、絞り値、撮像感度など）を決定する。また、撮影設定部８２は、第２画像取得部５２のＡＥ、ＡＷＢに関する処理も負担する。なお、第２撮像光学系４１にフォーカスレンズを有している場合には、この撮影設定部８２によって、第２撮像光学系４１におけるＡＦを行う。
【００４９】
視差補正部８３は、第１画像取得部５１で取得される画像（撮影画像、スルー画像）と、第２画像取得部５２で取得される画像（演算用画像）との間で生じる視差を補正する。第１画像取得部５１と第２画像取得部５２とは、それぞれの光学系における焦点距離や撮影倍率等の撮影条件が異なる。このため、第１画像取得部５１により取得される撮影画像と、第２画像取得部５２により取得される演算用画像とでは視差が発生する。視差補正部８３は、それぞれの画像取得部５１，５２における撮影範囲の関係や、それぞれの画像取得部５１，５２で取得される画像の大きさに対する比率などを算出する。
【００５０】
動きベクトル取得部８４は、第２画像取得部５２によって所定間隔毎に取得される演算用画像のうち、隣り合う２つの演算用画像（演算用画像Ｐ１、演算用画像Ｐ２。図４参照。）を用いて、これら演算用画像において生じる動きベクトルを取得する。この動きベクトル取得部８４は、推定部８５及び相関演算部８６を有している。
【００５１】
次に、電子カメラ１０により撮影画像を取得する際の処理の流れを図８のフローチャートに基づいて説明する。なお、図８のフローチャートは、撮影待機状態に移行したことを契機にして実行される。
【００５２】
ステップＳ１１０において、ＣＰＵ５８はレリーズボタン７１が半押しされたか否かを判断する。ＣＰＵ５８はレリーズボタン７１が半押しされていると判断した場合、ステップＳ１１１に進む。ＣＰＵ５８はレリーズボタン７１が半押しされていないと判断した場合、所定時間経過後に再びステップＳ１１０を行う。
【００５３】
ステップＳ１１１は、演算用画像Ｐ０（図示せず）を取得する処理である。ＣＰＵ５８は、第２画像処理部５２を制御して演算用画像Ｐ０を取得する。ステップＳ１１２において、ＣＰＵ５８は演算用画像Ｐ０の主要被写体（以下、被写体と称することがある）が存在する被写体領域ＴＭ０（図示せず）を決定する。領域ＴＭ０は、例えば、人の顔などの主要被写体を含む領域である。被写体領域ＴＭ０を決定する方法としては、レリーズボタンを全押しする直前に取得された演算用画像Ｐ０においてピントが合っている領域、所謂合焦領域とする方法や、特徴量抽出による顔検出などの被写体認識技術を用いて決定する方法や、タッチパネルなどを用いてユーザ自身が直接決定する方法などが挙げられる。
【００５４】
次に、ＣＰＵ５８は、ステップＳ１１３において、レリーズボタン７１が全押しがされているかを判断し、全押しがされていると判断したらステップＳ１１４に進む。全押しがされていないと判断した場合、ステップＳ１１１に戻る。ステップＳ１１４において、ＣＰＵ５８は第１画像処理部５１に電荷の蓄積を開始させ、ステップＳ１２１に進む。
【００５５】
ステップＳ１２１において、ＣＰＵ５８は、第２画像処理部５２を制御して時刻Ｔ１に、演算用画像Ｐ１（図４、図５参照）を取得し、ステップＳ１２２に進む。ステップＳ１２２において、ＣＰＵ５８は、演算用画像Ｐ１のテンプレート領域ＴＭ１（図４、図５参照）の画像を取得する。具体的には、ＣＰＵ５８は、時間Ｔ１における演算用画像Ｐ１から、被写体領域ＴＭ０に含まれる主要被写体を含む領域を抽出し、演算用画像Ｐ１のテンプレート領域ＴＭ１とする（図４、図５参照）。
【００５６】
テンプレート領域ＴＭ１は、演算用画像Ｐ１の一部であって、演算用画像Ｐ０の領域ＴＭ０に対応する部分である。例えば、テンプレート領域ＴＭ１には、領域ＴＭ０に含まれる主要被写体と同一の主要被写体が存在する。
【００５７】
次に、ステップＳ１３１（時刻Ｔ２）において、ＣＰＵ５８は、演算用画像Ｐ１に時間的に連続した演算用画像Ｐ２を取得する。なお、ＣＰＵ５８には、第２画像処理部５２から演算用画像の基になる画像信号が所定時間毎（例えば、１０−５〜１０−１秒間隔毎）に入力されており、演算用画像Ｐ１、演算用画像Ｐ２、演算用画像ＰＭ（Ｍは任意の自然数）を順次に取得可能である。
【００５８】
以下、図４〜図７を参照して、ステップＳ１３２〜Ｓ１３４（動きベクトルを取得し、ブレ補正量を算出し、ブレ補正をするステップ）について詳細に説明する。
【００５９】
図４、図５は、補正モード切替スイッチ７４（図２参照）により第１ブレ補正モード（手ブレ成分、パンニング成分及び被写体ブレ成分の全てを補正するモード）が選択されている場合を説明する図である。図４は連続した２つの演算用画像（演算用画像Ｐ１、演算用画像Ｐ２）のそれぞれの位置関係を示す図、図５は図４に示した状態について、撮影範囲を固定して表現したものである。
【００６０】
図４、図５において、被写体領域（被写体Ｉ、Ｉ’、Ｉ’’）は「△」で示されている。上述したように、時間Ｔ１（ステップＳ１２１）において演算用画像Ｐ１が取得され、ステップＳ１２２においてテンプレート領域ＴＭ１が取得され、時間Ｔ２（ステップＳ１３１）において演算用画像Ｐ２が取得されている。
【００６１】
ステップＳ１３２では、ＣＰＵ５８は、演算用画像Ｐ２からテンプレート領域ＴＭ１と最も相関の高い領域（テンプレート領域ＴＭ１’’）を抽出し、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’’との差（ズレ量）から動きベクトルを取得する。
【００６２】
図４、図５において、時間Ｔ１から時間Ｔ２までの電子カメラ１０の姿勢変化（手振れ）により、演算用画像Ｐ２の撮影範囲は、演算用画像Ｐ１の撮影範囲に対して第２撮像光学系４１の像面上の移動ベクトルＡΔT分ずれる。このため、ＣＰＵ５８は、時間Ｔ２における演算用画像Ｐ２の被写体I’の位置を推定するため、角速度センサ２８（図１参照）を用いて角速度を検出し、この角速度を第２撮像光学系４１の移動ベクトルＡΔTに換算する。
【００６３】
次に、ＣＰＵ５８（相関演算部８６）は、移動ベクトルＡΔTを用いて、領域ＴＭ１から−ＡΔT移動させた位置にテンプレート領域ＴＭ１と同一の大きさのテンプレート領域ＴＭ１’を設定し、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’との相関演算を実行する。相関演算部８６は、相関演算の結果、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’との相関が高ければ、テンプレート領域ＴＭ１’をテンプレート領域ＴＭ１’’とする。相関演算としては、例えば、２つの画像を例えば１画素毎にずらしたときの類似度を算出し、該類似度が最も高くなる位置（或いは、ずらし量）を求めるテンプレートマッチング演算が挙げられる。
【００６４】
次に、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’との相関が低い場合、相関演算部８６は、演算用画像Ｐ２のテンプレート領域ＴＭ１’の近傍について、テンプレート領域ＴＭ１を縦方向（図５の紙面の上下方向）及び横方向（図５の紙面の左右方向）にずらしながら相関演算を実行する。これにより、テンプレート領域ＴＭ１に対する類似度が最も高くなるテンプレート領域ＴＭ１’’が求まる。
【００６５】
次に、ＣＰＵ５８（動きベクトル取得部８４）は、テンプレート領域ＴＭ１’’とテンプレート領域ＴＭ１’との差（位置ズレ量）である被写体ブレ成分ＤΔTを求める。
【００６６】
なお、Ｔ１〜Ｔ２の間に被写体が静止しておらず、被写体ブレが発生していれば、図４、図５に示すように、時間Ｔ２における被写体の位置（被写体Ｉ’’）は、時間Ｔ２における被写体Ｉ’からＤΔT分ずれた位置にある。また、Ｔ１〜Ｔ２の間に被写体が静止しており、被写体ブレがないものと仮定すれば、演算用画像Ｐ２における被写体の位置（被写体Ｉ’’）は、時間Ｔ２における被写体Ｉ’と一致する。
【００６７】
次に、動きベクトル取得部８４は、時刻Ｔ１〜Ｔ２間の全ブレ成分ＥΔTを動きベクトル（第２撮像光学系４１の像面上での動きベクトル）として取得する。第１ブレ補正モードでは、全ブレ成分ＥΔTは、ＥΔT＝−ＡΔT＋ＤΔT＝−（ＢΔT＋ＣΔT）＋ＤΔTとなる。上述したように、移動ベクトルＡΔTはパンニング成分ＢΔTと手ブレ成分ＣΔTである。
【００６８】
次に、ステップＳ１３３において、ＣＰＵ５８は、ステップＳ１３２で算出された動きベクトルを第１撮像光学系２１の像面上での動きベクトルに換算し、第１撮像光学系２１の像面上でのブレ補正量を求める。
【００６９】
次に、ステップＳ１３４において、ＣＰＵ５８はブレ補正を実行する。具体的には、ＣＰＵ５８は、動きベクトル（ブレ補正量）に基づいて、レンズマイコン２９を介してブレ補正部２５（図１参照）を駆動することにより、撮影時に生じるブレを補正する。このように、第１ブレ補正モードでは、被写体が撮影範囲の所定位置に固定されるようにブレ補正が実行される。
【００７０】
次に、図６、図７を参照して、補正モード切替スイッチ７４（図２参照）により第２ブレ補正モード（手ブレ成分及び被写体ブレ成分を補正するモード）が選択されている場合のステップＳ１３２〜Ｓ１３４（動きベクトルを取得し、ブレ補正量を算出し、ブレ補正をするステップ）を詳細に説明する。
【００７１】
図６は連続した２つの演算用画像のそれぞれの位置関係を示す図、図７は撮影範囲を固定したときの被写体のブレを示す図である。図６、図７において、図４、図５の同様の構成には同様の参照符号を付し、詳細な説明を省略する。
【００７２】
図６、図７において、被写体領域（被写体Ｊ、Ｊ’）は「△」で示されている。図４、図５と同様に、時間Ｔ３（ステップＳ１２１）において演算用画像Ｐ３が取得され、ステップＳ１２２においてテンプレート領域ＴＭ１が取得され、時間Ｔ４（ステップＳ１３１）において演算用画像Ｐ４が取得されている。また、図６、図７においては、説明を簡単にするため、時間Ｔ３から時間Ｔ４までのパンニング成分ＢΔTを横方向のみとし、手振れ成分ＣΔTを縦方向のみとしている。
【００７３】
ステップＳ１３２では、ＣＰＵ５８は、演算用画像Ｐ４からテンプレート領域ＴＭ１と最も相関の高い領域（テンプレート領域ＴＭ１’’）を抽出し、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’’との差（ズレ量）から動きベクトルを取得する。
【００７４】
第２ブレ補正モードは、例えば、ユーザが移動している被写体に合わせて電子カメラ１０をパンニングさせ被写体の静止画像を撮影画像として取得する際に選択される。この第２ブレ補正モードは、手ブレ成分ＣΔT及び被写体ブレ成分ＤΔTを補正し、パンニング成分ＢΔTに対してはブレ補正を行わないモードである。ここで、被写体ブレ成分とは、移動被写体に合わせてユーザがパンニングしたとき、それでも残る像面上での被写体移動量を指す。
【００７５】
図６、図７において、ユーザによるパンニングにより、演算用画像Ｐ４の撮影範囲は、演算用画像Ｐ３の撮影範囲に対して第２撮像光学系４１の像面上の移動ベクトルＡΔT分ずれる。
【００７６】
ＣＰＵ５８は、パンニング対象の被写体が撮影範囲の所定位置に固定されるように、ユーザによるパンニングを考慮して、電子カメラ１０が姿勢変化（手振れ）した時間Ｔ４における演算用画像Ｐ４の被写体Ｊ’の位置を推定するため、角速度センサ２８（図１参照）を用いて角速度を検出し、この角速度からパンニング成分ＢΔT分を除外して第２撮像光学系４１の移動ベクトルＣΔTに換算する。移動ベクトルＡΔTのうち、パンニング成分ＢΔTに対してはブレ補正を行わないからである。
【００７７】
次に、ＣＰＵ５８（相関演算部８６）は、移動ベクトルＣΔTを用いて、領域ＴＭ１から−ＣΔT移動させた位置にテンプレート領域ＴＭ１と同一の大きさのテンプレート領域ＴＭ１’を設定し、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’との相関演算を実行する。相関演算部８６は、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’との相関が高ければ、テンプレート領域ＴＭ１’をテンプレート領域ＴＭ１’’とする。
【００７８】
次に、テンプレート領域ＴＭ１とテンプレート領域ＴＭ１’との相関が低い場合、相関演算部８６は、演算用画像Ｐ４のテンプレート領域ＴＭ１’の近傍について、テンプレート領域ＴＭ１を縦方向（図７の紙面の上下方向）及び横方向（図７の紙面の左右方向）にずらしながら相関演算を実行する。これにより、テンプレート領域ＴＭ１に対する類似度が最も高くなるテンプレート領域ＴＭ１’’が求まる。次に、動きベクトル取得部８４は、テンプレート領域ＴＭ１’’とテンプレート領域ＴＭ１’との差（位置ズレ量）である被写体ブレ成分ＤΔTを求める。 
【００７９】
なお、Ｔ３〜Ｔ４の間に被写体ブレ成分（パンニングしても残る像面上での被写体移動量）があれば、図６、図７に示すように、時間Ｔ４における被写体の位置（被写体Ｊ’’）は、時間Ｔ４における被写体Ｊ’からＤΔT分ずれた位置にある。また、Ｔ３〜Ｔ４の間に被写体ブレ成分がないものと仮定すれば、演算用画像Ｐ４における被写体の位置（被写体Ｊ’’）は、時間Ｔ４における被写体Ｊ’と一致する。
【００８０】
次に、動きベクトル取得部８４は、時刻Ｔ３〜Ｔ４間の全ブレ成分ＥΔTを動きベクトル（第２撮像光学系４１の像面上での動きベクトル）として取得する。第２ブレ補正モードでは、全ブレ成分ＥΔTは、ＥΔT＝−ＣΔT＋ＤΔTとなる。
【００８１】
次に、ステップＳ１３３において、ＣＰＵ５８は、ステップＳ１３２で算出された動きベクトルを第１撮像光学系２１の像面上での動きベクトルに換算し、第１撮像光学系２１の像面上でのブレ補正量を求める。
【００８２】
次に、ステップＳ１３４において、ＣＰＵ５８はブレ補正を実行する。具体的には、ＣＰＵ５８は、動きベクトル（ブレ補正量）に基づいて、レンズマイコン２９を介してブレ補正部２５（図１参照）を駆動することにより、撮影時に生じるブレを補正する。このように、第２ブレ補正モードでは、パンニング対象の被写体が撮影範囲の所定位置に固定されるようにブレ補正が実行される。
【００８３】
再び、図８のフローチャートを参照して、撮影画像を取得する際の処理の流れを説明する。
【００８４】
ＣＰＵ５８は、ステップＳ１３４においてブレ補正を実行した後、ステップＳ１３５において、第１画像取得部５１の露光時間が経過したか否かを判断する。第１画像取得部５１の露光時間が経過したときは、ステップＳ１３７に進む。
【００８５】
第１画像取得部５１の露光時間が経過していないときは、ステップＳ１３６において、テンプレート領域ＴＭ１’’を領域ＴＭ１に設定する。これにより、上述した説明と同様に、再びステップＳ１３２において、テンプレート領域ＴＭ１と最も相関の高い領域テンプレート領域ＴＭ１’’が抽出され、再び動きベクトルが取得され、再び取得された動きベクトルを用いたブレ補正が行われることになる。
【００８６】
ステップＳ１３７において、ＣＰＵ５８は、第１画像処理部５１に電荷の蓄積を終了させ、ステップＳ１３８に進む。ステップＳ１３８において、ＣＰＵ５８は、ステップＳ１３７にて取得された撮影画像が記憶媒体６６に記憶される。
【００８７】
これにより、角速度センサ２８から求まる移動ベクトルを用いて連続する２つの演算用画像間の移動方向と移動量を推定し、推定される移動方向と移動量から相関演算を行うので、相関演算に係る演算負荷を低減でき、また、相関演算に係る処理時間を短縮することができる。また、第２画像処理部５２により取得される画像の画素数は、第１画像取得部５１により得られる画像の画素数に比べて少ないことから、画像を取得する時間が短くできて相関演算に要する演算負荷を少なくできるので、相関演算に係る処理時間を短時間で実行することが可能となる。
【００８８】
本実施形態では、ブレ補正部２５を用いて第１撮像光学系２１を構成するレンズの一部を、光軸と直交する方向に移動させることでブレ補正を実行しているが、ブレ補正部２５と同様のアクチュエータを用いて第１撮像素子３３を光軸と直交する方向に移動させることも好ましい。また、アクチュエータを用いて、第１撮像光学系２１又は第１撮像素子３３をチルトさせることによりブレ補正を実行することも好ましい。また、第１撮像素子３３を用いて撮影された撮影画像に生じるブレを電子的に補正することも好ましい。
【００８９】
また、本実施例では、静止画像を撮影画像として取得する場合について説明しているがこれに限定されるものではなく、動画像を撮影する撮影装置に適用することも好ましい。
【符号の説明】
【００９０】
１０…電子カメラ、１１…カメラ本体、１２…レンズユニット、２１…第１撮像光学系、２５…ズレ補正部、２８…角速度センサ、３３…第1撮像素子、４１…第２撮像光学系、４２…第２撮像素子、５１…第１画像取得部、５２…第２画像取得部、５８…ＣＰＵ、７４…補正モード選択スイッチ、８４…動きベクトル取得部、８５…推定部、８６…相関演算部
【先行技術文献】
【特許文献】
【００９１】
【特許文献１】特開２００６−５４５１８号公報
【図１】
2010183353.tif 000003
【図２】
2010183353.tif 000004
【図３】
2010183353.tif 000005
【図４】
2010183353.tif 000006
【図５】
2010183353.tif 000007
【図６】
2010183353.tif 000008
【図７】
2010183353.tif 000009
【図８】
2010183353.tif 000010