(57)【要約】【課題】  一眼レフカメラの場合、本体内に振れ検出センサと有すると、装着したレンズ情報により焦点距離などの補正量が異なるという問題がある。【解決手段】  補正光学系を有する撮像光学系によって被写体像を得る撮像装置であって、前記被写体像を撮像し、撮像装置に加わる振れを取得し、取得された手ブレ量を動きベクトル情報に変換し、動きベクトル情報に基づいて画像の切り出し範囲を変更し、被写体の位置と大きさを検出し、検出された被写体の位置と大きさに基づいて、電子式手ブレ補正と光学式手ブレ補正との少なくともどちらか一方を用いて撮像する。【選択図】  図５
2011217311.tif 000002
【特許請求の範囲】
【請求項１】
補正光学系を有する撮像光学系によって被写体像を得る撮像装置であって、
前記被写体像を撮像する撮像手段と、
前記撮像装置に加わる振れを取得する振れ取得手段と、
前記振れ取得手段によって取得された手ブレ量を、動きベクトル情報に変換するベクトル変換手段と、
前記動きベクトル情報に基づいて、画像の切り出し範囲を変更する振れ補正手段と、
被写体の位置と大きさを検出する被写体検出手段と、
前記被写体検出手段によって検出された被写体の位置と大きさに基づいて、前記振れ補正手段と前記補正光学系との少なくともどちらか一方を用いて撮像すると判定する判定手段とを有することを特徴とする撮像装置。
【請求項２】
前記判定手段が前記振れ補正手段を用いて撮像すると判定した場合、前記補正光学系の機能を停止させることを特徴とした請求項１に記載の撮像装置。
【請求項３】
前記撮像光学系と撮像装置に加わる振れを検出する検出手段とを備えた、前記撮像装置に対して着脱可能である交換レンズをさらに備え、
前記検出手段は、前記振れの大きさである振れ量を検出し、
前記取得手段は前記撮像装置に加わる振れのうちの一部を手ブレ量として取得し、
前記振れ量のうちの手ブレ量以外の振れ量は、前記補正光学系によって補正されることを特徴とする請求項１又は２に記載の撮像装置。
【請求項４】
補正光学系を有する撮像光学系によって被写体像を撮像する撮像手段を有する撮像装置の制御方法であって、
前記撮像装置に加わる振れを取得する振れ取得ステップと、
前記振れ取得ステップによって取得された手ブレ量を、動きベクトル情報に変換するベクトル変換ステップと、
前記動きベクトル情報に基づいて、画像の切り出し範囲を変更する振れ補正ステップと、
被写体の位置と大きさを検出する被写体検出ステップと、
前記被写体検出ステップによって検出された被写体の位置と大きさに基づいて、前記振れ補正ステップと前記補正光学系との少なくとも一方を用いて撮像すると判定する判定ステップとを有することを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、静止画像や動画像を記録、再生、表示するための撮像装置及びその制御方法に関する。
【背景技術】
【０００２】
デジタルカメラ撮影における画質劣化の要因の一つに手ぶれがある。このような撮影時の手ぶれ軽減の方法として、電子式手ぶれ補正方式と光学式手ぶれ補正方式の２つの方式が知られている。
【０００３】
撮像装置に加わる振れは、ジャイロセンサなどによりレンズや撮像装置に加わる振れを検出する方法と、連続するフレーム間の画像を比較し、画像全体が動く方向と大きさを動きベクトルとして検出する方法の２種類ある。そのように検出された振れに対して、光学式手ぶれ補正は、振れの方向と大きさに応じて、レンズの光軸もしくは撮像素子を光軸と垂直方向に移動させることによって、手ぶれ補正を実現している。一方、電子式手ぶれ補正方式は、振れ検出結果から算出される動きベクトルの大きさと向きに応じて画像の読み出し位置を変更することによって、手ぶれ補正を実現している。
【０００４】
動きベクトルを用いた振れ検出の場合、被写体が大きな場合には、前画像との相関関係から動きベクトル情報を算出するため、被写体自体の移動ベクトルが算出され、結果として被写体追尾となってしまい、本来の手ブレ補正とはならない課題があった。そこで、例えば特許文献１では、顔検出回路による顔検出結果に基づき、顔が含まれるブロック周辺の動きベクトルを検出せず、顔が含まれるブロック以外のブロックから検出された動きベクトルに基づいて手ブレ補正の処理を行う。これにより、被写体の動きに起因する動きベクトルの影響をなくした電子手ぶれ補正処理を実現することが可能になる提案がなされている。また、特許文献２においては、顔情報より顔領域を抽出して動き検出から除外する技術が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開２００９−０８８６２８号公報
【特許文献２】特開２００８−１２４７８７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
一眼レフカメラでは、装着レンズ・Ｆ値・被写体との距離・画角・現在の距離位置によっては非常に被写界深度が浅くなり、合焦した領域以外の動きベクトル算出結果があてにならない場合がある。そのため、すなわちボケ量が非常に大きい部分にて動き検出を行うと、フレーム間のコントラストや色の相関関係により検出する動き検出では同様な数値が連続となってしまうために検出精度が下がる。その際に動き検出量から手ブレ補正を行うと、十分な手ブレ補正が行なわれないだけではなく、かえって不確実な動き量により像ぶれを引き起こしてしまう課題があった。
【０００７】
一方で、光学式手ぶれ補正場合、一眼レフカメラではレンズ側に振れ検出センサと振れ補正光学系が搭載されていると、振れ補正機能の無いレンズに交換した時は手振れ補正が撮像装置側でもレンズ側でも出来ない恐れがある。また、本体内に振れ検出センサと有すると、装着したレンズ情報により焦点距離などの補正量が異なるという問題がある。そして、手ブレ補正量の大きさによっては色収差、周辺光量落ち、ケラレなどの画質劣化が生じる恐れがあったり、物理的にレンズをシフトさせるための電池消耗が大きいといった課題がある。
【０００８】
本発明は、上述の事情に鑑みてなされたものであり、本発明は、光学式手ぶれ補正および電子式手ぶれ補正のそれぞれの短所を補い、コストを抑えた適切な手ぶれ補正処理を実現することを目的とする。
【課題を解決するための手段】
【０００９】
上述の課題を解決するため、本発明は、補正光学系を有する撮像光学系によって被写体像を得る撮像装置であって、前記被写体像を撮像する撮像手段と、前記撮像装置に加わる振れを取得する振れ取得手段と、前記振れ取得手段によって取得された手ブレ量を、動きベクトル情報に変換するベクトル変換手段と、前記動きベクトル情報に基づいて、画像の切り出し範囲を変更する振れ補正手段と、被写体の位置と大きさを検出する被写体検出手段と、前記被写体検出手段によって検出された被写体の位置と大きさに基づいて、前記振れ補正手段と前記補正光学系との少なくとも一方を用いて撮像すると判定する判定手段とを有することを特徴とするものである。
【発明の効果】
【００１０】
本発明に寄れば、光学式手ぶれ補正および電子式手ぶれ補正のそれぞれの短所を補い、コストを抑えた適切な手ぶれ補正処理を実現することができる。
【図面の簡単な説明】
【００１１】
【図１】本実施例の形態に係るカメラの構成を示す断面図である。
【図２】本実施例の形態に係るカメラの内部構成を示すブロック図である。
【図３】本実施例の形態に係る動きベクトルの説明に関する図である。
【図４】本実施例の形態に係る顔情報検出の説明に関する図である。
【図５】本実施例の形態に係るカメラの動作のうち、交換レンズから手ブレ情報が取得可能な場合のフローチャートである。
【図６】本実施例の形態に係るカメラの動作のうち、交換レンズから手ブレ情報を取得できない場合の詳細な制御を示すフローチャートである。
【発明を実施するための形態】
【００１２】
図１は本発明による一眼レフカメラの中央断面図であり、以下構成について説明する。
【００１３】
図１のカメラ１（本体部）に対して着脱可能な交換レンズ２（レンズ部）はカメラのマウント部５と不図示のレンズマウント部によって固定され、不図示のカメラ接点部とレンズの接点部が接触することによって電気的な接続がなされる。この接点部を介してカメラ１から交換レンズ２への電力の供給やレンズを制御するための通信を行う。交換レンズ２の撮影レンズ３（撮像光学系）を透過した光束はカメラ１のメインミラー６に入射する。メインミラー６はハーフミラーとなっており、反射した光束はファインダーへと導かれ、透過した光束はサブミラー７にて下方へ反射し、焦点検出装置８へと導かれる。焦点検出装置８は撮影レンズ３のデフォーカス量を検出し、撮影レンズが合焦状態となるように撮影レンズ３を駆動するレンズ駆動量を演算する。そして接点部を介してレンズ駆動量を交換レンズ２へ送出すると、レンズは不図示のモーターを制御して撮影レンズ３を駆動して焦点調節を行う。絞り４は、絞り径を変化させることで光量をコントロールするものである。
【００１４】
メインミラー６によってファインダーへと導かれた光束はピント板９に被写体像を結像し、撮影者はペンタプリズム１０および接眼レンズ１１を介してこのピント板上の被写体像を観察するように構成される。ピント板９は不図示のピント板ホルダーに支持されており、適宜着脱交換が可能に構成されている。ペンタプリズム１０の後部上方に配置された測光レンズ１２は、ピント板９上の被写体像を二次光源として、その像を測光センサ（受光素子）１３に縮小投映する。測光レンズ１２および測光センサ（受光素子）１３は、公知の露光用受光手段である。
【００１５】
サブミラー７の後方にはシャッタユニット１４が配置され、更にその後方には光学ローパスフィルターおよび赤外線カットフィルターを一体化した光学フィルター１５がある。撮影時には光学フィルター１５を透過した光束が、光学フィルター１５よりも更に後方に配置された撮像素子１６へと入射する。撮像素子１６は、ＣＣＤやＣＭＯＳといったの２次元型撮像デバイスであり、撮影レンズ３により結像された被写体像を撮像して電気信号に変換するものである。また、撮像素子１６は、各フォトセンサに蓄積される電荷の蓄積時間（シャッタ秒時）を制御する、いわゆる電子シャッタ機能（電子シャッタ手段）を有している。１７は画像表示モニタであり、撮影された画像及び撮影メニュー等を表示するように構成されている。三脚座１８は三脚もしくは一脚を取り付けるための機構であり、例えばネジ穴である。操作部材２５は、例えばボタン、ダイアルスイッチ、タッチパネルであり、撮像装置の上面や背面に配設されている。なお、操作部材２５は、複数種類の又は複数個の操作部材からなっても良い。操作部材２５は、メニュー操作など撮影に関する設定を行うことができ、本実施例においては、カメラのメインスイッチ操作によってオン／オフされるメインＳＷや、撮影モードを切り換えたりすることができる電子ダイアル、撮影を行うレリーズボタンを有する。レリーズボタンは、第１ストロークによりＳＷ１がオンされると測光制御・合焦制御が行なわれ、第２ストロークによりレリーズＳＷ２がオンされるとレリーズ動作が開始される。
【００１６】
図２は、本発明の実施形態に係る図１の撮像装置の内部構成を示すブロック図である。
【００１７】
カメラ１は、不図示のマウントを介してカメラに装着された交換レンズ２を制御するレンズ制御部１２２を有している。レンズ制御部１２２は、不図示のレンズＩ／Ｆを通して撮影レンズ３や絞り４を駆動させることで撮像素子１６に結像する像の大きさや位置、撮像素子１６上の光像の光量を変更する。なお、図２の交換レンズ２は、手ブレ補正機能のための、振れ検出手段としての振れ検出センサ１５１および補正光学系としての振れ補正レンズ１５２を含んだ複数枚のレンズで構成されている。振れ検出センサ１５１は、例えばジャイロセンサのような角速度センサや、加速度センサである。しかしながら、単一の焦点距離（固定焦点）のレンズでも焦点距離可変のレンズでもよい。
【００１８】
レンズＣＰＵ１５４は、交換レンズ２の制御を行う中央処理部である。レンズＣＰＵ１５４は、交換レンズ２とカメラ１との間に設けられた不図示のレンズ通信Ｉ／Ｆを通じて、レンズ制御部１２２やレンズ制御部１２２を通じて制御部１１７との間で通信が可能である。また、操作部材２５中のレリーズスイッチの半押し（ＳＷ１）ＯＮに同期して制御部１１７もしくはレンズ制御部１２２から手ブレ補正開始コマンドが、また、半押し（ＳＷ１）ＯＦＦに同期して手ブレ補正停止コマンドがレンズＣＰＵ１５４へ送られる。また、レンズＣＰＵ１５４は、交換レンズ２に設けられている振れ補正ＳＷ（スイッチ）１５３の状態をモニタする。振れ補正ＳＷ１５３がＯＮであれば、手ブレ補正制御を行い、振れ補正ＳＷ１５３がＯＦＦであれば、レンズ制御部１２２からの手ブレ補正開始コマンドは無視して振れ補正を行わない。
【００１９】
交換レンズ２の光学系によって撮像素子１６の受光面に結像された被写体像は、各フォトセンサで光の入射光量に応じた量の信号電荷に変換され、撮像出力信号として順次読み出された後、アナログ信号処理部１０１に供給される。
【００２０】
アナログ信号処理部１０１は、ＣＤＳクランプ回路やゲイン調整回路等を含み、撮像素子１６から入力した撮像出力信号（アナログ電気信号）を制御部１１７の制御に基づいて適宜処理する。アナログ信号処理部１０１から出力された信号は、Ａ／Ｄ変換器１０２によってデジタル信号に変換された後、メイン信号処理部１０３へ送られる。
【００２１】
メイン信号処理部１０３は、ゲイン調整部１０４、オフセット部１０５、デジタル信号処理部１０６及びヒストグラム生成部１０７等からなる。Ａ／Ｄ変換器１０２から出力されたデータは、ゲイン調整部１０４及びヒストグラム生成部１０７に入力される。
【００２２】
ヒストグラム生成部１０７は、Ａ／Ｄ変換器１０２から送られた１画面分のデータから信号レベルに対する撮像素子信号の積算値の分布を示すヒストグラムを作成する。そして、ヒストグラム生成部１０７のヒストグラム演算に基づいて、ゲイン調整部１０４にて変更されるゲイン値やオフセット部１０５にて変更されるオフセット値が決定され、変更される。そして、ゲイン調整部１０４とオフセット部１０５を経由した信号は、デジタル信号処理部１０６に送られる。
【００２３】
デジタル信号処理部１０６は、輝度（Ｙ）信号生成回路及び色差（Ｃ）信号生成回路を含み、オフセット部１０５から入力した信号をＹ／Ｃ信号処理する。そして、信号処理された画像データは、メモリ１０８に一時記憶される。このメモリ１０８に記憶された画像データは後述の種々の画像に関する処理が行なわれ、デコードされた後に、Ｄ／Ａ変換器１０９でアナログ信号に変換され、画像表示手段としての液晶モニタ等の画像表示モニタ１７に供給される。こうして、撮像素子１６上で結像した被写体像が、画像表示モニタ１７に画像もしくは映像として表示される。なお、Ｄ／Ａ変換器１０９でアナログ信号に変換された信号は、ビデオ出力端子等の外部映像出力部１１１から映像として出力することができる。
【００２４】
一方で、メモリ１０８に蓄えられた画像データは、記録制御部１１２に導かれ、ここで所定の形式（例えば、ＪＰＥＧ）に従って圧縮処理され、記録媒体１１４に記録される。尚、記録媒体の形態は内蔵メモリでも、不図示のメモリスロットに挿入するスマートメディアやＩＣカード等、種々の形態が可能である。記録媒体１１４に記録された画像データは、制御部１１７を介して呼び出しが可能であり、該呼び出された画像データは、記録制御部１１２で解凍再生処理された後、メモリ１０８、Ｄ／Ａ変換器１０９を介して画像表示モニタ１７に出力される。または、外部映像出力部１１１に供給され、他の外部機器に出力可能である。
【００２５】
制御部１１７は、測光センサ１３、焦点検出装置８、メイン信号処理部１０３、メモリ１０８及び記録媒体１１４、操作部材２５の各スイッチと接続されている。また、顔検出部１６１、変倍部１６２、動きベクトル算出部１６３、三脚判定部１６４、画像処理部１６５、振れ判定部１６６、シーン判定部１６７と接続されている。測光センサ１３の出力信号は制御部１１７に送られ、この制御部１１７において露光時間を示す露出制御値が算出される。そして、得られた露出制御値に基づいて、制御部１１７は、自動露光制御、オートフォーカス、オートストロボ、オートホワイトバランス等の制御を行い、また撮像素子１６の駆動部の制御などを総括的に管理する。例えば、電子シャッタ制御モード時には、撮像素子１６の電荷蓄積時間を、メカニカルシャッタ制御モード時には、シャッタユニット１４の開閉タイミング等を制御すると共に、不図示のレンズ通信Ｉ／Ｆを通じて露光時に絞り４を制御する。制御部１１７は、レリーズボタンや撮影モード選択ボタン等の操作部材２５から入力される各種信号に基づいて該当する回路を制御する。
【００２６】
顔検出部１６１は、メモリ１０８あるいは画像処理部１６５から出力された画像データから顔の位置ならびに大きさに関する情報を取得する。これによりユーザの撮影対象である被写体の検出が容易になり、合焦の情報などと合わせて被写体検出が可能となる。変倍部１６２は、変倍が必要であれば変倍処理を行う。動きベクトル算出部１６３は、画像の相関関係から動きベクトルを算出するためのものである。時間的に連続する画像処理部１６５の出力を直接、或いはメモリ１０８に書き込まれた２つの画像データから所定ブロック毎に動きベクトルの方向と大きさの検出を行う。三脚判定部１６４は、カメラが三脚に固定されている状態か否かを検出するものである。
【００２７】
画像処理部１６５は、メモリ１０８に一旦蓄えられた撮像画像データは、ＧＵＩを通してあらかじめ設定されたパラメータを基に、ホワイトバランス、コントラスト補正、ノイズリダクション、シャープネスなどの画像処理を行う。振れ判定部１６６は、取得したレンズ情報を基に、手ブレ量から動きベクトル量を算出、あるいは手ブレ情報対応レンズかどうかの検出を行う。シーン判定部１６７は、ポートレート／風景／スポーツ／花マクロ／雪／人物＋風景／夜景／夜景＋人物／花火などのシーンを判定する。これにより適切なＴｖ／Ａｖ／ＩＳＯ／ストロボの制御値が自動で設定され、シーンに応じた撮影が可能である。このシーンは操作部材２５のシーン設定部にてユーザが選択しても良いし、画像処理部１６５、顔検出部１６１、動きベクトル算出部１６３、ヒストグラム生成部１０７、三脚判定部１６４、測光センサ１３や不図示の時計情報から、算出しても良い。
【００２８】
＜動きベクトルの検出＞
図３は、動きベクトル算出部１６３で取得される動きベクトルに関する説明を図示したものである。
【００２９】
動きベクトル算出部１６３は、画像データから動きベクトルを検出し、図示のとおり、各ブロックおける２画像間の動きベクトルの演算を行う。まず、メモリ１０８に記憶された１周期前の画像と撮像した画像を比較して、相関演算を行う。相関演算は、例えばブロックマッチング法に従い、画像データによる画像領域を、例えば図３のように５画素×７画素といった所定サイズのブロックに分割し、現フィールドと前フィールドとの相関演算をブロック毎に行う。次に相関演算により算出された相関値からブロック毎の動きベクトルを検出する。具体的には、相関値が最小となる前フィールドのブロックを探索し、その相対的なずれを動きベクトルとしている。
【００３０】
そして、検出されたブロック毎の動きベクトルは、動きベクトル値に基づきグループに分類される。まず、供給されたブロックを、Ｘ方向（画面の水平方向）およびＹ方向（画面の垂直方向）それぞれの動きベクトル値に基づきグループに分類する。次に、分類されたグループ毎に代表動きベクトルを求める。代表動きベクトルは、例えば動きベクトル値の出現頻度のヒストグラムを取ったときの、グループ内で最大度数を持つ階級の階級値を用いることができる。これに限らず、グループに属する全てのベクトル検出領域で検出された動きベクトル値の平均値を、グループとしての代表動きベクトルとして用いることもできる。
【００３１】
グループ毎の代表動きベクトルと、顔検出部１６１から顔検出情報とを用いて、制御部１１７は、画面全体すなわち画像全体での動きベクトル（全体動きベクトルと呼ぶ）を算出する。算出された全体動きベクトルは、この全体動きベクトルに基づきメモリ１０８に記憶される画像データの読み出しを制御することで、手ぶれ補正（電子的手ぶれ補正）を行うことができる。
【００３２】
いま、図３Ａ〜Ｅの（ａ）と（ｂ）は時間的に連続して撮像された２画像であり、（ｃ）は演算された動きベクトルを表す。（ｃ）の（１，１）〜（７，５）は、（ａ）と（ｂ）の２画像の移動量として、矢印にて図示されている。動きベクトル算出部１６３にアクセスすることで、ブロック毎に演算された動きベクトル量を（１，１）〜（７，５）の各々を取得することができる。
【００３３】
図３Ａは手ぶれがほとんど無く画面全体が殆ど動いていない場合において、中心付近の被写体Ｖ（人物）のみが移動している場合の画像と動きベクトルの様子を図示したものである。
【００３４】
図３Ｂは被写体（この場合は人物Ｕ〜Ｗ）の移動がほとんど無く、被写界深度が深い状態において、手ぶれにより、画面全体が同一方向に移動している場合の、画像と動きベクトルの様子を図示したものである。
【００３５】
図３Ｃは被写体（この場合は人物Ｕ〜Ｗ）の移動がほとんど無く、被写界深度が浅い状態において被写体に合焦している場合での画像と画面全体の動きベクトルの様子を図示したものである。この場合、被写体が存在する領域は合焦しているためにコントラストが高くなり、動きベクトルが得やすくなるが、被写体以外の領域はボケたような画像となり、動きベクトルが得られにくい。その結果、手ぶれにより、被写体（この場合は人物Ｕ〜Ｗ）に対応するブロックのみ動きベクトルが検出される。
【００３６】
図３Ｂに図示されるように、画面上ほとんどのブロックの動きベクトルがほぼ同一方向を向いている場合には、手ぶれが発生したものと判断することができる。さらに、精度向上のために、人物のような移動し易い被写体が存在するブロックをベクトル検出対象から取り除いても、残りのブロックが同一方向に移動しているので、手ブレと判断できる。よって、撮像素子１６からの読み出し位置を、動きベクトルの方向と大きさに応じて移動させることによって、電子式手ぶれ補正処理を行うことが可能である。
【００３７】
一方で、図３Ｃに図示されるような状態では、人物が存在しているブロックの動きベクトルのみほぼ同一方向を向いているが、人物が存在するブロックをベクトル検出対象から取り除いてしまうと、人物のみが移動しているか手ブレなのかの判断ができない。そのため、手ブレは発生していないと判断し、電子手ぶれ補正処理を行わないために、手ブレが起きた画像の表示や保存がなされる。なお、図３Ｃの例では、被写体が存在するブロックのみ動きベクトルが検出できたような図になっているが、特に大きくボケた状態の場合、被写体が存在しないブロックからのベクトル情報は、方向および大きさがまちまちである（即ち、信頼性が低い）。そのため、手ブレなのかどうか判断できない状態がほとんどである。
【００３８】
次に、図３Ｄは、撮像素子若しくは画像として切り出す領域全体に対して被写体の面積比が大きく、手ぶれにより被写体が撮像素子からはみ出したときの画像と動きベクトルの様子を図示したものである。図３Ｄのような場合は、電子式手ブレ補正では補正しきれないことが多い。
【００３９】
一方で、図３Ｅは、撮像素子全体に対し、被写体の面積比が小さく、手ぶれによっても被写体が撮像素子からはみ出さないときの、画像と動きベクトルの様子を図示したものである。この場合、各ブロックで正確にベクトル検出が出来ていれば電子式手ブレ補正により補正できる場合が多い。
【００４０】
図４は取得した画像と、画像取得時における顔検出部１６１から取得される顔の位置ならびに大きさに関する情報と、画像取得時のレンズから取得した情報とを図示した例である。
【００４１】
顔検出部１６１は、画像処理部１６５の出力される画像データ、或いはメモリ１０８を介して読み込まれる画像データを読み込みながら、顔の中心座標及び半径を検出する。顔検出部１６１にアクセスすることで、検出された顔の個数ならびに各顔の中心座標及び半径を取得することができる。例えば、図４Ａ（ａ）の画像データからは、図４Ａ（ｃ）の検出結果、図４Ａ（ｂ）の画像データからは、図４Ａ（ｄ）の検出結果が得られる。また、図４Ｂ（ａ）の画像データからは、図４Ｂ（ｂ）の検出結果、図４Ｃ（ａ）の画像データからは、図４Ｃ（ｂ）の検出結果が得られる。
【００４２】
なお本実施例では、検出領域の例を真円として図示しているが、顔検出部１６１のアルゴリズムによっては、楕円あるいは矩形領域を顔検出領域の結果としてもよい。
【００４３】
本発明の実施例について、図５と図６のフローチャートを基に説明する。
【００４４】
まずステップＳ５０１にて、制御部１１７は、不図示のレンズマウントを通してカメラ１に装着された交換レンズ２のレンズ情報を取得する。レンズ情報を取得した後に、ステップＳ５０２にて、振れ判定部１６６は、取得したレンズ情報を基に手ブレ情報が取得可能なレンズかどうか、即ち交換レンズ２が振れ検出センサ１５１を有しているかの検出判定を行う。ステップＳ５０２における判定結果が手ブレ情報対応レンズ（カメラ１が振れ検出センサ１５１から手ブレ情報を取得できるレンズ）の場合にはステップＳ５０３へ、非対応レンズの場合はＡ、即ち図６のステップＳ６０１へと進む。
【００４５】
ステップＳ５０３において、制御部１１７は、不図示のレンズマウントを介して、装着された交換レンズ２の、現在の画角や被写体距離、絞り値などの撮影に関する情報を取得する。ただし、本ステップＳ５０３はステップＳ５０１と同時でもよい。
【００４６】
ステップＳ５０４においては、撮像素子１６の受光面に結像された被写体像をデジタル信号に変換し、メモリ１０８に一時記憶する。そしてステップＳ５０５において、ステップＳ５０３にて取得した現在の画角や被写体距離、絞り値などのレンズ情報より、手ブレ補正量を算出する。その後、ステップＳ５０４において、振れ判定部１６６は手ブレ補正方式を判定し、電子式の場合はステップＳ５１５へ、光学式の場合はステップＳ５０８へ、電子式＋光学式の場合はステップＳ５０８へ進む。本ステップにおける手ブレ補正方式は後述する。
【００４７】
ここで、本発明における手振れ補正機能の使い方について説明する。例えば、図４Ｂに示すような７２０ｘ４８０ピクセルの画像から、顔検出部１６１は、画像処理部１６５の出力される画像データ、或いはメモリ１０８を介して読み込まれる画像データを読み込みながら、顔の中心座標及び半径を検出する。その結果がオフセットＸ＝３８０、オフセットＹ＝８０、大きさ＝半径６０ピクセルであったとすると（図４Ｂ（ｂ））、Ｙ方向のマージンは２０ピクセルであり、手ブレ振幅が２０ピクセルを超えた場合に顔の一部が画像からはみ出してしまうことになる。即ち、図３Ｄ（ａ）のような画像が、手ブレにより図３Ｄ（ｂ）のように顔が画面からはみ出てしまうようになり、電子式手ブレ補正では補正しきれないことになる。よって、光学式手ブレ補正によってある程度の補正を行わなければ、電子式振れ補正を用いても顔が画面からはみ出てしまう可能性がある。
【００４８】
そこで、ステップＳ５０６においては、図４Ｄにように主被写体が特定できない場合や、図３Ｄ（ａ）のように撮影中に手振れの影響で被写体がはみ出す可能性が高い場合に、電子式＋光学式手ブレ補正モードと判定してステップＳ５０７へ進む。レンズ手ブレ情報（振れ検出センサ１５１が検出した手ブレ量）から光学補正によって補正した量を考慮して電子手ブレ補正する。例えば、振れ検出センサ１５１から検出した振れ量を、電子式振れ補正を行うための手ブレ量と振れ補正レンズ１５２によって補正する手ブレ量以外の振れ量とに分ける。この分け方は、例えば、ｋ：１−ｋ（０＜ｋ＜１）のように分け、ｋの値を振れ補正レンズ１５２と画像内のマージンピクセルの値によって変更する方法が考えられる。これによって、電子式＋光学式手ブレ補正により、主被写体のはみ出しが抑えられ、ユーザが所望する画像を得ることができる。
【００４９】
また、図３Ｃのように被写体以外のベクトルが検出できない場合や信頼性が低い場合は、振れ補正を行っても正しく出来ない可能性が高い。そのため電子式ブレ補正は使用せず、光学式ブレ補正を用いる。即ち、ステップＳ５０６にて、光学式ブレ補正であると判断する。
【００５０】
一方、図４Ｃの画像に対しても顔検出部１６１が顔の中心座標及び半径を検出する処理を行った場合、オフセットＸ＝３８０、オフセットＹ＝２００、大きさ＝半径１６ピクセルという結果が得られたとする（図４（ｂ））。この場合、Ｙ方向のマージンは１８４ピクセルであり、手ブレ振幅が１８４ピクセルを超えない限り、顔の一部が画像からはみ出してしまうことがない。図３Ｅ（ａ）のような画像が、手ブレにより図３Ｅ（ｂ）のような画像となり、余程大きい振れが加わらない限り、電子式手ブレ補正により顔がはみ出さないように補正できることになる。よって電子式手ブレ補正を行っても問題は無い。
【００５１】
なお、本実施例においてはステップＳ５０６において手ブレ方式を判定しているが、本判定は外部環境やユーザからの指示を優先させても構わない。即ち、電池の残容量の状態や動画記録時に、光学式手ブレ補正から電子式手ブレ補正モードに切り替えたり、ユーザが任意に、補正モード切り替え条件を設定できるようにしても良い。
【００５２】
図３Ｄ、図３Ｅ、図４Ａ、図４Ｃの例に示すような、被写体の位置・大きさの検出は、顔検出部１６１による顔検出を用いた、手ブレの振幅、画角、距離情報、被写体の位置・大きさ情報から判定している。しかしながら、図３Ｃに示すようなブロック毎の動きベクトル検出により、動きのあるベクトルのみ抽出し、被写体の位置・大きさとするなどの方法でも良く、被写体の位置・大きさの算出方法は特に限定しない。
【００５３】
電子式＋光学式手ブレ補正の場合は、ステップＳ５０７にて、制御部１１７は交換レンズ２の振れ補正ＳＷ１５３をＯＮにすることで、振れ補正レンズ１５２を駆動可能にする。なお、すでにＯＮになっている場合はそのままＯＮとする。これによって交換レンズ２の振れ検出センサ１５１から検出される手ブレ量に基づいて補正レンズ１５２を光軸と垂直な方向に駆動することで光学式ブレ補正を行う（ステップＳ５０８）。ステップＳ５０９にて、制御部１１７は交換レンズ２の振れ検出センサ１５１から、手ブレ量を取得する。
【００５４】
そして、ステップＳ５１０にて、制御部１１７は、ステップＳ５０９にて所得した手ブレ量を、現在の画角、被写体距離、撮像素子の大きさおよびピッチ情報から、前の画像と現在撮像した画像とのズレ量に相当する画像シフト量（動きベクトル情報）に変換する。即ち制御部１１７は手ブレ量をベクトル情報に変換するベクトル変換手段としての役割を行う。ステップＳ５１１にて、メモリ１０８に一時記憶された画像データの読出し位置に対して、算出された画像シフト量をずらす。なお、画像シフトによる電子式手ブレ補正は、撮像素子からの読出し位置を変更するものでも良い。ステップＳ５１２においては、ユーザによって任意に設定されたパラメータを基に、画像処理部１６５、変倍部１６２により、画像加工および生成を行う。ステップＳ５１２の画像生成が行なわれたら、ステップＳ５１３にて終了かどうか判定する。終了ではない場合は、ステップＳ５０３からステップＳ５１３の処理を繰り返す。
【００５５】
ステップＳ５０６にて電子式手ブレ補正と判定された場合、ステップＳ５１４にて、制御部１１７は、交換レンズ２の振れ補正ＳＷ１５３をＯＦＦにする。なお、すでにＯＦＦになっている場合はそのままＯＦＦとする。そしてステップＳ５１５にて、制御部１１７は交換レンズ２の振れ検出センサ１５１から、手ブレ量を取得する。ステップＳ５１６より、現在の画角、被写体距離、撮像素子の大きさおよびピッチ情報から、画像シフト量を算出する。ステップＳ５１７において、制御部１１７は、メモリ１０８に一時記憶された画像データの読出し位置に対して、ステップＳ５１６において算出された画像シフト量に相当する分だけ読出し位置をずらす。そしてステップ５１２において、制御部１１７は、ユーザによって任意に設定されたパラメータを基に、画像処理部１６５、変倍部１６２により、画像加工および生成を行う。
【００５６】
一方で光学式手ブレ補正の場合は、ステップＳ５１８にて、制御部１１７は交換レンズ２の振れ補正ＳＷ１５３をＯＮにする。なお、すでにＯＮになっている場合はそのままＯＮとする。これによって交換レンズ２の振れ検出センサ１５１から検出される手ブレ量に基づいて補正レンズ１５２を光軸と垂直な方向に駆動することで光学式ブレ補正を行う（ステップＳ５１９）。そしてステップ５１２において、制御部１１７は、ユーザによって任意に設定されたパラメータを基に、画像処理部１６５、変倍部１６２により、画像加工および生成を行う。
【００５７】
次に、図６のフローチャートの説明をする。ステップＳ５０２における判定結果が、手ブレ情報対応レンズに非対応の場合にはＡへ進む。先ずステップＳ６０１において、ステップＳ５０１にて制御部１１７が取得した交換レンズ２が、手ブレ補正可能かを判定する。手ブレ補正が可能である場合（ステップＳ６０１にてＹｅｓ）、即ちカメラ１が振れ検出センサ１５１の出力を得られないが交換レンズ２側で光学式振れ補正を行うこと自体はできる場合は、ステップＳ６０２へ進む。
【００５８】
ステップＳ６０２にて、制御部１１７は交換レンズ２の振れ補正ＳＷ１５３をＯＮにすることで、振れ補正レンズ１５２を駆動可能にする。なお、すでにＯＮになっている場合はそのままＯＮとする。ステップＳ６０３においては、撮像素子１６の受光面に結像された被写体像をデジタル信号に変換し、メモリ１０８に一時記憶する。ステップＳ６０４にて手ブレ量に基づいて補正レンズ１５２を光軸と垂直な方向に駆動することで光学式ブレ補正を行う（ステップＳ６０４）。そしてステップＳ６０５においては、ユーザによって任意に設定されたパラメータを基に、画像処理部１６５、変倍部１６２により、画像加工および生成を行う。ステップＳ６０６の画像生成が行なわれたら、ステップＳ６０７にて終了かどうか判定する。終了ではない場合は、ステップＳ６０３からステップＳ６０６の処理を繰り返す。
【００５９】
ステップＳ６０７において、撮像素子１６の受光面に結像された被写体像をデジタル信号に変換し、メモリ１０８に一時記憶する。ステップＳ６０８においては、ユーザによって任意に設定されたパラメータを基に、画像処理部１６５、変倍部１６２により、画像加工および生成を行う。ステップＳ６０８の画像生成が行なわれたら、ステップＳ６０９にて終了かどうか判定する。終了ではない場合は、ステップＳ６０７からステップＳ６０９の処理を繰り返す。
【００６０】
なお、図６のフローチャートでの処理においては、必要に応じて電子式手ブレ補正を行っても良い。この場合、ステップＳ６０４若しくはステップＳ６０７の後に、制御部１１７は、現在の画角、被写体距離、撮像素子の大きさおよびピッチ情報から、前の画像と現在撮像した画像とのズレ量に相当する画像シフト量を算出する。そして算出した画像シフト量に基づいてメモリ１０８に一時記憶された画像データの読出し位置をずらす。なお、画像シフトによる電子式手ブレ補正は、撮像素子からの読出し位置を変更するものでも良い。
【００６１】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【００６２】
４  絞り
１４  シャッタ
【図１】
2011217311.tif 000003
【図２】
2011217311.tif 000004
【図３】
2011217311.tif 000005
【図４】
2011217311.tif 000006
【図５】
2011217311.tif 000007
【図６】
2011217311.tif 000008