(57)【要約】【課題】押下されたシャッタボタンに応じて手ぶれ補正処理を最適化する。【解決手段】複数のシャッタボタンを備えた撮像装置において、何れのシャッタボタンが押下されたかに応じて手ぶれ補正処理を可変とする。例えば、撮像装置は、複数の分割露光画像を連続撮影して各分割露光画像を位置合わせして加算合成することにより手ぶれが低減された１枚の画像を得る加算式手ぶれ補正を採用する。この場合において、手ぶれ量が比較的大きくなることが想定されるシャッタボタン（ＳＢ１）が押下された時は、露光分割数を多くして分割露光時間を比較的短くし、１枚当たりの手ぶれ量低減を優先する。一方、手ぶれ量が比較的小さくなることが想定されるシャッタボタン（ＳＢ２）が押下された時は、露光分割数を少なくして分割露光時間を比較的長くし、各分割露光画像の高輝度化を優先する。【選択図】図１９
2011205719.tif 000002
【特許請求の範囲】
【請求項１】
静止画像の撮影を指示するための撮影指示操作を受けるシャッタボタンを複数備えた撮像装置において、
前記静止画像に含まれうるぶれを低減するためのぶれ補正を実施してぶれ補正画像を生成するぶれ補正装置を備え、
前記ぶれ補正装置は、
前記複数のシャッタボタンの内、何れのシャッタボタンに対して前記撮影指示操作がなされたかを検出する撮影指示検出手段と、
前記ぶれ補正を実現するための処理を制御するぶれ補正制御手段と、を備え、
前記ぶれ補正制御手段は、前記撮影指示検出手段の検出結果に応じて前記処理を変更することを特徴とする撮像装置。
【請求項２】
前記複数のシャッタボタンは、第１及び第２のシャッタボタンを含み、
前記ぶれ補正制御手段は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合と前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合とで、前記処理を変更することを特徴とする請求項１に記載の撮像装置。
【請求項３】
前記ぶれ補正装置は、
前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の並進方向の動き検出を行う並進方向動き検出手段と、
各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の回転方向の動き検出を行う回転方向動き検出手段と、
前記並進方向及び前記回転方向の動き検出結果に基づいて、又は、前記並進方向の動き検出結果に基づいて、各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、
前記ぶれ補正制御手段による変更の対象は、前記位置合わせに用いる動き検出結果であり、
前記合成画像が、前記ぶれ補正が施された前記ぶれ補正画像であり、
前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、
前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記並進方向及び前記回転方向の動き検出結果に基づく前記合成画像を前記ぶれ補正画像とし、
前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記回転方向動き検出手段に依存しない、前記並進方向の動き検出結果に基づく前記合成画像を前記ぶれ補正画像とすることを特徴とする請求項２に記載の撮像装置。
【請求項４】
前記ぶれ補正装置は、
前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより、前記ぶれ補正の１つとしての光学式ぶれ補正を実現する光学式ぶれ補正手段と、
前記撮像素子の出力信号に基づく撮影画像に含まれるぶれに応じた復元フィルタを生成し、該復元フィルタを用いて前記撮影画像に対して前記ぶれ補正の１つとしての復元式ぶれ補正を施す復元式ぶれ補正手段と、を備え、
前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、
前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記光学式ぶれ補正と前記復元式ぶれ補正の双方を実行可能とし、
前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記光学式ぶれ補正と前記復元式ぶれ補正の何れか一方を実行することを特徴とする請求項２に記載の撮像装置。
【請求項５】
前記ぶれ補正装置は、
前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、
前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
各分割露光画像の画像データに基づいて又は前記ぶれ検出センサの検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、
前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、
前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像に基づく前記合成画像を前記ぶれ補正画像とし、
前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させることにより前記ぶれ補正を実現して該１枚の画像を前記ぶれ補正画像とすることを特徴とする請求項２に記載の撮像装置。
【請求項６】
前記ぶれ補正装置は、
前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、
前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
各分割露光画像の画像データに基づいて又は前記ぶれ検出センサの検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、
前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、
前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像に基づく前記合成画像を前記ぶれ補正画像とし、
前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段による前記補正用光学部材又は前記撮像素子の駆動を停止した状態で前記複数の分割露光画像を順次撮影させて前記合成画像を生成し、この合成画像を前記ぶれ補正画像とすることを特徴とする請求項２に記載の撮像装置。
【請求項７】
前記ぶれ補正装置は、
前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、
前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の動き検出を行う動き検出手段と、を備え、
前記動き検出には、互いに異なる分割露光画像間の回転方向の動き検出が含まれ、
前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、
前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像を前記動き検出手段の動き検出結果に基づいて位置合わせして加算合成することにより前記ぶれ補正画像としての合成画像を生成し、
前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させることにより前記ぶれ補正を実現して該１枚の画像を前記ぶれ補正画像とする
ことを特徴とする請求項２に記載の撮像装置。
【請求項８】
前記ぶれ補正装置は、
前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、
前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、
各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の動き検出を行う動き検出手段と、を備え、
前記動き検出には、互いに異なる分割露光画像間の回転方向の動き検出が含まれ、
前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、
前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記動き検出手段の動き検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより前記ぶれ補正画像としての合成画像を生成し、
前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させることにより前記ぶれ補正を実現して該１枚の画像を前記ぶれ補正画像とすることを特徴とする請求項２に記載の撮像装置。
【請求項９】
前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより、前記ぶれ補正の１つとしての光学式ぶれ補正を実現する光学式ぶれ補正手段を備え、
前記ぶれ補正装置は、前記複数のシャッタボタンの内、一部のシャッタボタンに対して前記撮影指示操作がなされた場合にのみ、前記光学式ぶれ補正手段に依存したぶれ補正を行い、前記撮像装置に対する駆動電力の投入後の所定期間内において、前記一部のシャッタボタンによる撮影指示を禁止することを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項１０】
静止画像の撮影を指示するための撮影指示操作を受けるシャッタボタンを複数備えた撮像装置において、前記静止画像に含まれうるぶれを低減するためのぶれ補正を実行可能なぶれ補正装置を備え、
前記ぶれ補正装置は、
前記複数のシャッタボタンの内、何れのシャッタボタンに対して前記撮影指示操作がなされたかを検出する撮影指示検出手段と、
前記撮影指示検出手段の検出結果に基づいて前記ぶれ補正の実行可否を決定するぶれ補正制御手段と、を備えたことを特徴とする撮像装置。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮影した画像内のぶれを補正するぶれ補正機能を備えた撮像装置に関する。
【背景技術】
【０００２】
デジタルスチルカメラ、デジタルビデオカメラなどの撮像装置においては、近年、小型化及び軽量化が進み、誰もが手軽に撮影を行えるようになっている。一方、その反面、様々なカメラ姿勢及び把持状態で撮影が行われるため、カメラの筐体を確実に把持及び固定しないまま撮影を行うと、手ぶれにより得られた画像にぼけが生じる場合がある。このような手ぶれに由来する撮影の失敗を防止するための手ぶれ補正技術が様々に提案されている。
【０００３】
手ぶれ補正技術は、カメラ撮影における手ぶれを軽減する技術であり、デジタルカメラの差別化技術として重要視されている。手ぶれ補正技術は、補正対象が静止画像であるか動画像であるかに関わらず、手ぶれを検出する要素技術と、その検出結果に基づいて画像を補正する要素技術と、に分けて考えることができる。
【０００４】
手ぶれを検出する方法には、センサ（角速度センサ等）を用いる方法と、画像を解析して検出する電子式の方法とがある。画像の補正には、光学系又は撮像素子の駆動により補正を行う光学式手ぶれ補正と、画像処理により補正を行う電子式手ぶれ補正とがある。
【０００５】
静止画像に対して手ぶれ補正を行う方法として、センサで手ぶれを検出しその検出結果に基づいて「光学式手ぶれ補正」を行う方法と、センサで手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、画像を解析して手ぶれを検出しその検出結果に基づいて電子式手ぶれ補正を行う方法と、がある。
【０００６】
電子式手ぶれ補正の１つとして、撮影後の画像に含まれるぼけを見積もって、そのぼけを画像処理によって除去する「復元式手ぶれ補正」がある。この画像処理は、画像復元処理とも呼ばれる。
【０００７】
また、他の電子式手ぶれ補正として、「加算式手ぶれ補正」が実用化されている。加算式手ぶれ補正では、１回の露光で１枚の画像を得るための一括露光の露光時間を複数個に分割し、分割露光時間にて複数の分割露光画像を連続撮影する。そして、各分割露光画像の画像特徴に基づいて各分割露光画像間の動き検出を行い、その動き検出結果に従って各分割露光画像間の動きが打ち消されるように各分割露光画像を位置合わせして加算合成することにより、画像のぶれが低減された１枚の静止画像を生成する。
【０００８】
ところで、近年、様々なカメラ姿勢及び把持状態での撮影を可能とするべく、複数のシャッタボタンを備えたデジタルカメラも出現している。これらの複数のシャッタボタンは、様々なカメラ姿勢や把持状態に応じて操作しやすい位置に設けられており、ユーザが複数のシャッタボタンを状況に応じて使い分ける。ユーザが、複数のシャッタボタンの内の何れか１つを押下すると、デジタルカメラは手ぶれ補正機能を動作させて手ぶれを低減した画像をユーザに提供する。
【０００９】
複数のシャッタボタンが存在する場合、各シャッタボタンの配置位置の相違等に由来して、通常、押下されるシャッタボタンが異なれば撮影時に生じる手ぶれの方向や大きさも異なってくる。このため、或るシャッタボタンの押下時に行われる手ぶれ補正が他のシャッタボタンの押下時に行われる手ぶれ補正として最適でないことも多い。しかしながら、従来は、何れのシャッタボタンが押下された場合でも一律に同じ手ぶれ補正処理を行っていた。これは、手ぶれ補正の効果、処理時間または消費電力の観点から望ましいものとは言えない。
【００１０】
尚、下記特許文献１には、２つのシャッタボタン（レリーズボタン）を備えたカメラが開示されている。このカメラでは、どのシャッタボタンが押下されたかを判断することにより撮影モードを判断して、撮影時及び再生時に画像を自然な姿勢で表示するようにしている。また、下記特許文献２には、２つのシャッタボタン（レリーズボタン）を備え、それらの双方に触れた時にシャッタを駆動するようにしたカメラが開示されている。また、下記特許文献３には、１つのシャッタボタンを備え、撮影条件に応じて分割露光撮影モードと一括露光撮影モードとを切り替えるカメラが開示されている。
【００１１】
また、復元式手ぶれ補正を採用した技術として、例えば、下記特許文献４〜６に記載された技術がある。例えば、下記特許文献４では、ぶれによる点広がり関数（Point SpreadFunction）の逆特性を有する補正関数を用いて、画像を復元している。
【００１２】
【特許文献１】特開平５−１２２５７５号公報
【特許文献２】特開平１１−１６０７７６号公報
【特許文献３】特開２００４−２２１９９２号公報
【特許文献４】特開昭６２−１２７９７６号公報
【特許文献５】特開２００４−８８５６７号公報
【特許文献６】特開２００６−１２９２３６号公報
【発明の開示】
【発明が解決しようとする課題】
【００１３】
そこで本発明は、手ぶれ補正の効果向上、処理時間短縮又は消費電力削減に寄与する撮像装置を提供することを目的とする。
【課題を解決するための手段】
【００１４】
本発明に係る第１の撮像装置は、静止画像の撮影を指示するための撮影指示操作を受けるシャッタボタンを複数備えた撮像装置において、前記静止画像に含まれうるぶれを低減するためのぶれ補正を実施してぶれ補正画像を生成するぶれ補正装置を備え、前記ぶれ補正装置は、前記複数のシャッタボタンの内、何れのシャッタボタンに対して前記撮影指示操作がなされたかを検出する撮影指示検出手段と、前記ぶれ補正を実現するための処理を制御するぶれ補正制御手段と、を備え、前記ぶれ補正制御手段は、前記撮影指示検出手段の検出結果に応じて前記処理を変更することを特徴とする。
【００１５】
これにより、撮影指示操作がなされたシャッタボタンに応じたぶれ補正を実行可能となる。結果、手ぶれ補正の効果向上、処理時間短縮又は消費電力削減への寄与が期待される。
【００１６】
具体的には例えば、前記複数のシャッタボタンは、第１及び第２のシャッタボタンを含み、前記ぶれ補正制御手段は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合と前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合とで、前記処理を変更する。
【００１７】
また具体的には例えば、前記ぶれ補正装置は、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記合成画像が、前記ぶれ補正を施された前記ぶれ補正画像であり、前記ぶれ補正制御手段による変更の対象は、前記分割露光画像の枚数及び各分割露光画像の露光時間である。
【００１８】
これにより、撮影指示操作がなされたシャッタボタンに応じて分割露光時間の枚数を最適化することが可能となる。
【００１９】
また具体的には例えば、前記ぶれ補正装置は、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の並進方向の動き検出を行う並進方向動き検出手段と、各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の回転方向の動き検出を行う回転方向動き検出手段と、前記並進方向及び前記回転方向の動き検出結果に基づいて、又は、前記並進方向の動き検出結果に基づいて、各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記ぶれ補正制御手段による変更の対象は、前記位置合わせに用いる動き検出結果であり、前記合成画像が、前記ぶれ補正が施された前記ぶれ補正画像であり、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記並進方向及び前記回転方向の動き検出結果に基づく前記合成画像を前記ぶれ補正画像とし、前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記回転方向動き検出手段に依存しない、前記並進方向の動き検出結果に基づく前記合成画像を前記ぶれ補正画像とする。
【００２０】
シャッタボタンによっては回転方向のぶれが殆ど生じない場合もある。これを考慮して上述の如く構成する。これは、処理時間の短縮等に寄与する。
【００２１】
また具体的には例えば、前記ぶれ補正装置は、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の動き検出を行う動き検出手段と、前記動き検出手段による動き検出結果に基づいて、各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記合成画像が、前記ぶれ補正が施された前記ぶれ補正画像であり、前記ぶれ補正制御手段による変更の対象は、前記動き検出手段による動きの検出可能範囲である。
【００２２】
撮影指示操作がなされるシャッタボタンによって、想定される分割露光画像間の動き量は異なり、必要な動き検出可能範囲も異なる。これを考慮して上述の如く構成する。これは、動き検出の処理時間の短縮等に寄与する。
【００２３】
また具体的には例えば、前記ぶれ補正装置は、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、前記複数の分割露光画像の内の何れか１つを基準画像とし且つ他を非基準画像とし、前記基準画像に定義された動き検出領域内の画像と前記非基準画像に定義された動き検出領域内の画像とを対比することにより、前記基準画像と前記非基準画像との間の位置ずれを評価し、評価された前記位置ずれに応じて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記合成画像が、前記ぶれ補正が施された前記ぶれ補正画像であり、前記ぶれ補正制御手段による変更の対象は、前記基準画像内における前記動き検出領域と前記非基準画像内における前記動き検出領域との相対位置である。
【００２４】
撮影指示操作がなされるシャッタボタンによって、想定される分割露光画像間の動きの方向等が異なる。これを考慮して上述の如く構成する。これにより、より大きなぶれに対応することも可能となる。
【００２５】
また具体的には例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段を備えて、前記静止画像の露光期間中に前記駆動手段を用いることによって前記ぶれ補正を実現するように構成され、前記ぶれ補正制御手段による変更の対象は、前記駆動手段の駆動対象である前記補正用光学部材又は前記撮像素子の、前記露光期間中における初期状態である。
【００２６】
これによっても、より大きなぶれに対応することが可能となる。
【００２７】
また具体的には例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより、前記ぶれ補正の１つとしての光学式ぶれ補正を実現する光学式ぶれ補正手段と、前記撮像素子の出力信号に基づく撮影画像に含まれるぶれに応じた復元フィルタを生成し、該復元フィルタを用いて前記撮影画像に対して前記ぶれ補正の１つとしての復元式ぶれ補正を施す復元式ぶれ補正手段と、を備え、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記光学式ぶれ補正と前記復元式ぶれ補正の双方を実行可能とし、前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記光学式ぶれ補正と前記復元式ぶれ補正の何れか一方を実行する。
【００２８】
或いは例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて又は前記ぶれ検出センサの検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像に基づく前記合成画像を前記ぶれ補正画像とし、前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させることにより前記ぶれ補正を実現して該１枚の画像を前記ぶれ補正画像とする。
【００２９】
或いは例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて又は前記ぶれ検出センサの検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより合成画像を生成する合成画像生成手段と、を備え、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像に基づく前記合成画像を前記ぶれ補正画像とし、前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段による前記補正用光学部材又は前記撮像素子の駆動を停止した状態で前記複数の分割露光画像を順次撮影させて前記合成画像を生成し、この合成画像を前記ぶれ補正画像とする。
【００３０】
或いは例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の動き検出を行う動き検出手段と、を備え、前記動き検出には、互いに異なる分割露光画像間の回転方向の動き検出が含まれ、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像内のぶれを低減し、このぶれが低減された各分割露光画像を前記動き検出手段の動き検出結果に基づいて位置合わせして加算合成することにより前記ぶれ補正画像としての合成画像を生成し、前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させることにより前記ぶれ補正を実現して該１枚の画像を前記ぶれ補正画像とする。
【００３１】
或いは例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、前記撮影指示操作に従って複数の分割露光画像が順次撮影されるように前記撮像装置における撮像手段を制御する露光制御手段と、各分割露光画像の画像データに基づいて互いに異なる分割露光画像間の動き検出を行う動き検出手段と、を備え、前記動き検出には、互いに異なる分割露光画像間の回転方向の動き検出が含まれ、前記ぶれ補正制御手段の制御の下、前記ぶれ補正装置は、前記第１のシャッタボタンに対して前記撮影指示操作がなされた場合、前記動き検出手段の動き検出結果に基づいて各分割露光画像を位置合わせして加算合成することにより前記ぶれ補正画像としての合成画像を生成し、前記第２のシャッタボタンに対して前記撮影指示操作がなされた場合、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させることにより前記ぶれ補正を実現して該１枚の画像を前記ぶれ補正画像とする。
【００３２】
これらにより、処理時間の短縮及び／又は消費電力の低減が図られる。
【００３３】
また例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの出力信号を増幅する増幅手段及び前記増幅手段の出力信号をＡ／Ｄ変換するＡ／Ｄ変換手段を有するぶれ検出手段を備え、前記ぶれ検出手段は、前記Ａ／Ｄ変換によって得られた信号をぶれ検出信号として出力し、前記ぶれ補正装置は、前記ぶれ検出信号に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより前記ぶれ補正の１つとしての光学式ぶれ補正を実現し、前記ぶれ補正制御手段による変更の対象は、前記増幅手段の増幅率である。
【００３４】
これにより、ぶれの検出感度をシャッタボタンごとに個別に最適化することも可能となる。
【００３５】
また例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの出力信号を増幅する増幅手段及び設定されたゼロ点を基準として前記増幅手段の出力信号をＡ／Ｄ変換するＡ／Ｄ変換手段を有するぶれ検出手段を備え、前記ぶれ検出手段は、前記Ａ／Ｄ変換によって得られた信号をぶれ検出信号として出力し、前記ぶれ補正装置は、前記ぶれ検出信号に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより前記ぶれ補正の１つとしての光学式ぶれ補正を実現し、前記ぶれ補正制御手段による変更の対象は、前記ゼロ点である。
【００３６】
これにより、手ぶれの検出可能範囲を実質的に拡大することも可能となる。
【００３７】
また例えば、前記ぶれ補正装置は、前記撮像装置のぶれを検出するぶれ検出センサの検出結果に基づいて前記撮像装置に設けられた撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより、前記ぶれ補正の１つとしての光学式ぶれ補正を実現する光学式ぶれ補正手段を備え、前記複数のシャッタボタンの内、一部のシャッタボタンに対して前記撮影指示操作がなされた場合にのみ、前記光学式ぶれ補正手段に依存したぶれ補正を行い、前記撮像装置に対する駆動電力の投入後の所定期間内において、前記一部のシャッタボタンによる撮影指示を禁止する。
【００３８】
これにより、信頼性が比較的低いぶれ補正の実施を防止することができる。
【００３９】
また例えば、前記撮像装置は、前記撮像装置に備えられた複数のボタンの内の一部を選択する操作を受け付ける選択操作受付手段を備え、前記操作に従って選択された一部のボタンを前記複数のシャッタボタンとして機能させる。
【００４０】
本発明に係る第２の撮像装置は、静止画像の撮影を指示するための撮影指示操作を受けるシャッタボタンを複数備えた撮像装置において、前記静止画像に含まれうるぶれを低減するためのぶれ補正を実行可能なぶれ補正装置を備え、前記ぶれ補正装置は、前記複数のシャッタボタンの内、何れのシャッタボタンに対して前記撮影指示操作がなされたかを検出する撮影指示検出手段と、前記撮影指示検出手段の検出結果に基づいて前記ぶれ補正の実行可否を決定するぶれ補正制御手段と、を備えたことを特徴とする。
【００４１】
これにより、ぶれが少ないと想定されるシャッタボタンに対して撮影指示操作がなされた場合はぶれ補正を実行しない、といった制御が可能となる。これにより、処理時間短縮又は消費電力削減を図ることが可能となる。
【発明の効果】
【００４２】
本発明によれば、手ぶれ補正の効果向上、処理時間短縮又は消費電力削減に寄与する撮像装置を提供することができる。
【００４３】
本発明の意義ないし効果は、以下に示す実施の形態の説明により更に明らかとなろう。ただし、以下の実施の形態は、あくまでも本発明の一つの実施形態であって、本発明ないし各構成要件の用語の意義は、以下の実施の形態に記載されたものに制限されるものではない。
【発明を実施するための最良の形態】
【００４４】
以下、本発明の実施の形態につき、図面を参照して具体的に説明する。参照される各図において、同一の部分には同一の符号を付し、同一の部分に関する重複する説明を原則として省略する。後に第１〜第１３実施例を説明するが、まず、各実施例に共通する事項又は各実施例にて参照される事項について説明する。
【００４５】
図１（ａ）に、本発明の実施形態に係る撮像装置としてのデジタルカメラ１の外観図を示す。図１（ｂ）に、デジタルカメラ１を支持する手をも併せて示したデジタルカメラ１の使用状況例を示す。
【００４６】
デジタルカメラ１は、静止画像のみを撮影可能なデジタルスチルカメラ、又は、静止画像及び動画像を撮影可能なデジタルビデオカメラである。デジタルカメラ１は、静止画像の撮影を指示するためのシャッタボタンを複数備えている。具体的には、図１（ａ）及び（ｂ）に示す如く、デジタルカメラ１は２つのシャッタボタンＳＢ１及びＳＢ２を備えて構成される。シャッタボタンＳＢ１又はＳＢ２を押下することにより、静止画像の撮影がなされる。シャッタボタンＳＢ１又はＳＢ２に対する押下は、静止画像の撮影を指示するための操作（撮影指示操作）である。シャッタボタンＳＢ１及びＳＢ２の夫々は、例えば押しボタンスイッチであり、ユーザがそれに外力を与えることによって押し下げられて静止画像の撮影が指示される。
【００４７】
デジタルカメラ１は、丸みを帯びた直方体状の筐体２と板状の筐体３とを連結部を介して接合して形成される。筐体３には、表示装置としてのモニタ１７が備え付けられている。筐体２に対して筐体３は自在に開閉可能なように取り付けらており、筐体２に対する筐体３の相対位置は可変となっている。図１（ａ）及び（ｂ）は、筐体３が開いている状態を示している。筐体３を閉じている状態で筐体２を固定しつつ筐体３に所定方向の外力を作用させると筐体３が開き、ユーザがモニタ１７を視認できる状態となる。筐体３を開いている状態で筐体２を固定しつつ筐体３に所定方向の外力を作用させると筐体３が閉じ、ユーザがモニタ１７を視認できない状態となる。
【００４８】
ユーザは、通常、筐体３を開いてモニタ１７に表示されるスルー画像を確認しつつ、シャッタボタンＳＢ１又はＳＢ２に対する操作を行って静止画像の撮影を行う。以下の全ての説明は、筐体３が開いている状態を想定するものとする。
【００４９】
シャッタボタンＳＢ１は筐体２に設けられ、シャッタボタンＳＢ２は筐体３に設けられている。シャッタボタンＳＢ１は、主として第１支持状態にて操作されることを想定しており、シャッタボタンＳＢ２は、主として第２支持状態にて操作されることを想定している。第１支持状態は、筐体２を片手で把持することによって筐体２及び３の全体を支持する状態である。第２支持状態は、筐体２を主たる把持手で把持すると共に筐体３を従たる把持手で補佐的に把持している状態である（即ち、両手で筐体２及び３の全体を支持している状態である）。本実施形態において、第１支持状態における片手は右手を想定しており、第２支持状態における主たる把持手及び従たる把持手はそれぞれ右手及び左手を想定している。尚、図１（ｂ）は、第１支持状態において右手親指にてシャッタボタンＳＢ１を操作する直前の状態を示している。
【００５０】
次に、シャッタボタンとの関係において手ぶれ特性を説明する。デジタルカメラ１のように、複数のシャッタボタンを備える場合、何れかのシャッタボタンの操作によって撮影を行うかで手ぶれの方向や大きさなどが異なる。
【００５１】
具体的には、第１支持状態にてシャッタボタンＳＢ１を押下する場合よりも、第２支持状態にてシャッタボタンＳＢ２を押下する場合の方が、通常、ヨー方向、ピッチ方向、ロール方向の全てにおいて手ぶれ量（手ぶれの大きさ）が小さい。また、第１支持状態にてシャッタボタンＳＢ１を押下する場合、ヨー方向及びピッチ方向の各手ぶれ量に比べ、ロール方向の手ぶれ量が大きくなる傾向がある。
【００５２】
ここで、ヨー方向とは、筐体２の長手方向に平行であって且つ筐体２内を通る所定の軸３０１を回転軸として、デジタルカメラ１を回転させる方向である。軸３０１及びヨー方向は、夫々、デジタルカメラ１の光軸３００に対して直交する。ピッチ方向とは、光軸３００及び軸３０１に対して直交し且つ筐体２内を通る所定の軸３０２を回転軸として、デジタルカメラ１を回転させる方向である。ヨー方向とピッチ方向は、互いに直交する。ロール方向とは、光軸３００を回転軸として、デジタルカメラ１を回転させる方向である。軸３０１及び３０２はデジタルカメラ１の撮像素子（後述の撮像素子１２）の撮像面に平行であり、光軸３００はその撮像面に直交し、光軸３００並びに軸３０１及び３０２は、その撮像面の中心で交わる。以下の説明は、軸３０１を鉛直方向に一致させた状態を想定するものとする。
【００５３】
デジタルカメラ１にヨー方向のぶれを与えれば、デジタルカメラ１の光軸は水平面に平行な面上で回転し、デジタルカメラ１にピッチ方向のぶれを与えれば、デジタルカメラ１の光軸は鉛直面に平行な面上で回転する。デジタルカメラ１は手ぶれ補正機能を備え、後述するように様々な手ぶれ補正が実現されるが、手ぶれ補正を行わない場合、ヨー方向の手ぶれによってデジタルカメラ１の撮像素子上に結像する像は左右方向（撮像素子の水平方向）に移動し、ピッチ方向の手ぶれによってデジタルカメラ１の撮像素子上に結像する像は上下方向（撮像素子の垂直方向）に移動し、ロール方向の手ぶれによってデジタルカメラ１の撮像素子上に結像する像は撮像素子上で回転する。
【００５４】
また、第１支持状態にてシャッタボタンＳＢ１を押下する場合、ヨー方向における手ぶれは、デジタルカメラ１の操作面側から見て右方向が支配的になる（即ち、この場合、通常、ヨー方向における手ぶれ方向は右方向である）。一方、第２支持状態にてシャッタボタンＳＢ２を押下する場合、ヨー方向における手ぶれは、デジタルカメラ１の操作面側から見て左方向が支配的になる（即ち、この場合、通常、ヨー方向における手ぶれ方向は左方向である）。シャッタボタンＳＢ１はデジタルカメラ１の操作面に配置され、シャッタボタンＳＢ２も該操作面に平行な面に配置されている。
【００５５】
また、第１支持状態にてシャッタボタンＳＢ１を押下する場合も第２支持状態にてシャッタボタンＳＢ２を押下する場合も、ピッチ方向における手ぶれは、デジタルカメラ１の操作面側から見て下方向（鉛直下方）が支配的になる（即ち、双方の場合とも、通常、ピッチ方向における手ぶれ方向は下方向である）。
【００５６】
シャッタボタンＳＢ１は第２支持状態で操作されることもあるが、本実施形態では、シャッタボタンＳＢ１が第１支持状態にて操作されることを想定する。以下の全ての説明では、シャッタボタンＳＢ１は第１支持状態にて押下され、シャッタボタンＳＢ２は第２支持状態にて押下されることを想定する。
【００５７】
静止画像の撮影を指示するための操作を与えた時に生じることが想定される手ぶれの方向及び大きさを、手ぶれ特性という。そして、上述のような、シャッタボタンＳＢ１及びＳＢ２にとっての手ぶれ特性を、以下、特に「手ぶれ特性α」と呼ぶことにする。この手ぶれ特性αは、実験などを介して導出される。
【００５８】
デジタルカメラ１は、シャッタボタンＳＢ１とＳＢ２の何れによって静止画像の撮影指示がなされたかに応じて、自動的に手ぶれ補正を実現するための処理の変更等を行う。以下に、デジタルカメラ１の具体的な処理内容を説明する実施例として、第１〜第１３実施例を説明する。図１９に、各実施例の概要を列記する。
【００５９】
また、手ぶれ補正を施すことによって得られた手ぶれ補正後の画像を、「ぶれ補正画像」と呼ぶ。
【００６０】
＜＜第１実施例＞＞
まず、第１実施例について説明する。第１実施例では、手ぶれ補正として、加算式手ぶれ補正を採用する。
【００６１】
加算式手ぶれ補正では、１回の露光で１枚の画像を得るための一括露光の露光時間をＮ個（Ｎは２以上の整数）に分割し、分割露光時間にてＮ枚の分割露光画像を連続撮影する。そして、各分割露光画像の画像特徴に基づいて各分割露光画像間の動き検出を行い、その動き検出結果に従って各分割露光画像間の動きが打ち消されるように各分割露光画像を位置合わせして加算合成することにより画像のぶれが低減された１枚の静止画像を得る。分割露光時間は、一括露光の露光時間のＮ分の１とされる。つまり、「（分割露光時間）＝（一括露光の露光時間）／（露光分割数）」の関係が成り立つ。Ｎは、露光分割数を表すと共に分割露光画像の枚数（分割枚数）を表す。
【００６２】
加算式手ぶれ補正を用いる場合、露光分割数（即ち、Ｎの数値）を大きくすれば１枚当たりの手ぶれ量は小さくなる。しかしながら、１枚当たりの手ぶれ量を小さくするために露光分割数を大きくし過ぎると、１枚当たりの露光時間が短くなって低輝度画像しか得られなくなり、撮影後の位置合わせが困難となる。
【００６３】
従って、分割露光時間と露光分割数を特定するＮの数値は、撮影時の手ぶれ量に応じて最適化されることが望ましい。即ち、１枚当たりの手ぶれ量が大きくなりすぎないように且つ各分割露光画像の輝度が低くなりすぎなように、それらを設定すべきである。
【００６４】
本実施例では、上述の手ぶれ特性αに基づいて、分割露光時間と露光分割数を最適化する。具体的には、図２に示す如く、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合は、手ぶれ量が比較的多いことを考慮して１枚当たりの手ぶれ量低減を優先すべく、分割露光時間を比較的短くし且つ露光分割数を比較的多くする。具体的には、分割露光時間をｔ１とし且つ露光分割数Ｎを４とする。
【００６５】
これに対し、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、手ぶれ量がシャッタボタンＳＢ１の押下時と比べて小さいことから、露光分割数を少なくして１枚当たりの露光時間を長く設定する。これにより、撮影後の位置合わせが容易となる共に、より輝度の高い分割露光画像から分割露光画像間の動き検出を行うことができるようになるため動き検出（動きベクトル）の信頼性を高めることができる。結果、手ぶれ補正効果の向上（より正確な手ぶれ補正）が見込める。また、画像合成に必要な分割露光画像の枚数も少なくなるため、処理時間の短縮効果も見込める。具体的には、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、分割露光時間をｔ２とし且つ露光分割数Ｎを３とする。ここで、（ｔ１×４）と（ｔ２×３）は共に一括露光の露光時間に等しいため、ｔ１＜ｔ２である。
【００６６】
このように、本実施例では、押下されたシャッタボタンに応じて分割露光時間と露光分割数を変更し、最適な手ぶれ補正を実現する。
【００６７】
図３に、上述の加算式手ぶれ補正を実現する、本実施例のデジタルカメラの全体ブロック図を示す。図３は、図１のデジタルカメラ１の電気的な一構成例を示すものであるため、図３のデジタルカメラも符号１によって参照することとする。図３のデジタルカメラ１は、符号１１〜２３及び３０にて参照される各部位と、シャッタボタンＳＢ１及びＳＢ２を備える。符号３０にて参照される加算式手ぶれ補正回路は、輝度調節回路３１、動き検出回路３２、座標変換回路３３、画像加算回路３４及び画像メモリ３５を備えている。座標変換回路３３と画像加算回路３４と画像メモリ３５は画像合成回路３６を形成している。光学系１１と撮像素子１２は、撮影を行う撮像部（撮像手段）を形成する。
【００６８】
ＣＣＤ（Charge Coupled Devices）或いはＣ−ＭＯＳイメージセンサ（Complementary Metal Oxide Semiconductor）等から成る撮像素子１２は、複数のレンズを含む光学系１
１を通して入射した光学像を光電変換し、該光学像を電気信号として出力する。撮像素子１２の出力信号は、例えばＲＧＢ信号によって表され、該出力信号はＣＤＳ（Correlated Double Sampling）回路とＡＧＣ(Auto Gain Control)回路とを備えたカメラ回路１３に送られる。カメラ回路１３において、撮像素子１２の出力信号は、ＣＤＳ回路で相関二重サンプリング処理された後、ＡＧＣ回路で最適な振幅にゲイン調整される。カメラ回路１３の出力信号は、Ａ／Ｄ変換器１４によってデジタル映像信号としての画像データに変換される。Ａ／Ｄ変換器１４からの画像データは、画像メモリ１５に書き込まれる。撮影制御回路２１は、被写体の明るさを測定する測光回路（不図示）から得られた明るさの情報に基づいて、撮像素子１２の最適な露光時間を設定する。  
【００６９】
画像メモリ１５は、メモリ制御回路２２を介してマイクロコンピュータ（以下、「マイコン」という）２０によって制御される。マイコン２０は、手ぶれ補正制御部としても機能する。尚、この手ぶれ補正制御部が、マイコン２０の外部に備えられていると考えても構わない。撮影制御回路２１は、マイコン２０（又は手ぶれ補正制御部）によって制御される。
【００７０】
シャッタボタン検出部２３は、シャッタボタンＳＢ１又はＳＢ２が押下げられたか否かを監視し、シャッタボタンＳＢ１又はＳＢ２が押下げられたか否かを表すシャッタボタン検出信号をマイコン２０に送る。シャッタボタン検出信号には、シャッタボタンＳＢ１とＳＢ２の内、何れのシャッタボタンが押下されたかを特定する情報も含まれている。
【００７１】
デジタルカメラ１の撮影時の動作モードには、「通常撮影モード」と「手ぶれ補正撮影モード」とが含まれる。手ぶれ補正ＯＮ／ＯＦＦスイッチ（不図示）に対する操作に応じて、「通常撮影モード」と「手ぶれ補正撮影モード」の切替え設定が行われる。
【００７２】
まず、通常撮影モードにおけるデジタルカメラ１の動作について説明する。シャッタボタンＳＢ１及びＳＢ２の何れもが押下げられていない場合には、一定間隔（例えば１／６０秒）の撮影によって得られた画像データが、画像メモリ１５に書き込まれた後、ＮＴＳＣ（National Television Standards Committee）エンコーダ１６によりＮＴＳＣ信号に変換されて、液晶ディスプレイ等から成るモニタ１７に送られる。これにより、各画像データによって表される画像がモニタ１７に表示される。このような、画像メモリ１５に書き込まれた画像データをそのままＮＴＳＣエンコーダ１６に送ることによる表示を、「スルー表示」という。
【００７３】
シャッタボタンＳＢ１又はＳＢ２が押下げられると、静止画像の撮影を開始し、そのタイミングの撮影によって得られた画像データが画像メモリ１５に書き込まれる。その後、該画像データにて表される画像がモニタ１７に表示されると共に、該画像データは画像圧縮回路１８によってＪＰＥＧ（Joint Photographic Experts Group）などの所定の圧縮データ形式にエンコードされ、画像ファイルとしてメモリカード１９に保存される。
【００７４】
次に、手ぶれ補正撮影モードにおけるデジタルカメラ１の動作について説明する。以下の全ての説明は、特に記述しない限り、手ぶれ補正撮影モードにおける動作の説明である（第２実施例以降についても同様）。
【００７５】
手ぶれ補正撮影モードにおいては、画像メモリ１５に書き込まれた画像データは、加算式手ぶれ補正回路３０に転送される。
【００７６】
シャッタボタンＳＢ１及びＳＢ２の何れもが押下げられていない場合には、一定間隔（例えば１／６０秒）の撮影によって得られた画像データが、画像メモリ１５に書き込まれた後、加算式手ぶれ補正回路３０に転送される。この場合において加算式手ぶれ補正回路３０に転送された画像データは、ＮＴＳＣエンコーダ１６を介してモニタ１７に送られてスルー表示がなされると共に、輝度調節回路３１に送られる。輝度調節回路３１は、分割露光画像を模擬するべく、入力された画像（画像データ）の輝度が分割露光画像の輝度と同程度となるように入力された画像データの輝度レベルを低下させ、輝度レベル低下後の画像データを動き検出回路３２に出力する。
【００７７】
動き検出回路３２は、入力された、異なる画像間の動きベクトルの算出及び算出した動きベクトルの有効／無効判定を行う。シャッタボタンＳＢ１及びＳＢ２の何れもが押下げられていない場合には、動き検出回路３２は、前回に入力された画像データにて表される画像と今回に入力された画像データにて表される画像との間における動きベクトルの算出及び算出した動きベクトルの有効／無効判定を行う。尚、シャッタボタンＳＢ１及びＳＢ２の何れもが押下されていない時において順次算出される動きベクトルは、後述の第１３実施例における図２６のステップＳ４８の処理（パン・チルト状態判定処理）などに利用することができる。
【００７８】
シャッタボタンＳＢ１又はＳＢ２が押下げられた場合、何れのシャッタボタンが押下げられたかを表すシャッタボタン検出信号に基づいて、マイコン２０は、撮影制御回路２１に対して上記の最適な露光時間を複数個に分割して露光するように指示する。最適な露光時間を分割して得られる各露光時間が、上述の分割露光時間であり、１つの分割露光時間の露光によって撮影される画像が、上述の分割露光画像である。具体的には、最適な露光時間をＴOとした場合、シャッタボタンＳＢ１が押下された時は、ＴO／４の分割露光時間で次々と４枚の分割露光画像を連続撮影する。一方、シャッタボタンＳＢ２が押下された時は、ＴO／３の分割露光時間で次々と３枚の分割露光画像を連続撮影する。以下、分割露光画像を表す画像データを、特に「分割露光画像データ」ともいう。
【００７９】
分割露光によって得られた複数の分割露光画像データは、それぞれ画像メモリ１５に記憶され、順次、加算式手ぶれ補正回路３０に転送される。具体的には、各分割露光画像データは、順次、加算式手ぶれ補正回路３０内の動き検出回路３２および座標変換回路３３に送られる。
【００８０】
動き検出回路３２では、分割露光によって得られた複数の分割露光画像の内の、最初に入力された１番目の分割露光画像と、それ以降に入力される各分割露光画像との間の動きベクトルが順次算出されるとともに、算出された動きベクトルが有効か無効かも順次判定される。画像間の動きを表すベクトルとしてある程度信頼できると判断された動きベクトルは有効とされ、信頼できないと判断された動きベクトルは無効とされる。有効／無効の判定手法として、後述の第１３実施例に記載の手法を用いることができる。
【００８１】
尚、ここにおける動きベクトルは、画像全体の動きベクトル（後述する「全体動きベクトル」）を意味している。また、動き検出回路３２は、マイコン２０によって制御され、動き検出回路３２にて算出された各値は必要に応じてマイコン２０に送られる。
【００８２】
動きベクトル（全体動きベクトル）が有効と判定された場合、２番目以降に加算式手ぶれ補正回路３０に入力された各分割露光画像は、１番目の分割露光画像との間の動きベクトルに基づいて、１番目の分割露光画像とのずれがなくなるように、座標変換回路３３で１番目の分割露光画像の座標に座標変換される（即ち、１番目の分割露光画像を基準として位置合わせされる）。そして、画像加算回路３４において、座標変換された各分割露光画像の各画素値は、１番目の分割露光画像又はそれまでに合成された画像の各画素値に対して加算され、その加算結果が画像メモリ３５に記憶される。つまり、分割露光画像間の位置ずれを補正した上で加算合成することにより得られる合成画像が画像メモリ３５に格納される。
【００８３】
尚、１番目の分割露光画像と位置合わせ後の２番目以降の分割露光画像を単純に加算することによって合成画像を生成するようにしてもよいし、動きベクトルの信頼度を評価し、その信頼度に応じた比率で１番目の分割露光画像と位置合わせ後の２番目以降の分割露光画像を加重加算することによって合成画像を生成するようにしてもよい。信頼度の評価手法としては、後述の第１３実施例に記載の手法を用いることができる。
【００８４】
各分割露光画像は、露光時間が通常露光の１／Ｎと短いため、手ぶれ量も通常露光の１／Ｎとなる（Ｎは３又は４）。そして、分割露光画像間の位置ずれが補正された後に分割露光画像が加算合成されるので、合成画像の手ぶれ量は、通常露光の１／Ｎに低減される。生成された合成画像は、シャッタボタンＳＢ１又はＳＢ２の押下に応じて撮影されたぶれ補正画像としての１枚の静止画像を表している。ぶれ補正画像としての合成画像は、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。
【００８５】
一方、動きベクトル（全体動きベクトル）が無効と判定された場合、２番目以降に加算式手ぶれ補正回路３０に入力された各分割露光画像に対して、座標変換回路３３での位置ずれ補正は行われない。そして、位置ずれ補正が施されていない各分割露光画像は、画像加算回路３４で１番目の分割露光画像またはそれまでに合成された画像に加算合成される。このように加算合成することで、信頼性のない動きベクトルで位置合わせしたことに由来する画像のぶれの増加を抑制することが可能となる。
【００８６】
尚、或る画像に関し、画素値とは、その画像を形成する画素に対する映像信号の値（例えば、輝度信号の値、色差信号の値）を表す。
【００８７】
［動き検出回路］
動き検出回路３２による動きベクトルの検出手法について詳細に説明する。動き検出回路３２は、代表点マッチング法に基づいて動きベクトルを検出する。代表点マッチング法そのものについては周知である。動き検出回路３２には次々と画像（画像データ）が入力されるが、基準画像と非基準画像との間の動きベクトルを検出する場合を例にとって、代表点マッチング法について説明する。典型的には例えば、基準画像は、上述の１番目の分割露光画像であり、非基準画像は、上述の２番目以降の各分割露光画像である。
【００８８】
図４に、動き検出回路３２に与えられる画像データによって表される画像３１０を示す。画像３１０は、上記の基準画像又は非基準画像を表す。画像３１０内に、複数の動きベクトル検出領域が設けられる。以下、動きベクトル検出領域を、単に、「検出領域」と略記する。説明の具体化のため、９つの検出領域Ｅ1〜Ｅ9が設けられている場合を考える。各検出領域Ｅ1〜Ｅ9の大きさは同じであり、各検出領域Ｅ1〜Ｅ9は画像３１０内の互いに異なる位置に設けられる。
【００８９】
検出領域Ｅ1〜Ｅ9の夫々は、更に、複数の小領域（検出ブロック）ｅに分割されている。図４に示す例では、各検出領域が、４８個の小領域ｅに分割されている（垂直方向に６分割され且つ水平方向に８分割されている）。各小領域ｅは、例えば、３２×３２の画素（垂直方向に３２画素且つ水平方向に３２画素の二次元配列された画素）で構成される。そして、図５に示すように、各小領域ｅに、複数のサンプリング点Ｓと１つの代表点Ｒが設定される。或る１つの小領域ｅに関し、複数のサンプリング点Ｓは、例えば当該小領域ｅを構成する画素の全てに対応する（但し、代表点Ｒを除く）。
【００９０】
非基準画像における小領域ｅ内の各サンプリング点Ｓの輝度値と、基準画像における対応する小領域ｅ内の代表点Ｒの輝度値との差の絶対値（各サンプリング点Ｓにおける相関値）が、各検出領域Ｅ1〜Ｅ9ごとに、全ての小領域ｅに対して求められる。そして、各検出領域Ｅ1 〜Ｅ9 ごとに、検出領域内の全ての小領域ｅ間において、代表点Ｒに対する偏移が同じサンプリング点Ｓ同士の相関値が累積加算される（本実施例では、４８個の相関値が累積加算される）。換言すれば、各検出領域Ｅ1 〜Ｅ9 において、各小領域ｅ内の同じ位置（小領域内座標における同じ位置）の画素について求めた輝度差の絶対値が４８個の小領域ｅ分、累積加算される。この累積加算によって得られる値を、「累積相関値」とよぶ。累積相関値は、一般に、マッチング誤差とも呼ばれる。各検出領域Ｅ1 〜Ｅ9 ごとに、１つの小領域ｅ内のサンプリング点Ｓの個数と同じ個数の複数の累積相関値が求められることになる。各検出領域Ｅ1 〜Ｅ9 ごとに、複数の累積装置値の内の最小値が特定され、累積相関値が最小となるサンプリング点Ｓが特定される。
【００９１】
そして、各検出領域Ｅ1 〜Ｅ9ごとに、代表点Ｒと累積相関値が最小となるサンプリング点Ｓとの偏移、すなわち相関性が最も高い偏移が検出される。その偏移を表すベクトルを当該検出領域の動きベクトルとして取り扱うことができる。このように、或る検出領域に関し、代表点マッチング法に基づいて算出される累積相関値は、基準画像に対して非基準画像に所定の偏移（基準画像と非基準画像との間における位置ずれ）を加えた時の、基準画像内の検出領域の画像と非基準画像内の検出領域の画像との相関（類似性）を表し、その値は該相関が高くなるに従って小さくなる。
【００９２】
そして、単純には例えば、検出領域ごとに検出された合計９つの動きベクトルの平均ベクトルを、基準画像と非基準画像との間における画像全体の動きベクトルとする。画像全体の動きベクトルは、基準画像と非基準画像との間における、画像全体の動きの向き及び大きさを特定する。画像全体の動きベクトルと検出領域ごとに算出される動きベクトルとを区別するべく、前者を特に全体動きベクトルといい、後者を特に領域動きベクトルということもある。
【００９３】
＜＜第２実施例＞＞
次に、第２実施例について説明する。第２実施例も、手ぶれ補正として加算式手ぶれ補正を採用する。第２実施例に係るデジタルカメラ１の全体ブロック図は、図３に示すそれと同様であるため、重複する図示を省略する。本実施例のデジタルカメラ１について、特に記述しない部分は、第１実施例におけるそれと同様とすることができ、第１実施例に記載した事項は、矛盾なき限り本実施例にも適用される。
【００９４】
第１実施例との比較において、第２実施例では、動き検出回路３２及び画像合成回路３６に追加的機能が備えられる。本実施例にて以下に述べられる動き検出回路３２及び画像合成回路３６は、第２実施例における動き検出回路３２及び画像合成回路３６と解釈される。
【００９５】
具体的には、動き検出回路３２は、画像メモリ１５から送られてくる各分割露光画像データに基づいて、互いに異なる分割露光画像間の並進方向の動き検出及び回転方向の動き検出を実行可能に形成されている。そして、画像合成回路３６は、並進方向の動き検出結果及び回転方向の動き検出結果に基づいて、又は、並進方向の動き検出結果のみに基づいて、各分割露光画像を位置合わせして加算合成することにより手ぶれ補正がなされたぶれ補正画像としての合成画像を生成する。
【００９６】
位置合わせに用いる動き検出結果は、押下されたシャッタボタンに応じて変更される。より具体的に説明する。
【００９７】
シャッタボタンＳＢ１又はＳＢ２が押下げられた場合、何れのシャッタボタンが押下げられたかを表すシャッタボタン検出信号に基づいて、マイコン２０は、撮影制御装置１１に対して上記の最適な露光時間を複数個に分割して露光するように指示する。これにより、複数の分割露光画像が画像メモリ１５に順次格納される。画像メモリ１５に格納された各分割露光画像は、順次、動き検出回路３２及び画像合成回路３６に送られる。尚、露光分割の際、第１実施例と同様にシャッタボタン検出信号に基づいて分割露光時間及び露光分割数を変更するようにしてもよいし、変更しなくてもよい。また、マイコン２０は、シャッタボタン検出信号に基づいて、動き検出回路３２及び画像合成回路３６の処理内容を指定する。
【００９８】
まず、ロール方向の手ぶれ量が比較的大きくなるシャッタボタンＳＢ１が押下された場合の処理について説明する。この場合、動き検出回路３２が、互いに異なる分割露光画像間の並進方向の動き検出及び回転方向の動き検出を行う。
【００９９】
複数の分割露光画像の露光期間中におけるデジタルカメラ１のヨー方向及びピッチ方向のぶれは、互いに異なる分割露光画像間の並進方向の動きとなって表れる。互いに異なる分割露光画像間の並進方向の動きは、その分割露光画像間の水平方向及び垂直方向の位置ずれを表しており、それを、その分割露光画像間の並進方向の全体動きベクトルにて表現することができる。
【０１００】
複数の分割露光画像の露光期間中におけるデジタルカメラ１のロール方向のぶれは、互いに異なる分割露光画像間の回転方向の動きとなって表れる。互いに異なる分割露光画像間の回転方向の動きは、その分割露光画像間の回転方向の位置ずれを表しており、それを、その分割露光画像間の回転方向の全体動きベクトルにて表現することができる。
【０１０１】
並進方向の動き検出及び回転方向の動き検出とは、上記の並進方向の全体動きベクトル及び回転方向の全体動きベクトルを求めることに相当する。実際には、複数の分割露光画像の内の１つを基準画像とし且つ他を非基準画像とし、基準画像と各非基準画像との間における並進方向及び回転方向の全体動きベクトルを検出する。
【０１０２】
基準画像と非基準画像との間における並進方向の全体動きベクトルの検出手法は公知であり、それの検出に任意の公知の手法を用いることができる。単純には例えば、第１実施例で述べたように、図４の検出領域ごとに検出された合計９つの領域動きベクトルの平均ベクトルを基準画像と非基準画像との間における並進方向の全体動きベクトルとすればよい。或いは、図４の検出領域ごとに検出された合計９つの領域動きベクトルの中から信頼性の高い複数の領域動きベクトルを抽出し、その複数の領域動きベクトルの平均ベクトルを、基準画像と非基準画像との間における並進方向の全体動きベクトルとして取り扱うようにしてもよい。
【０１０３】
基準画像と非基準画像との間における回転方向の全体動きベクトルの検出手法も公知であり、それの検出に任意の公知の手法（例えば、特開平１１−１９５１２５号公報に記載の手法）を用いることができる。例えば、基準画像の露光期間と非基準画像の露光期間の間にデジタルカメラ１がロール方向にぶれた時、検出領域Ｅ1とＥ9について検出された２つの領域動きベクトルは、図６（ａ）に示す如く、回転成分を持つことになる。このような回転成分を抽出することによって、回転方向の全体動きベクトルを検出すればよい。より具体的には、特開平１１−１９５１２５号公報に記載の如く、各検出領域（Ｅ1〜Ｅ9）について検出された領域動きベクトルから並進方向の全体動きベクトルを減算することによって、動きの水平及び垂直成分が除去された回転成分のみを持つ複数の領域動きベクトルを検出する。そして、図６（ｂ）に示すような、回転成分のみを持つ複数の領域動きベクトルから、基準画像と非基準画像との間における画像全体の回転角（及び回転中心）を算出し、算出値から回転方向の全体動きベクトルを特定すればよい。
【０１０４】
そして、２番目以降に加算式手ぶれ補正回路３０に入力された各分割露光画像（即ち、各非基準画像）は、１番目の分割露光画像（即ち、基準画像）との間における並進方向及び回転方向の全体動きベクトルに基づいて、１番目の分割露光画像とのずれがなくなるように、座標変換回路３３で１番目の分割露光画像の座標に座標変換される（即ち、１番目の分割露光画像を基準として位置合わせされる）。そして、画像加算回路３４において、座標変換された各分割露光画像の各画素値は、１番目の分割露光画像又はそれまでに合成された画像の各画素値に対して加算され、その加算結果が画像メモリ３５に記憶される。つまり、分割露光画像間の並進方向及び回転方向の位置ずれを補正した上で加算合成することにより得られる合成画像が画像メモリ３５に格納される。
【０１０５】
次に、シャッタボタンＳＢ２が押下された場合の処理について説明する。シャッタボタンＳＢ２が押下された場合は、通常、ロール方向の手ぶれ量が比較的小さい。従って、ロール方向の手ぶれ補正を省略する。即ち、シャッタボタンＳＢ２が押下された場合は、動き検出回路３２に互いに異なる分割露光画像間の並進方向の動き検出のみを行わせ、回転方向の動き検出及び手ぶれ補正を省略する。
【０１０６】
この場合、２番目以降に加算式手ぶれ補正回路３０に入力された各分割露光画像（即ち、各非基準画像）は、１番目の分割露光画像（即ち、基準画像）との間における並進方向の全体動きベクトルに基づいて、１番目の分割露光画像とのずれがなくなるように、座標変換回路３３で１番目の分割露光画像の座標に座標変換される（即ち、１番目の分割露光画像を基準として位置合わせされる）。そして、画像加算回路３４において、座標変換された各分割露光画像の各画素値は、１番目の分割露光画像又はそれまでに合成された画像の各画素値に対して加算され、その加算結果が画像メモリ３５に記憶される。つまり、分割露光画像間の並進方向の位置ずれのみを補正した上で加算合成することにより得られる合成画像が画像メモリ３５に格納される。
【０１０７】
何れの合成画像も、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。
【０１０８】
上述のように処理することにより、ロール方向の手ぶれ量が比較的小さいと推測される場合には、ロール方向の手ぶれ補正が省略されるため、加算合成に要する処理時間の低減効果及び消費電力の削減効果が得られる。
【０１０９】
＜＜第３実施例＞＞
次に、第３実施例について説明する。第３実施例も、手ぶれ補正として加算式手ぶれ補正を採用する。第３実施例に係るデジタルカメラ１の全体ブロック図は、図３に示すそれと同様であるため、重複する図示を省略する。本実施例のデジタルカメラ１について、特に記述しない部分は、第１実施例におけるそれと同様とすることができ、第１実施例に記載した事項は、矛盾なき限り本実施例にも適用される。
【０１１０】
第１実施例との比較において、第３実施例では、動き検出回路３２に追加的機能が備えられる。本実施例にて以下に述べられる動き検出回路３２は、第３実施例における動き検出回路３２と解釈される。
【０１１１】
動き検出回路３２は、第１実施例にて図４及び図５を参照して説明したように、代表点マッチング法を用いて、領域動きベクトルを検出領域（Ｅ1〜Ｅ9）ごとに検出する。そして、各検出領域を形成する各小領域ｅ（検出ブロック）は、原則、３２×３２の画素にて構成され、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合は、原則どおり、各小領域ｅを３２×３２の画素にて形成されるようにする。これにより、画像の上下左右の夫々の方向において、最大１６画素分の手ぶれを検出することが可能となる。
【０１１２】
一方、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、小領域ｅを２４×２４の画素（垂直方向に２４画素且つ水平方向に２４画素の二次元配列された画素）にて形成されるようにする。これにより、画像の上下左右の夫々の方向において、最大１２画素分の手ぶれまでしか検出できないことになるが、シャッタボタンＳＢ２の押下時における手ぶれ量は小さいと考えられるため、問題は生じがたく、画像合成回路３６における良好な位置合わせ及び画像合成は維持される。
【０１１３】
このように、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合よりも、小領域ｅの画像サイズを小さくする（これに伴って、各検出領域の画像サイズも小さくなる）。これにより、動き検出の処理時間の短縮効果及び消費電力の削減効果が得られる。また、より狭い領域で累積加算処理が行われるため、動きベクトルの誤検出率が低下して位置合わせの精度の向上も見込める（より狭い領域で累積加算処理が行えば、類似模様などの存在に由来する動きベクトルの誤検出が発生しにくくなる）
【０１１４】
尚、動き検出回路３２による動き検出の原理から理解されるように、小領域ｅの画像サイズを減少させることは、互いに異なる分割露光画像間の動きの検出可能範囲を減少させることに相当する（上述の例では、上下左右に最大１６画素分の動きの検出可能範囲が最大１２画素分にまで減少）。また、マイコン２０が、何れのシャッタボタンが押下げられたかを表すシャッタボタン検出信号に基づいて動き検出回路３２を制御することにより、各小領域ｅの画像サイズを可変設定する。
【０１１５】
＜＜第４実施例＞＞
次に、第４実施例について説明する。第４実施例も、手ぶれ補正として加算式手ぶれ補正を採用する。第４実施例に係るデジタルカメラ１の全体ブロック図は、図３に示すそれと同様であるため、重複する図示を省略する。本実施例のデジタルカメラ１について、特に記述しない部分は、第１実施例におけるそれと同様とすることができ、第１実施例に記載した事項は、矛盾なき限り本実施例にも適用される。
【０１１６】
第１実施例との比較において、第４実施例では、動き検出回路３２に追加的機能が備えられる。本実施例にて以下に述べられる動き検出回路３２は、第４実施例における動き検出回路３２と解釈される。
【０１１７】
動き検出回路３２は、第１実施例にて図４及び図５を参照して説明したように、代表点マッチング法を用いて領域動きベクトルを検出領域（Ｅ1〜Ｅ9）ごとに検出する。通常は、図４に示す如く、水平及び垂直方向に３つずつ均等な配置で各分割露光画像内に検出領域Ｅ1〜Ｅ9が定義される。このような検出領域Ｅ1〜Ｅ9の配置位置を基準配置位置と呼ぶ。本実施例では、何れのシャッタボタンが押下されたかに応じて、基準画像内に定義される検出領域Ｅ1〜Ｅ9の位置を、予想される手ぶれ方向の逆方向にシフトさせる。
【０１１８】
シャッタボタンＳＢ１の押下によって撮影指示がなされた場合を説明する。連続撮影されるＮ枚の分割露光画像の内、１番目の分割露光画像（１番目に撮影された分割露光画像）が基準画像とされ、２番目以降の各分割露光画像が非基準画像として取り扱われる。シャッタボタンＳＢ１の押下によって撮影指示がなされた場合、上述したようにヨー方向における手ぶれはデジタルカメラ１の操作面側から見て右方向が支配的であるため、図７に示す如く、基準画像に現れる像との対比において非基準画像に現れる像は通常右方向にシフトする。
【０１１９】
従って、この場合は、図８（ａ）に示す如く、基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置を基準配置位置から左方向にシフトさせる。シフトさせる量は、上記手ぶれ特性αに応じて予め設定しておくことができる。非基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置は、図８（ｂ）に示す如く、基準配置位置と同じとする。基準画像と非基準画像との間において、検出領域そのものは同じである、例えば、各検出領域は、図４及び図５を参照して説明したように４８個の小領域ｅに分割され、各小領域ｅは３２×３２の画素にて構成される。
【０１２０】
図９は、検出領域Ｅ1の左隅に位置する１つの小領域ｅに着目し、基準画像における着目小領域と非基準画像における着目小領域を重ね合わせて示した図である。図９において、実線四角枠３２０は基準画像における着目小領域を表し、破線四角枠３２１は非基準画像における着目小領域を表し、点３２２は基準画像における着目小領域に定義された代表点を表している。また、図９におけるΔは、基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置を基準配置位置から左方向にシフトさせた量を表している。
【０１２１】
この状態で、第１実施例で説明したように、各検出領域Ｅ1 〜Ｅ9 ごとに複数の累積相関値を求めて各検出領域Ｅ1 〜Ｅ9 ごとに複数の累積相関値の内の最小値を特定する。そして、各検出領域Ｅ1 〜Ｅ9ごとに代表点Ｒと累積相関値に最小値を与えるサンプリング点Ｓとの偏移、すなわち相関性が最も高い偏移を検出して、その偏移を表すベクトルを当該検出領域の領域動きベクトルとして検出する。領域動きベクトルが検出された後の動作は、第１実施例と同様である。図９を参照した場合、代表点３２２を始点とし破線四角枠３２１内の任意の点を終点とするベクトルが、検出可能な領域動きベクトルである。従って、ベクトル３２３のような、右方向の大きさの大きい領域動きベクトルも検出可能となる。
【０１２２】
代表点マッチング法を用いて、基準画像に定義された検出領域内の画像と各非基準画像に定義された検出領域内の画像とを対比し、これによって、手ぶれに由来する基準画像と各非基準画像との間の位置ずれ（動きベクトル）を評価するのであるが、上述のような検出領域のシフト処理を行うことにより、検出可能な右方向の位置ずれ量を増大させることができる。即ち、露光期間中に生じる手ぶれに対して追従できる範囲が実質的に広くなり、より大きな手ぶれに対しても適切な手ぶれ補正を実行することが可能となる。
【０１２３】
また、上述のシフト処理において重要なのは、基準画像に定義された検出領域と各非基準画像に定義された検出領域との相対位置であるので、シフト対象を上述と逆にしてもよい。即ち、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合、基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置を基準配置位置と一致させ、且つ、各非基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置を基準配置位置から右方向にシフトさせるようにしてもよい。
【０１２４】
シャッタボタンＳＢ２の押下によって撮影指示がなされた場合も、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合と同様に処理することができる。シャッタボタンＳＢ２が押下された場合、上述したようにヨー方向における手ぶれはデジタルカメラ１の操作面側から見て左方向が支配的である。このため、基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置を基準配置位置から右方向にシフトさせればよい。シフトさせる量は、上記手ぶれ特性αに応じて予め設定しておくことができるが、シャッタボタンＳＢ２の押下時の方が手ぶれ量が小さいことに鑑み、シャッタボタンＳＢ２の押下時における右方向のシフト量を、シャッタボタンＳＢ１の押下時における左方向のシフト量（Δ）よりも小さくしてもよい。
【０１２５】
また、シャッタボタンＳＢ２の押下時における手ぶれの絶対量は小さいので、検出領域のシフトを行わないようにしてもよい。つまり、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合、基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置及び各非基準画像内に定義される検出領域Ｅ1〜Ｅ9の配置位置を共に基準配置位置とするようにしてもよい。
【０１２６】
尚、マイコン２０が、何れのシャッタボタンが押下げられたかを表すシャッタボタン検出信号に基づいて動き検出回路３２を制御することにより、検出領域Ｅ1〜Ｅ9の配置位置を可変設定する。
【０１２７】
＜＜第５実施例＞＞
次に、第５実施例について説明する。第５実施例では、手ぶれ補正として光学式手ぶれ補正を採用する。
【０１２８】
図１０に、本実施例のデジタルカメラの全体ブロック図を示す。図１０は、図１のデジタルカメラ１の電気的な一構成例を示すものであるため、図１０のデジタルカメラも符号１によって参照することとする。図１０のデジタルカメラ１は、符号１１ａ、１２〜１９、２０ａ、２２、２３、２５及び２６にて参照される各部位と、シャッタボタンＳＢ１及びＳＢ２を備える。光学系１１ａと撮像素子１２は、撮影を行う撮像部（撮像手段）を形成する。
【０１２９】
撮像素子１２は、複数のレンズを含む光学系１１ａを通して入射した光学像を光電変換し、該光学像を電気信号として出力する。撮像素子１２、カメラ回路１３、Ａ／Ｄ変換器１４、画像メモリ１５の機能は、図３におけるそれらと同じである。撮像素子１２の出力信号に基づく画像データは、画像メモリ１５に書き込まれる。尚、被写体の明るさを測定する測光回路（不図示）から得られた明るさの情報に基づいて、撮像素子１２の最適な露光時間は設定される。
【０１３０】
画像メモリ１５は、メモリ制御回路２２を介してマイコン２０ａによって制御される。マイコン２０ａは、手ぶれ補正制御部としても機能する。尚、この手ぶれ補正制御部が、マイコン２０ａの外部に備えられていると考えても構わない。シャッタボタン検出部２３は、上述のシャッタボタン検出信号をマイコン２０ａに出力する。
【０１３１】
シャッタボタンＳＢ１及びＳＢ２の何れもが押下げられていない場合には、一定間隔（例えば１／６０秒）の撮影によって得られた画像データが、画像メモリ１５に書き込まれる。画像メモリ１５に書き込まれた画像データは、ＮＴＳＣエンコーダ１６を介してモニタ１７に送られてスルー表示がなされる。
【０１３２】
シャッタボタンＳＢ１又はＳＢ２が押下された場合には、その押下に従って撮影されるべき１枚の静止画像の露光期間中において、センサ部２６からの手ぶれ検出信号に基づき、マイコン２０ａが駆動部２５を制御して光学式手ぶれ補正を実現する。
【０１３３】
センサ部２６は、図１１に示す如く、２つのセンサユニット５０及び６０を備える。センサユニット５０は、デジタルカメラ１のヨー方向の角速度を検出するための角速度センサ５１を有し、センサユニット６０は、デジタルカメラ１のピッチ方向の角速度を検出するための角速度センサ６１を有している。センサユニット５０と６０は、角速度を検出する方向が異なるだけで、内部構成は同様である。従って、センサユニット５０についてのみ詳細な説明を行い、センサユニット６０に対する説明を割愛する。
【０１３４】
図１２に示す如く、センサユニット５０は、角速度センサ５１、フィルタ回路５２、増幅率５３及びＡ／Ｄ変換器５４を備える。角速度センサ５１は、所定のサンプリング周期ｄｔにてデジタルカメラ１のヨー方向の角速度を計測して、そのサンプリング周期ｄｔにおけるヨー方向の角速度を表すアナログ信号（以下、「センサ信号」という）を出力する。角速度センサ５１からのセンサ信号は、フィルタ回路５２を介して増幅器５３に与えられ、増幅器５３は、与えられたセンサ信号を増幅して出力する。増幅器５３の出力信号を増幅センサ信号という。Ａ／Ｄ変換器５４は、増幅器５３からのアナログの増幅センサ信号をデジタル信号に変換する。このデジタル信号から、サンプリング周期ｄｔにおけるデジタルカメラ１のヨー方向の角速度が求められる。Ａ／Ｄ変換器５４から、サンプリング周期ｄｔにて順次デジタル信号が出力される。
【０１３５】
フィルタ回路５２は、例えば、所定のカットオフ周波数以下の信号成分を減衰させるハイパスフィルタである。角速度センサ５１の出力信号には、周辺温度等に依存してドリフトするオフセット成分が含まれるが、ドリフトは低周波であるため、フィルタ回路５２によって、角速度センサ５１の出力信号から該オフセット成分（ドリフト成分）が除去される。尚、フィルタ回路５２を省略する構成も採用可能であり、その場合、角速度センサ５１の出力信号は、そのまま増幅器５３に与えられる。
【０１３６】
センサユニット６０もセンサユニット５０と同様に構成され、センサユニット６０は、サンプリング周期ｄｔにおけるデジタルカメラ１のピッチ方向の角速度を表すデジタル信号を順次出力する。センサユニット５０と６０からの各デジタル信号は、「手ぶれ検出信号」としてマイコン２０ａに伝達される。
【０１３７】
図１３に、光学系１１ａの内部構成を撮像素子１２と共に示す。光学系１１ａは、ズームレンズやフォーカスレンズの他、補正レンズＬＣを含む複数枚のレンズを備えて構成される。補正レンズＬＣは、光軸に直交する２次元平面上を移動可能なように光学系１１ａ内に設置され、その移動は、図１０の駆動部２５によって実現される。補正レンズＬＣを光軸に直交する２次元平面上で移動させることにより、撮像素子１２に結像する像が、撮像素子１２上で２次元方向に移動する。
【０１３８】
シャッタボタンＳＢ１又はＳＢ２が押下された際、マイコン２０ａは、手ぶれが除去された１枚の静止画像（ぶれ補正画像）が得られるようにデジタルカメラ１内の各部位を制御する。手ぶれが除去される対象の画像を補正対象画像とよぶ。
【０１３９】
具体的には、補正対象画像の露光期間中における手ぶれ検出信号に基づき、その露光期間中において、手ぶれに由来する撮像素子１２上の光学像のぶれが打ち消されるように駆動部２５を用いて補正レンズＬＣを駆動する。つまり、補正対象画像の露光期間中、実空間内で固定された被写体が補正レンズＬＣの屈折によって常に撮像素子１２の同じ位置に結像するよう、補正レンズＬＣを移動させる。これにより、手ぶれ補正が実現され、手ぶれ補正が施された静止画像が得られる。この手ぶれ補正は、一般的に光学式手ぶれ補正と呼ばれる。得られた静止画像を表す画像データは図１０の画像メモリ１５に格納された後、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。
【０１４０】
そして、本実施例では、何れのシャッタボタンが押下されたかに応じて、シャッタボタンの押下に従って取得されるべき静止画像（補正対象画像）の露光期間の開始時における補正レンズＬＣの位置（以下、初期位置という）を設定する。この初期位置の設定は、マイコン２０ａがシャッタボタン検出信号に基づいて行う。
【０１４１】
例えば、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合、上述したようにヨー方向における手ぶれはデジタルカメラ１の操作面側から見て右方向が支配的である。このため、補正対象画像の露光期間中において補正レンズＬＣは、その右方向の手ぶれを打ち消す方向に移動させられる可能性が高い。従って、この場合は、補正レンズＬＣの初期位置を、その右方向の手ぶれを打ち消す方向の逆方向にシフトさせておく。つまり、補正レンズＬＣの初期位置を、補正レンズＬＣの可動範囲の中心位置を基準として、その右方向の手ぶれを打ち消す方向の逆方向に所定の第１シフト量だけシフトさせた位置とする。
【０１４２】
一方、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合、上述したようにヨー方向における手ぶれはデジタルカメラ１の操作面側から見て左方向が支配的である。このため、補正対象画像の露光期間中において補正レンズＬＣは、その左方向の手ぶれを打ち消す方向に移動させられる可能性が高い。従って、この場合は、補正レンズＬＣの初期位置を、その左方向の手ぶれを打ち消す方向の逆方向にシフトさせておく。つまり、補正レンズＬＣの初期位置を、補正レンズＬＣの可動範囲の中心位置を基準として、その左方向の手ぶれを打ち消す方向の逆方向に所定の第２シフト量だけシフトさせた位置とする。
【０１４３】
また、上述の手ぶれ特性αを考慮し、第１シフト量を第２シフト量よりも大きくしておくことが望ましい。また、シャッタボタンＳＢ２の押下時における手ぶれの絶対量は小さいので、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、上述のシフトを行わないようにしてもよい（即ち、第２シフト量をゼロとしてもよい）。また、補正レンズＬＣの初期位置への移動は、補正対象画像の露光期間の開始前に実施される。
【０１４４】
上述のような補正レンズＬＣのシフト処理を行うことにより、露光期間中に生じる手ぶれに対して追従できる範囲が実質的に広くなり、より大きな手ぶれに対しても適切な手ぶれ補正を実行することが可能となる。
【０１４５】
また、駆動部２５によって撮像素子１２を光軸に直交する２次元平面上で移動させることができるように構成しておいてもよい。この撮像素子１２の移動によって補正レンズＬＣを移動させた場合と同様の作用が得られる（即ち、光学式手ぶれ補正が実現される）ことが知られている。従って、補正レンズＬＣではなく駆動部２５によって撮像素子１２を駆動することにより、上述と同様の処理を行うようにしてもよい。つまり、補正対象画像の露光期間中における手ぶれ検出信号に基づき、その露光期間中において、手ぶれに由来する撮像素子１２上の光学像のぶれが打ち消されるように撮像素子１２を移動させるようにしてもよい。
【０１４６】
この場合、撮像素子１２の初期位置を、撮像素子１２の可動範囲の中心位置を基準として、手ぶれを打ち消す方向の逆方向にシフトさせた位置とする。手ぶれを打ち消す方向は、補正レンズＬＣを移動させる場合と同様、手ぶれ特性αから推定され、シャッタボタンＳＢ１の押下時とシャッタボタンＳＢ２の押下時とで異なるし、そのシフト量もシャッタボタンＳＢ１の押下時とシャッタボタンＳＢ２の押下時とで異なりうる。撮像素子１２の初期位置とは、補正対象画像の露光期間の開始時における撮像素子１２の位置である。
【０１４７】
また、補正レンズＬＣの代わりに、バリアングルプリズム（不図示）を用いてもよい。バリアングルプリズムは、２枚の板ガラスの間に高い屈折率を持つ液体を封入した構造を有し、一方または双方の板ガラスを傾けることで自身に入射する光の屈折方向を変えることができる。この場合、被写体からの光は、バリアングルプリズムを含む光学系を介して撮像素子１２に入射する。
【０１４８】
このバリアングルプリズムを駆動（即ち、板ガラスを駆動）することによって補正レンズＬＣを移動させた場合と同様の作用が得られる（即ち、光学式手ぶれ補正が実現される）ことが知られている。従って、補正レンズＬＣではなく駆動部２５によってバリアングルプリズムを駆動することにより、上述と同様の処理を行うようにしてもよい。つまり、補正対象画像の露光期間中における手ぶれ検出信号に基づき、その露光期間中において、手ぶれに由来する撮像素子１２上の光学像のぶれが打ち消されるようにバリアングルプリズムを駆動（即ち、板ガラスを駆動）させるようにしてもよい。
【０１４９】
この場合、バリアングルプリズムの初期状態を、バリアングルプリズムの状態可変範囲の中心を基準として、手ぶれを打ち消す方向の逆方向にシフトさせた状態とする。手ぶれを打ち消す方向は、補正レンズＬＣを移動させる場合と同様、手ぶれ特性αから推定され、シャッタボタンＳＢ１の押下時とシャッタボタンＳＢ２の押下時とで異なるし、そのシフト量もシャッタボタンＳＢ１の押下時とシャッタボタンＳＢ２の押下時とで異なりうる。バリアングルプリズムの状態とは、バリアングルプリズムを入射する光の屈折方向を特定する、２枚の板ガラスの傾き状態であり、バリアングルプリズムの初期状態とは、補正対象画像の露光期間の開始時におけるバリアングルプリズムの状態である。
【０１５０】
＜＜第６実施例＞＞
次に、第６実施例について説明する。第６実施例では、手ぶれ補正として光学式手ぶれ補正と復元式手ぶれ補正を採用する。
【０１５１】
図１４に、本実施例のデジタルカメラの全体ブロック図を示す。図１４は、図１のデジタルカメラ１の電気的な一構成例を示すものであるため、図１４のデジタルカメラも符号１によって参照することとする。図１４のデジタルカメラ１は、符号１１ａ、１２〜１９、２０ｂ、２２、２３、２５、２６及び７０にて参照される各部位と、シャッタボタンＳＢ１及びＳＢ２を備える。光学系１１ａと撮像素子１２は、撮影を行う撮像部（撮像手段）を形成する。
【０１５２】
撮像素子１２は、複数のレンズを含む光学系１１ａを通して入射した光学像を光電変換し、該光学像を電気信号として出力する。撮像素子１２、カメラ回路１３、Ａ／Ｄ変換器１４、画像メモリ１５の機能は、図３におけるそれらと同じである。撮像素子１２の出力信号に基づく画像データは、画像メモリ１５に書き込まれる。尚、被写体の明るさを測定する測光回路（不図示）から得られた明るさの情報に基づいて、撮像素子１２の最適な露光時間は設定される。
【０１５３】
画像メモリ１５は、メモリ制御回路２２を介してマイコン２０ｂによって制御される。マイコン２０ｂは、手ぶれ補正制御部としても機能する。尚、この手ぶれ補正制御部が、マイコン２０ｂの外部に備えられていると考えても構わない。シャッタボタン検出部２３は、上述のシャッタボタン検出信号をマイコン２０ｂに出力する。
【０１５４】
シャッタボタンＳＢ１及びＳＢ２の何れもが押下げられていない場合には、一定間隔（例えば１／６０秒）の撮影によって得られた画像データが、画像メモリ１５に書き込まれる。画像メモリ１５に書き込まれた画像データは、ＮＴＳＣエンコーダ１６を介してモニタ１７に送られてスルー表示がなされる。
【０１５５】
シャッタボタンＳＢ１又はＳＢ２が押下された際、マイコン２０ｂは、手ぶれが除去された１枚の静止画像（ぶれ補正画像）が得られるようにデジタルカメラ１内の各部位を制御する。手ぶれが除去される対象の画像を補正対象画像とよぶ。
【０１５６】
マイコン２０ｂは、補正対象画像に対して、光学式手ぶれ補正と復元式手ぶれ補正の双方を行うか、或いは、復元式手ぶれ補正のみを行うかを、シャッタボタン検出信号に基づき選択制御する。具体的には、シャッタボタンＳＢ１が押下された際は、光学式手ぶれ補正と復元式手ぶれ補正の双方を行い、シャッタボタンＳＢ２が押下された際は、復元式手ぶれ補正のみを行うようにする。光学式手ぶれ補正と復元式手ぶれ補正の双方を行う手ぶれ補正を、以下、「光学／復元ハイブリッド補正」という。
【０１５７】
まず、手ぶれ補正として復元式手ぶれ補正のみを行う場合の動作を説明する。復元式手ぶれ補正は、撮像素子１２にて取得された画像に含まれるぼけ（手ぶれに由来するぼけ）を除去する画像処理を実行することによって実現され、この画像処理は画像復元処理とも呼ばれる。画像復元の原理自体は公知である。復元式手ぶれ補正のみを行う場合は、例えば上記特許文献４〜６の何れかに記載の手法を用いればよい。画像復元処理は、マイコン２０ｂの制御の下、画像復元部７０によって実行される。
【０１５８】
具体的には、画像メモリ１５に格納された、補正対象画像を表す画像データを画像復元部７０に入力する。画像復元部７０は、補正対象画像の露光期間中における手ぶれ検出信号に基づき、補正対象画像の露光期間中における手ぶれの軌跡を求める。手ぶれ検出信号によって、サンプリング周期ｄｔごとのデジタルカメラ１のヨー方向及びピッチ方向の角速度が特定される。従って、特定された各角速度を、手ぶれに由来する画像の動きを表す情報、即ち、動きベクトルに変換することが可能である。補正対象画像の露光期間中における各動きベクトルを繋ぎ合わせることにより、補正対象画像の露光期間中における手ぶれの軌跡を求めることができる。
【０１５９】
画像復元部７０は、画像上における手ぶれの軌跡から、点広がり関数（Point Spread Function）を作成する。点広がり関数を、以下、ＰＳＦと記述する。図１５を参照する。手ぶれは、空間フィルタを使って表すことができる。図１５の符号４０１は、手ぶれの軌跡、即ち、理想的な点像がデジタルカメラ１のぶれによって画像上で描く軌跡（画像のぶれの軌跡）を表す。この手ぶれの軌跡にあわせてオペレータの要素に重みを加えた空間フィルタを形成し、この空間フィルタを用いてフィルタ処理を行うと、フィルタリング過程において各画素の濃淡値が手ぶれの軌跡に応じた近傍画素の濃淡値のみを考慮するようになる。つまり、この空間フィルタを用いて、手ぶれの影響を受けた画像を作成することができる。
【０１６０】
この手ぶれの軌跡にあわせて重み付けがなされたオペレータ或るいは空間フィルタは、ＰＳＦと呼ばれ、手ぶれの数学モデルとして使用される。ＰＳＦの或る要素の重みは、その要素を手ぶれの軌跡が通過する時間に比例した値とされる（但し、各要素の重みの総和が１になるように正規化される）。即ち、重みは、動きベクトルの大きさの逆数に比例した値とされる。手ぶれが画像に与える影響を考えたとき、より遅い動きに対応する要素には、より大きな影響が与えられるからである。
【０１６１】
図１５の符号４０２は、手ぶれの動きが等速であると仮定した場合のＰＳＦを表し、図１５の符号４０３は、実際の手ぶれの動きの大きさを考慮した場合のＰＳＦを表している。符合４０３で表されるＰＳＦにおいて、重みの比較的小さい（動きベクトルの大きさが比較的大きい）要素を比較的黒く表示し、重みの比較的大きい（動きベクトルの大きさが比較的小さい）要素を比較的白く表示している。
【０１６２】
手ぶれ検出信号から求められる動きベクトルによって、手ぶれの軌跡と手ぶれの速度（即ち、手ぶれの軌跡を描く速度）とが特定される。ＰＳＦを作成するには、まず、手ぶれの軌跡からＰＳＦの重みをかける要素（即ち、０ではない有意な重みが付与される要素）を決定する。そして、手ぶれの速度から、ＰＳＦの要素にかける重みを決定する。手ぶれの軌跡からＰＳＦの重みをかける要素を決定する手法、及び、ＰＳＦの要素にかける重みを決定する手法については、周知であるため、説明を割愛する。例えば、特許文献６に記載の手法を用いればよい。
【０１６３】
比較的速い手ぶれの速度に対応する要素には比較的小さな重みが付与され、比較的遅い手ぶれの速度に対応する要素には比較的大きな重みが付与される。或る要素に付与される重みは、その要素に対応する動きベクトルの大きさの逆数に概ね比例する。上述の如く、各要素についての重みを決定することにより、画像劣化関数としてのＰＳＦが生成される。
【０１６４】
ＰＳＦは、ぼけのない画像からぼけのある画像を生成するための空間フィルタであるので、このＰＳＦの逆特性を有する補正関数を求めれば、この補正関数を用いてぼけのある画像からぼけを除去することができる。この補正関数は、復元フィルタとして表現することができる。ＰＳＦから補正関数としての復元フィルタを生成する手法も公知であり、その手法として、例えば特許文献６に記載の手法を用いることができる。
【０１６５】
シャッタボタンＳＢ２が押下された際は復元式手ぶれ補正のみが行われるので、シャッタボタンＳＢ２の押下に従って撮影され、画像メモリ１５内に格納された画像が補正対象画像となる。この補正対象画像の露光期間中には、駆動部２５による補正レンズＬＣ等の駆動は行われない。画像復元部７０は、補正対象画像の露光期間中における手ぶれ検出信号から、補正対象画像の露光期間中における手ぶれの軌跡を表すＰＳＦを作成し、このＰＳＦから復元フィルタを生成する。そして、画像メモリ１５内に格納された補正対象画像の各画素に対して復元フィルタを適用することによって、補正対象画像に含まれるぼけが除去或いは低減されたぶれ補正画像を生成する。このぶれ補正画像は、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。
【０１６６】
また、変形例として、シャッタボタンＳＢ２が押下された際は、光学式手ぶれ補正のみを行うようにしてもよい。この変形例を採用する場合において、シャッタボタンＳＢ２が押下された時、補正対象画像の露光期間中において、センサ部２６からの手ぶれ検出信号に基づきマイコン２０ｂは、駆動部２５を制御し、第５実施例で説明したのと同様、補正レンズＬＣ（図１３）、撮像素子１２又はバリアングルプリズムを駆動することにより、光学式手ぶれ補正を実現する。この場合は、光学式手ぶれ補正を実行しつつ撮影された画像メモリ１５内の画像が、手ぶれ補正済みの静止画像となり、この静止画像は、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。
【０１６７】
次に、光学／復元ハイブリッド補正を実施する場合の動作について説明する。シャッタボタンＳＢ１が押下された時、補正対象画像の露光期間中において、センサ部２６からの手ぶれ検出信号に基づきマイコン２０ｂは、駆動部２５を制御し、第５実施例で説明したのと同様、補正レンズＬＣ（図１３）、撮像素子１２又はバリアングルプリズムを駆動することにより光学式手ぶれ補正を実現し、光学式手ぶれ補正が施された画像は画像メモリ１５に格納される。この光学式手ぶれ補正によって、概ね手ぶれによる画像のぶれが除去されるのであるが、複数の要因により、一部のぶれが残存する。この複数の要因には、第１の要因と第２の要因が含まれる。第１の要因に由来する残存ぶれと第２の要因に由来する残存ぶれの双方を除去することも可能であるが、以下、両者を画像復元によって個別に除去する手法を説明する。
【０１６８】
まず、第１の要因に関する説明を行う。第１の要因は、センサ部２６の角速度センサ５１及び６１（図１１参照）の各出力側に設けられたフィルタ回路による信号減衰である。説明の具体化のため、角速度センサ５１及び６１の内、角速度センサ５１に着目する。図１２に示す如く、角速度センサ５１の出力側にはフィルタ回路５２が設けられ、角速度センサ５１の出力信号中における特定の周波数成分は増幅器５３の到達前にフィルタ回路５２によって減衰する。このため、角速度センサ５１の出力信号中における特定の周波数成分はマイコン２０ｂに完全には伝達されず、結果、その特定の周波数成分に対応する手ぶれは光学式手ぶれ補正では完全に除去されない。
【０１６９】
一方、フィルタ回路５２の入出力特性（フィルタ回路５２における入力信号と出力信号との関係）はデジタルカメラ１にとって既知であるため、実際にセンサ部２６から出力された手ぶれ検出信号を参照すれば、事後的に、フィルタ回路５２において、どのような信号減衰が起こったかを特定可能である。つまり、角速度センサ５１の出力信号中、手ぶれ検出信号に反映されなかった信号成分（但し、オフセット成分を除く）を特定可能である。角速度センサ６１についても同様である。角速度センサ５１及び６１の出力信号中、手ぶれ検出信号に反映されなかった信号成分（但し、オフセット成分を除く）を、残存ぶれ信号成分とよぶ。また、残存ぶれ信号成分がない場合を基準として考えた場合、残存ぶれ信号成分によって画像が動くことになる。従って、残存ぶれ信号成分を画像の動きベクトルに変換して考えることができる。残存ぶれ信号成分は、例えばマイコン２０ｂによって算出される。光学式手ぶれ補正が施された後の画像メモリ１５内の画像には、この残存ぶれ信号成分に応じた残存ぶれが含まれる。
【０１７０】
画像復元部７０は、補正対象画像の露光期間中における残存ぶれ信号成分に基づき、残存ぶれを含む画像に対して復元式手ぶれ補正を実施する。具体的には、手ぶれ検出信号からＰＳＦを求めたのと同様、画像復元部７０は、残存ぶれ信号成分（その残存ぶれ信号成分に応じた動きベクトル）に基づき残存ぶれを含む画像の露光期間中における残存ぶれの軌跡を求め、その残存ぶれの軌跡に応じたＰＳＦを算出する。そして、そのＰＳＦから、残存ぶれを除去するための復元フィルタを生成し、残存ぶれを含む画像に対して該復元フィルタを適用することにより残存ぶれを除去する。残存ぶれが除去された画像は、最終的なぶれ補正画像としてＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。
【０１７１】
次に、第２の要因に関する説明を行う。第２の要因は、駆動部２５による、補正レンズＬＣ（図１３）、撮像素子１２又はバリアングルプリズムの駆動遅れである。説明の具体化のため、補正レンズＬＣを駆動することにより光学式手ぶれ補正を実現する場合を考える。手ぶれ検出信号に基づき各タイミングにおける理想的な補正レンズＬＣの位置は特定されるのであるが、補正レンズＬＣの駆動には駆動機構の特性に依存する駆動遅れが存在するため、各タイミングにおける理想的な補正レンズＬＣの位置と実際の補正レンズＬＣの位置との間には位置誤差が生じる。この位置誤差に応じたぶれ成分は、光学式手ぶれ補正では除去されないことになる。
【０１７２】
一方、理想的な補正レンズＬＣの位置は手ぶれ検出信号から特定されるため、ホールセンサ（不図示）等の位置検出センサを用いて各タイミングにおける実際の補正レンズＬＣの位置を検出すれば、事後的に、位置誤差を特定可能である。また、位置誤差がない場合を基準として考えた場合、位置誤差によって画像が動くことになる。従って、位置誤差を画像の動きベクトルに変換して考えることができる。補正対象画像の露光期間中の各タイミングにおける位置誤差は、例えばマイコン２０ｂによって算出される。光学式手ぶれ補正が施された後の画像メモリ１５内の画像には、この位置誤差に応じた残存ぶれが含まれる。
【０１７３】
画像復元部７０は、補正対象画像の露光期間中における位置誤差に基づき、残存ぶれを含む画像に対して復元式手ぶれ補正を実施する。具体的には、手ぶれ検出信号からＰＳＦを求めたのと同様、画像復元部７０は、求めた位置誤差（その位置誤差に応じた動きベクトル）に基づき残存ぶれを含む画像の露光期間中における残存ぶれの軌跡を求め、その残存ぶれの軌跡に応じたＰＳＦを算出する。そして、そのＰＳＦから、残存ぶれを除去するための復元フィルタを生成し、残存ぶれを含む画像に対して該復元フィルタを適用することにより残存ぶれを除去する。残存ぶれが除去された画像は、最終的なぶれ補正画像としてＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。
【０１７４】
補正レンズＬＣを駆動することによって光学式手ぶれ補正を実施する場合を例にとり、第２の要因に由来する残存ぶれを画像復元によって除去する手法を説明したが、撮像素子１２又はバリアングルプリズムを駆動することによって光学式手ぶれ補正を実施する場合も同様に処理できる。
【０１７５】
尚、画像復元による手ぶれ補正（画像復元部７０による復元式手ぶれ補正）を、補正対象画像の撮影終了後に必ず行うようにしても良いし、所定の指示操作が与えられた時にのみ行うようにしても良い。この所定の指示操作は、デジタルカメラ１に備えられた図示されない画像復元ＯＮ／ＯＦＦ選択ボタンに対して行われる。また、以下のように処理しても良い。シャッタボタンＳＢ１の押下により撮影指示が成された場合は、画像復元ＯＮ／ＯＦＦ選択ボタンに対する操作内容に関わらず必ず画像復元による手ぶれ補正を行うようにし、シャッタボタンＳＢ２の押下により撮影指示が成された場合は、上記指示操作が与えられた時にのみ画像復元による手ぶれ補正を行うようにする。
【０１７６】
上述の如く、光学／復元ハイブリッド補正を実現可能に構成されている場合において、手ぶれ特性αに応じ、手ぶれ補正方法を変更する。手ぶれ量が比較的大きいシャッタボタンにより撮影した場合は光学／復元ハイブリッド補正を実施して大きな手ぶれに対応する。一方、手ぶれ量が比較的小さいシャッタボタンにより撮影した場合は、復元式手ぶれ補正のみ或いは光学式手ぶれ補正のみを行う。復元式手ぶれ補正のみを行うようにすれば、補正レンズＬＣ等の駆動に要する電力消費が削減される。光学式手ぶれ補正のみを行うようにすれば、画像復元に必要な処理時間が削減されると共に画像復元に要する電力消費が削減される。
【０１７７】
＜＜第７実施例＞＞
次に、第７実施例について説明する。第７実施例では、手ぶれ補正として光学式手ぶれ補正と加算式手ぶれ補正を採用する。
【０１７８】
図１６に、本実施例のデジタルカメラの全体ブロック図を示す。図１６は、図１のデジタルカメラ１の電気的な一構成例を示すものであるため、図１６のデジタルカメラも符号１によって参照することとする。図１６のデジタルカメラ１は、符号１１ａ、１２〜１９、２０ｃ、２１〜２３、２５、２６及び３０にて参照される各部位と、シャッタボタンＳＢ１及びＳＢ２を備える。即ち、図１６のデジタルカメラ１は、図３のそれと図１０のそれを組み合わせたような構成を採用している。マイコン２０ｃは、図３のマイコン２０と図１０のマイコン２０ａの双方の機能の実現可能である。
【０１７９】
撮像素子１２は、複数のレンズを含む光学系１１ａを通して入射した光学像を光電変換し、該光学像を電気信号として出力する。撮像素子１２、カメラ回路１３、Ａ／Ｄ変換器１４、画像メモリ１５の機能は、図３におけるそれらと同じである。撮像素子１２の出力信号に基づく画像データは、画像メモリ１５に書き込まれる。尚、被写体の明るさを測定する測光回路（不図示）から得られた明るさの情報に基づいて、撮像素子１２の最適な露光時間は設定される。
【０１８０】
画像メモリ１５は、メモリ制御回路２２を介してマイコン２０ｃによって制御される。マイコン２０ｃは、手ぶれ補正制御部としても機能する。尚、この手ぶれ補正制御部が、マイコン２０ｃの外部に備えられていると考えても構わない。シャッタボタン検出部２３は、上述のシャッタボタン検出信号をマイコン２０ｃに出力する。
【０１８１】
シャッタボタンＳＢ１及びＳＢ２の何れもが押下げられていない場合における図１６のデジタルカメラ１の動作は、図３又は図１０のそれと同様である。
【０１８２】
シャッタボタンＳＢ１又はＳＢ２が押下された場合には、図１６のデジタルカメラ１は、光学式手ぶれ補正のみに基づく手ぶれ補正、加算式手ぶれ補正のみに基づく手ぶれ補正、或いは、光学式手ぶれ補正と加算式手ぶれ補正を組み合わせた手ぶれ補正を、選択的に実施することができる。
【０１８３】
光学式手ぶれ補正のみに基づく手ぶれ補正を実施する場合は、第５実施例におけるデジタルカメラ（図１０）と同様にして、光学式手ぶれ補正のみが施される。即ち、この場合、マイコン２０ｃは、１枚の補正対象画像の露光期間中にセンサ部２６からの手ぶれ検出信号に基づいて駆動部２５を介して補正レンズＬＣ等の駆動を行い、これによって補正対象画像に対する光学式手ぶれ補正を実施する。この際、図１６の加算式手ぶれ補正回路３０は機能しない。この光学式手ぶれ補正が施された、画像メモリ１５内の１枚の画像がぶれ補正画像となる。
【０１８４】
加算式手ぶれ補正のみに基づく手ぶれ補正を実施する場合は、第１〜４実施例の何れかにおけるデジタルカメラ（図３）と同様にして、加算式手ぶれ補正のみが施される。即ち、この場合、マイコン２０ｃは、撮影制御回路２１を介して複数の分割露光画像の撮影を指示し、図１６の加算式手ぶれ補正回路３０が第１〜４実施例の何れかにおけるそれと同様に機能することで、複数の分割露光画像から位置合わせ及び加算合成を介して合成画像が生成される。この合成画像が、加算式手ぶれ補正がなされたぶれ補正画像となる。加算式手ぶれ補正のみを施す場合、複数の分割露光画像の撮影中において、図１６の駆動部２５による補正レンズＬＣ等の駆動は行われない。
【０１８５】
光学式手ぶれ補正と加算式手ぶれ補正を組み合わせた手ぶれ補正（以下、「光学／加算ハイブリッド補正」という）を、図１７を参照して説明する。今、加算式手ぶれ補正における露光分割数（上述のＮの数値）が４であるとする。連続撮影される４枚の分割露光画像を、第１、第２、第３及び第４の分割露光画像と呼ぶ。第１、第２、第３及び第４の分割露光画像の順に連続撮影が行われる。今、第ｉの分割露光画像の露光の開始タイミング及び終了タイミングを夫々ＴiA及びＴiBとする（ここで、ｉは１、２、３又は４）。ＴiA−ＴiB間は、第ｉの分割露光画像の露光期間を表す。
【０１８６】
４枚の分割露光画像は連続撮影されるものの、分割露光のオーバーヘッドにより、時間的に隣接する２つの分割露光画像の露光期間の間には有限な時間が存在する。例えば、第１の分割露光画像の露光の終了タイミングＴ1Bから、ゼロではない所定の時間（Ｔ1B−Ｔ2A間の時間）が経過した後に、第２の分割露光画像の露光の開始タイミングＴ2Aが訪れる。
【０１８７】
光学／加算ハイブリッド補正を行う場合、第１、第２、第３及び第４の分割露光画像の各露光期間（Ｔ1A−Ｔ1B等）において、光学式手ぶれ補正を実施する。即ち、各分割露光画像の露光期間における手ぶれ検出信号に基づいて、各分割露光画像の露光期間中、マイコン２０ｃは、駆動部２５を制御し、第５実施例で説明したのと同様、補正レンズＬＣ（図１３）を駆動することにより光学式手ぶれ補正を実現する。補正レンズＬＣの代わりに、撮像素子１２又はバリアングルプリズムを駆動することによって光学式手ぶれ補正を実現しても良い。これにより、各分割露光画像の露光期間中の手ぶれに由来する各分割露光画像内のぶれが低減される。
【０１８８】
また、より大きな手ぶれに対応するべく、Ｔ1B−Ｔ2A間、Ｔ2B−Ｔ3A間及びＴ3B−Ｔ4A間において、補正レンズＬＣの位置を補正レンズＬＣの可動範囲の中心位置に戻すようにする。光学式手ぶれ補正を実現するために撮像素子１２を駆動する場合は、Ｔ1B−Ｔ2A間、Ｔ2B−Ｔ3A間及びＴ3B−Ｔ4A間において、撮像素子１２の位置を撮像素子１２の可動範囲の中心位置に戻すようにする。光学式手ぶれ補正を実現するためにバリアングルプリズムを駆動する場合は、Ｔ1B−Ｔ2A間、Ｔ2B−Ｔ3A間及びＴ3B−Ｔ4A間において、バリアングルプリズムの状態をバリアングルプリズムの状態可変範囲の中心に戻すようにする。
【０１８９】
これらに代えて、各分割露光画像の夫々に対して第５実施例で述べた技術内容（即ち、シフト処理）を適用するようにしても良い。つまり例えば、補正レンズＬＣがシフト処理の対象であり且つシャッタボタンＳＢ１の押下によって撮影指示がなされた場合、右方向の手ぶれが支配的であるから、タイミングＴ1A、Ｔ2A、Ｔ3A及びＴ4Aの夫々における補正レンズＬＣの位置を、補正レンズＬＣの可動範囲の中心位置を基準として、その右方向の手ぶれを打ち消す方向の逆方向に所定の第１シフト量だけシフトさせた位置とする。このような補正レンズＬＣの配置位置を実現するための補正レンズＬＣの駆動は、タイミングＴ1A以前、Ｔ1B−Ｔ2A間、Ｔ2B−Ｔ3A間及びＴ3B−Ｔ4A間の夫々において実施される。撮像素子１２又はバリアングルプリズムがシフト処理の対象である場合も同様である。このようなシフト処理を行うことにより、１つの分割露光時間当たりの補正可能手ぶれ量が増え、通常であれば露光分割数を増やさざるを得ないような大きな手ぶれが想定される場合でも、露光分割数を少なく抑えることが可能となる。結果、１つの分割露光時間を長くすることができるようになり、輝度の高い画像に基づく加算合成処理を実施することが可能となる。
【０１９０】
補正レンズＬＣ等の駆動を行いつつ得られた第１〜第４の分割露光画像は、順次、画像メモリ１５に格納される。図１６の加算式手ぶれ補正回路３０は、第１〜４実施例の何れかに記載された手法と同様にして、画像メモリ１５に格納された各分割露光画像を位置合わせして加算合成することにより、光学／加算ハイブリッド補正が施された合成画像を生成する。光学／加算ハイブリッド補正を用いれば、大きな手ぶれに対応可能である。
【０１９１】
実際には、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合に、光学／加算ハイブリッド補正を実施して、光学／加算ハイブリッド補正が施された合成画像を最終的なぶれ補正画像として生成する。シャッタボタンＳＢ１による撮影は手ぶれ量が大きいが、光学／加算ハイブリッド補正を用いることにより、大きな補正効果を得ることができる。
【０１９２】
一方、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合には、例えば、光学式手ぶれ補正のみに基づく手ぶれ補正を実施して、光学式手ぶれ補正のみが施された画像メモリ１５内の１枚の画像を、最終的なぶれ補正画像とする。これにより、加算合成に要する処理時間が削減されると共に加算合成に要する電力消費が削減される。加算式手ぶれ補正は、撮影時の拘束時間（撮影開始から撮影終了までに必要な時間）が、一括露光を行う場合よりも長くなってしまうというデメリットを有するが、シャッタボタンＳＢ２にて撮影をおこなった場合は、このような拘束時間の延長がなくなる。
【０１９３】
これに代えて、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合には、加算式手ぶれ補正のみに基づく手ぶれ補正を実施して、加算式手ぶれ補正のみが施された合成画像を最終的なぶれ補正画像として生成するようにしてもよい。これにより、補正レンズＬＣ等の駆動に要する電力消費が削減される。尚、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合とシャッタボタンＳＢ２の押下によって撮影指示がなされた場合とで、分割露光時間及び露光分割数を第１実施例の如く異ならせても良いし、それらを一致させても良い。
【０１９４】
何れのぶれ補正画像も、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。
【０１９５】
尚、加算式手ぶれ補正を行うために必要な、分割露光画像間の位置合わせのための動きベクトルは、第１実施例で述べたように動き検出回路３２にて算出することができる。但し、図１６のデジタルカメラ１の場合、センサ部２６が設けられているため、手ぶれ検出信号から位置合わせのための動きベクトルを求めることも可能である。即ち、図１７に示す例の場合、Ｔ1B−Ｔ2A間、Ｔ2B−Ｔ3A間及びＴ3B−Ｔ4A間における手ぶれ検出信号からＴ1B−Ｔ2A間、Ｔ2B−Ｔ3A間及びＴ3B−Ｔ4A間における動きベクトル、即ち、第１と第２の分割露光画像間の全体動きベクトル、第２と第３の分割露光画像間の全体動きベクトル及び第３と第４の分割露光画像間の全体動きベクトルを求め、それらの全体動きベクトルを用いて第１〜第４の分割露光画像を位置合わせして加算合成することにより、ぶれ補正画像としての合成画像を生成することも可能である。
【０１９６】
＜＜第８実施例＞＞
ところで、ヨー方向及びピッチ方向の手ぶれに対しては、角速度センサを有するセンサ部２６を用いた光学式手ぶれ補正にて対応することができる。角速度センサを用いることによってロール方向の手ぶれを検出することもできるのであるが、角速度センサの出力だけで回転の中心を判別することはできないので、角速度センサの出力のみに基づいてロール方向の手ぶれを補正することは困難である。一方、第２実施例で述べたように、画像処理を用いればロール方向のぶれ（即ち、回転方向の動き）を容易に検出することができる。
【０１９７】
そこで、光学式手ぶれ補正と加算式手ぶれ補正とを組み合わせる場合、加算式手ぶれ補正にロール方向の手ぶれ補正を担わせるとよい。但し、シャッタボタンによってはロール方向の手ぶれは小さくなるので、ロール方向の手ぶれ補正を行うことによる負荷を考慮してロール方向の手ぶれ補正の実施／不実施を決定することが望ましい。
【０１９８】
これらを考慮した実施例として、第８実施例について説明する。第８実施例も、第７実施例と同様、手ぶれ補正として光学式手ぶれ補正と加算式手ぶれ補正を採用する。第８実施例に係るデジタルカメラ１の全体ブロック図は、図１６に示すそれと同様であるため、重複する図示を省略する。本実施例のデジタルカメラ１について、特に記述しない部分は、第７実施例におけるそれと同様とすることができ、第７実施例に記載した事項は、矛盾なき限り本実施例にも適用される。
【０１９９】
但し、第８実施例では、「センサ部２６がヨー方向とピッチ方向のみの手ぶれを検出可能に構成されている」と特に限定して考える。尚、本実施例以外の他の実施例において光学式手ぶれ補正を実現する場合、デジタルカメラ１のロール方向のぶれを検出して該ロール方向のぶれを光学的に補正することも可能である。例えば、本実施例以外の他の実施例において、センサ部２６にデジタルカメラ１のロール方向のぶれを検出する周知の回転センサを設けると共に撮像素子１２を光軸を回転軸として回転可能に構成しておき、その回転センサの検出結果に基づいて撮像素子１２を回転させることによって、ロール方向のぶれを光学的に補正するようにしてもよい。
【０２００】
第８実施例は、光学式手ぶれ補正と加算式手ぶれ補正の双方を実現可能なデジタルカメラ１に関して、特にロール方向の手ぶれ補正に着目した実施例であり、第８実施例の内容の一部は第７実施例の内容の一部と重複する。
【０２０１】
シャッタボタンＳＢ１又はＳＢ２が押下された場合には、第７実施例と同様、本実施例のデジタルカメラ１は、光学式手ぶれ補正のみに基づく手ぶれ補正、加算式手ぶれ補正のみに基づく手ぶれ補正或いは光学／加算ハイブリッド補正を選択的に実施し、これによってぶれ補正画像を生成する。ぶれ補正画像は、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示されると共に画像圧縮回路１８を介してメモリカード１９に保存される。手ぶれ補正の選択手法の具体例として以下に第１選択例と第２選択例を挙げる。
【０２０２】
［第１選択例］
まず第１選択例を説明する。第１選択例では、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合は、ロール方向の手ぶれが大きいと予想されることに鑑み、光学／加算ハイブリッド補正を実施する。これにより、ロール方向の手ぶれに適正に対応できる。  
【０２０３】
即ち、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合は、第７実施例で述べた光学／加算ハイブリッド補正を実施することによって、複数の分割露光画像からぶれ補正画像としての合成画像を得る。この際、各分割露光画像の露光期間における補正レンズＬＣ等の駆動により、各分割露光画像のヨー方向及びピッチ方向のぶれは低減される。光学的にヨー方向及びピッチ方向のぶれが低減された各分割露光画像は、画像メモリ１５に格納される。そして、動き検出回路３２が、この画像メモリ１５に格納された複数の分割露光画像の内の１枚を基準画像とし且つ他を非基準画像とし、第２実施例と同様、各分割露光画像の画像データに基づいて基準画像と各非基準画像との間における並進方向及び回転方向の全体動きベクトルを検出する。その後、並進方向及び回転方向の全体動きベクトルに基づいて、各分割露光画像が位置合わせして加算合成され、ぶれ補正画像としての合成画像が得られる。
【０２０４】
尚、並進方向の全体動きベクトルに関しては、第７実施例でも述べたように、手ぶれ検出信号から検出することも可能である。
【０２０５】
一方、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、ロール方向の手ぶれが小さいと予想されることに鑑み、光学式手ぶれ補正のみを実施するようにする。これにより、加算合成に要する処理時間が削減されると共に加算合成に要する電力消費が削減される。また、撮影時の拘束時間も短くて済む。
【０２０６】
即ち、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、光学式手ぶれ補正のみを実施して、光学式手ぶれ補正のみが施された画像メモリ１５内の１枚の画像を、最終的なぶれ補正画像とする。
【０２０７】
［第２選択例］
次に第２選択例を説明する。第２選択例では、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合は、ロール方向の手ぶれが大きいと予想されることに鑑み、加算式手ぶれ補正のみを実施する。これにより、ロール方向の手ぶれに適正に対応できる。また、補正レンズＬＣ等の駆動に要する電力消費が削減される。
【０２０８】
即ち、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合は、駆動部２５による補正レンズＬＣ等の駆動を停止した状態で加算式手ぶれ補正を行うための複数の分割露光画像を連続撮影する。そして、第２実施例と同様、複数の分割露光画像の内の１枚を基準画像とし且つ他を非基準画像とし、動き検出回路３２が、各分割露光画像の画像データに基づいて基準画像と各非基準画像との間における並進方向及び回転方向の全体動きベクトルを検出する。その後、並進方向及び回転方向の全体動きベクトルに基づいて、各分割露光画像が位置合わせして加算合成され、ぶれ補正画像としての合成画像が得られる。
【０２０９】
一方、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、ロール方向の手ぶれが小さいと予想されることに鑑み、光学式手ぶれ補正のみを実施するようにする。これにより、加算合成に要する処理時間が削減されると共に加算合成に要する電力消費が削減される。また、撮影時の拘束時間も短くて済む。
【０２１０】
即ち、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合は、光学式手ぶれ補正のみを実施して、光学式手ぶれ補正のみが施された画像メモリ１５内の１枚の画像を、最終的なぶれ補正画像とする。
【０２１１】
＜＜第９実施例＞＞
次に、手ぶれ補正として光学式手ぶれ補正を採用する場合に適用可能な手法を、第９実施例として説明する。第９実施例に記載の内容は、光学式手ぶれ補正を含む手ぶれ補正を実現する他の実施例（第５実施例等）に適用可能である。説明の具体化のため、第９実施例に係るデジタルカメラの全体ブロック図は、図１０と同じであるものとする。第９実施例では、図１１のセンサ部２６に関する技術内容を述べる。第９実施例は、第１具体例と第２具体例に細分化される。以下、両者を個別に説明する。
【０２１２】
［第１具体例］
まず、第１具体例について説明する。第１具体例では、角速度センサの出力信号を増幅する増幅器の増幅率を可変とし、何れのシャッタボタンが押されたかに応じて増幅率を変更する。図１１のセンサ部２６には、２つのセンサユニット５０及び６０が備えられているが、説明の具体化のため、センサユニット５０に着目して、この増幅率の可変設定手法を説明する。
【０２１３】
図１２を参照する。角速度センサ５１の出力信号を増幅する増幅器５３の増幅率を変更可能としておく。増幅器５３の増幅率は、シャッタボタン検出信号に基づき、図１０のマイコン２０ａによって設定される。
【０２１４】
増幅器５３の増幅率は、補正しようとする範囲内の手ぶれ量に対して増幅器５３の出力及びＡ／Ｄ変換器５４の出力が飽和しないように設定されるべきである。一方において、増幅器５３の増幅率を低くしすぎると、手ぶれ検出感度が悪くなる。即ち、想定される手ぶれ量に対して適正な増幅率を設定することが望まれる。仮に、手ぶれ量が比較的多くなるシャッタボタンＳＢ１を基準にして増幅率を設定し、それと同じ増幅率をシャッタボタンＳＢ２に対しても適用すると、出力飽和までに過剰な余裕が生じることになる。つまり、シャッタボタンＳＢ２にとっての手ぶれ検出感度が最適化されず、検出可能範囲が有効に活用されない。シャッタボタンＳＢ１とＳＢ２とで想定される手ぶれ量が異なるため、両者にとって適正な増幅率を個別に設定してやれば、手ぶれ検出感度を個別に最適化することが可能となる。
【０２１５】
具体的には、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合、マイコン２０ａは、増幅器５３の増幅率をＫ1とする。一方、シャッタボタンＳＢ２の押下によっ
て撮影指示がなされた場合、マイコン２０ａは、増幅器５３の増幅率をＫ1よりも大きな
Ｋ2とする。
【０２１６】
尚、センサユニット５０に着目した説明を行ったが、センサユニット６０に対しても同様の処理が可能である。センサユニット５０と６０の間で、増幅率の設定値を同じにしてもよいし異ならせてもよい。
【０２１７】
［第２具体例］
次に、第２具体例について説明する。第２具体例では、Ａ／Ｄ変換器のデジタル値のゼロ点を、予想される手ぶれ方向の逆方向にシフトさせる。これを、図１２を参照し、センサユニット５０に着目して詳細に説明する。
【０２１８】
Ａ／Ｄ変換器５４の出力信号は、例えば、１０ビットのデジタル値で表現され、１０２４段階に量子化された整数値をとる。この整数値の単位は［step］である。増幅器５３の出力信号の電圧値をＶａ［mv］とし、Ａ／Ｄ変換器５４におけるＡ／Ｄ変換係数をＬAD［mv/step］とすると、Ａ／Ｄ変換器５４の出力信号におけるデジタル値ＤLは、ＤL＝（Ｖａ／ＬAD）＋ＤO、にて表すことができる（但し、量子化誤差を無視）。そして、デジタル値ＤLは、−５１２＜ＤL≦５１２、を満たす整数値をとる。ＤOはデジタル値ＤLにおけるゼロ点であり、ゼロ点ＤOの単位はデジタル値ＤLと同じく［step］である。
【０２１９】
電圧値Ｖａはヨー方向の角速度に比例し、ヨー方向の角速度がゼロである時、Ｖａ＝０である。図１の軸３０１を鉛直方向に平行とした状態でのヨー方向のぶれは、水平方向のぶれとなる。水平方向は右方向と左方向に分類される。デジタルカメラ１の操作面側から見て右方向のぶれが生じたとき、Ｖａが正の電圧値をとり、左方向のぶれが生じたとき、Ｖａが負の電圧値をとるものとする。
【０２２０】
一般的には、ＤO＝０［step］とされ、この場合、左方向と右方向の手ぶれ検出可能範囲は同じとなる。第２具体例では、上述の手ぶれ特性αに鑑み、マイコン２０ａが、シャッタボタン検出信号に基づいてゼロ点ＤOを可変設定する。
【０２２１】
具体的には、シャッタボタンＳＢ１の押下によって撮影指示がなされた場合、右方向の手ぶれが大きいと予想されるため、マイコン２０ａは、ＤO＝ＤO1＜０とする。例えば、ＤO1＝−５０［step］とする。これにより、右方向の手ぶれの検出可能範囲が拡大される。一方、シャッタボタンＳＢ２の押下によって撮影指示がなされた場合、左方向の手ぶれが大きいと予想されるため、マイコン２０ａは、ＤO＝ＤO2＞０とする。例えば、ＤO2＝＋５０［step］とする。これにより、左方向の手ぶれの検出可能範囲が拡大される。尚、シャッタボタンＳＢ２の押下による手ぶれの絶対量は比較的小さいため、｜ＤO1｜＞｜ＤO2｜、が成立するようにゼロ点を可変設定してもよい。
【０２２２】
ピッチ方向に対応するセンサユニット６０に対しても同様の処理が可能である。但し、シャッタボタンＳＢ１とＳＢ２の何れとも、ピッチ方向の支配的なぶれ方向は同一（下方向）であるため、ゼロ点は同一方向にシフトされる（例えば、双方の場合において、＋５０［step］）。
【０２２３】
このように、何れのシャッタボタンが押下されたかに応じ、手ぶれ特性αを考慮してＡ／Ｄ変換器のゼロ点を変更する。これにより、出力飽和を回避しつつ、手ぶれの検出可能範囲を実質的に拡大することが可能となる。
【０２２４】
第１又は第２具体例を採用して得られた手ぶれ検出信号は、マイコン２０ａに送られ、該手ぶれ検出信号に基づき、第５実施例等で説明した光学式手ぶれ補正が実施される。
【０２２５】
＜＜第１０実施例＞＞
次に、手ぶれ補正として光学式手ぶれ補正を採用する場合に適用可能な手法を、第１０実施例として説明する。第１０実施例に記載の内容は、光学式手ぶれ補正を含み且つ復元式手ぶれ補正又は加算式手ぶれ補正を含む手ぶれ補正を実現する他の実施例（第６〜８実施例など）に適用可能である。
【０２２６】
手ぶれ補正として光学式手ぶれ補正を用いる場合、図１１に示されるセンサ部２６が用いられる。センサ部２６に角速度センサなどの手ぶれ検出センサを用いる場合、その手ぶれ検出センサの出力信号には、周辺温度等に依存してドリフトするオフセット成分が含まれる。このドリフトの周波数は低い。従って、図１２のようなハイパスフィルタ等から成るフィルタ回路５２にて、オフセット成分（ドリフト成分）を除去することができる。  
【０２２７】
但し、ハイパスフィルタを設けた場合において、カットオフ周波数を小さくすると信号の時定数が大きくなり、カメラ起動時からフィルタ回路の出力信号が安定するまでに大きな時間が必要となる。フィルタ回路の出力信号を早く安定させようとしてカットオフ周波数を大きくすると信号の時定数が小さくなり、検出すべき手ぶれ成分まで除去されてしまって正確な手ぶれ検出ができなくなる。これらを総合的に勘案してフィルタ回路は設計されるのであるが、カメラ起動直後におけるセンサ部２６の出力の信頼性はどうしても低くなりがちである。
【０２２８】
そこで、カメラ起動直後は、光学式手ぶれ補正が必要となるシャッタボタンの撮影指示を禁止する。
【０２２９】
これをより具体的に説明する。デジタルカメラ１には、図示されない電源スイッチが設けられている。デジタルカメラ１を構成する各部位に駆動電力が供給されてない状態において電源スイッチが押下されると、デジタルカメラ１を構成する各部位（センサ部２６を含む）に対して、図示されない電力源（二次電池など）から駆動電力が供給されてデジタルカメラ１を構成する各部位が動作可能な状態となる。マイコン（２０ｂ又は２０ｃ）は、デジタルカメラ１を構成する各部位に駆動電力が供給されてない状態からデジタルカメラ１を構成する各部位が動作可能な状態に遷移したタイミングを起算点とし、該起算点からの経過時間を計測する。そして、その経過時間が所定の基準時間に達するまで、光学式手ぶれ補正が必要となるシャッタボタンの撮影指示を禁止する。上記経過時間が上記基準時間に達するまでの期間を、「禁止期間」という。この禁止期間外では、シャッタボタンＳＢ１でもＳＢ２でも撮影指示を許可する。つまり、禁止期間外での動作は、上述の各実施例に記載の動作と同じである。尚、禁止期間内であっても、スルー表示は行われる。
【０２３０】
例えば第６実施例に示したように、シャッタボタンＳＢ１の押下時に光学／復元ハイブリッド補正が行われ且つシャッタボタンＳＢ２の押下時に復元式手ぶれ補正のみが行われる場合、上記禁止期間内では、シャッタボタンＳＢ１の押下による撮影指示を禁止してシャッタボタンＳＢ２の押下による撮影指示を許可する。即ち、上記禁止期間内に、シャッタボタンＳＢ１が押下されたとしても、その押下に従った静止画像の撮影及び該静止画像のメモリカード１９への記録を行わない。他方、上記期間期間内であってもシャッタボタンＳＢ２が押下されたならば、その押下に従った静止画像の撮影、手ぶれ補正及び手ぶれ補正後の静止画像のメモリカード１９への記録を実施する。
【０２３１】
第７又は第８実施例に適用する場合も同様である。例えば、第７実施例に示したように、シャッタボタンＳＢ１の押下時に光学／加算ハイブリッド補正が行われ且つシャッタボタンＳＢ２の押下時に加算式手ぶれ補正のみが行われる場合、上記禁止期間内では、シャッタボタンＳＢ１の押下による撮影指示を禁止してシャッタボタンＳＢ２の押下による撮影指示を許可する。また例えば、第８実施例に示したように、シャッタボタンＳＢ１の押下時に加算式手ぶれ補正のみが行われ且つシャッタボタンＳＢ２の押下時に光学式手ぶれ補正のみが行われる場合、上記禁止期間内では、シャッタボタンＳＢ２の押下による撮影指示を禁止してシャッタボタンＳＢ１の押下による撮影指示を許可する。
【０２３２】
また、上記禁止期間内において、撮影指示が禁止されているシャッタボタンが押下された場合は、モニタ１７による映像表示や音声出力部（不図示）による音声出力で、そのシャッタボタンが使用できない旨をユーザに報知する。
【０２３３】
上述のように処理することにより、フィルタ回路の出力信号が安定しない期間でも有効な手ぶれ補正がなされた撮影を実施することができる。また、信頼性の低い手ぶれ補正の実施が避けられる。
【０２３４】
尚、以下のように処理することも可能である。シャッタボタンＳＢ１の押下時には、光学式手ぶれ補正、光学／復元ハイブリッド補正又は光学／加算ハイブリッド補正が行われ、且つ、シャッタボタンＳＢ２の押下時には、復元式手ぶれ補正又は加算式手ぶれ補正が行われるか或いは手ぶれ補正そのものが行われないようにしておく。そして、上記禁止期間内では、シャッタボタンＳＢ１の押下による撮影指示を禁止してシャッタボタンＳＢ２の押下による撮影指示を許可する。
【０２３５】
＜＜第１１実施例＞＞
上述の各実施例では、シャッタボタンＳＢ１の押下時とシャッタボタンＳＢ２の押下時とで手ぶれ補正の処理（処理内容や処理条件）を変更しているが、シャッタボタンＳＢ２の押下による手ぶれ量が小さいことに鑑みれば、シャッタボタンＳＢ２の押下時には、そもそも手ぶれ補正を行わないといったことも可能であり、そのようにしても実質的な弊害は少ないといえる。
【０２３６】
即ち、デジタルカメラ１を、図３、図１０、図１４又は図１６の全体ブロック図で表されるように構成する。そして、シャッタボタンＳＢ１が押下された場合には、上述の各実施例で説明したような、加算式手ぶれ補正のみ、光学式手ぶれ補正のみ、復元式手ぶれ補正のみ、光学／復元ハイブリッド補正及び光学／加算ハイブリッド補正の何れかを実施することによって、ぶれ補正画像を生成し、これをＮＴＳＣエンコーダ１６を介してモニタ１７に表示すると共に画像圧縮回路１８を介してメモリカード１９に保存する。これに対し、シャッタボタンＳＢ２が押下された場合には、手ぶれ補正を一切行うことなく、撮像素子１２の出力信号に基づく画像メモリ１５内の画像を、ＮＴＳＣエンコーダ１６を介してモニタ１７に表示すると共に画像圧縮回路１８を介してメモリカード１９に保存する。
【０２３７】
このように、押下されたシャッタボタンに応じて、手ぶれ補正の実施又は不実施を選択制御する。この選択制御は、マイコン（２０、２０ａ、２０ｂ又は２０ｃ）によって行われる。シャッタボタンＳＢ２の押下時の手ぶれ補正が不要となるため、電力消費の低減効果及び／又は処理時間の削減効果などが得られる。
【０２３８】
＜＜第１２実施例＞＞
次に、第１２実施例について説明する。第１２実施例では、静止画像の撮影を指示するためのシャッタボタンに関する詳細な説明及び変形例の説明を行う。第１２実施例に記載の内容は、他の実施例と組み合わせて利用される。
【０２３９】
上述の各実施例では、静止画像の撮影を指示するためのシャッタボタンとして、デジタルカメラ１に固定的に設置されたシャッタボタンＳＢ１及びＳＢ２を想定した。しかしがら、シャッタボタンＳＢ１及びＳＢ２の機能を、デジタルカメラ１に設けられた他のボタンに担わせてもよい。デジタルカメラ１には、例えば、１０〜２０個程度のボタンが備えられているが、シャッタボタンＳＢ１の機能とシャッタボタンＳＢ２の機能を、全てのボタンの内の任意のボタンに割り当てることができるようにする。具体的には、デジタルカメラ１に設けられた図示されない操作部（選択操作受付手段）にて、何れのボタンにシャッタボタンＳＢ１及びＳＢ２の機能を割り当てるかを選択するための操作を受け付ける。そして、その操作に従って選択されたボタンにシャッタボタンＳＢ１及びＳＢ２の機能を割り当てるとよい。
【０２４０】
例えば、シャッタボタンの機能を担わせることができるボタンとして、図１８に示す如く、シャッタボタンＳＢ１及びＳＢ２の他にボタンＢＴ１〜ＢＴ４があったとする。そして、シャッタボタンＳＢ１の機能をボタンＢＴ１に担わせ、シャッタボタンＳＢ２の機能をボタンＢＴ２に担わせた場合を考える。この場合において、ボタンＢＴ１を押下すれば、上述の各実施例でシャッタボタンＳＢ１を押下した際の動作と同様の動作がデジタルカメラ１内で実施され、ボタンＢＴ２を押下すれば、上述の各実施例でシャッタボタンＳＢ２を押下した際の動作と同様の動作がデジタルカメラ１内で実施される。このような機能の割り当てが行われた際、ボタンＢＴ１とＢＴ２はシャッタボタンである、と解釈することができる。
【０２４１】
シャッタボタンＳＢ１及びＳＢ２は、上述の手ぶれ特性αを有するが、他のボタンに対しても、ボタンの大きさやデジタルカメラ１内の配置位置などに依存した手ぶれ特性が存在する。そこで、各ボタンに対する手ぶれ特性を、実験などを介して予め調べておく。即ち、ボタンＢＴ１〜ＢＴ４の夫々に対し、ボタンを押下した時に生じる手ぶれ量や支配的な手ぶれ方向を調べておく（調べられた内容が手ぶれ特性である）。そして、ボタンＢＴ１〜ＢＴ４の夫々に対する手ぶれ特性に応じた手ぶれ特性情報を予めデジタルカメラ１（マイコン）に認識させておき、その手ぶれ特性に応じた手ぶれ補正の処理を、上述の各実施例で示した手法にて実行させるとよい。この場合、シャッタボタン検出部２３は、複数のシャッタボタンとして機能する複数のボタン（今の例の場合、ボタンＢＴ１及びＢＴ２）の内、何れのボタンが押下されたかを検出し、その検出結果を表すシャッタボタン検出信号をマイコン（２０、２０ａ、２０ｂ又は２０ｃ）に伝達するようにする。
【０２４２】
例えば、手ぶれ特性情報からボタンＢＴ１の手ぶれ量が比較的大きいと想定され且つボタンＢＴ２の手ぶれ量が比較的小さいと想定される場合において、上述の第１実施例の手法を適用するならば、ボタンＢＴ１の押下時の露光分割数はボタンＢＴ２の押下時のそれよりも大きくされ、ボタンＢＴ１の押下時の分割露光時間はボタンＢＴ２の押下時のそれよりも短くされる。手ぶれ特性情報からボタンＢＴ１の手ぶれ量が比較的小さいと想定され且つボタンＢＴ２の手ぶれ量が比較的大きいと想定されるならば、その逆とされる。
【０２４３】
仮に、ボタンＢＴ１及びＢＴ２に対する手ぶれ特性がシャッタボタンＳＢ１及びＳＢ２に対する手ぶれ特性αと同じであるならば、結果的に、上述の各実施例と同じ手ぶれ補正の処理制御を行えばよいことになる（この場合、シャッタボタンＳＢ１及びＳＢ２はボタンＢＴ１及びＢＴ２に読み替えられる）。
【０２４４】
このように、シャッタボタンの機能を担わせるボタンを自由に選択することができるように、且つ、選択されたボタンに応じた手ぶれ補正が実行されるようにデジタルカメラ１を構成すれば、ユーザの好みに応じたボタンでシャッタを切ることができると共に選択したボタンに応じた最適な手ぶれ補正を実現することが可能となる。
【０２４５】
尚、本実施形態では、静止画像の撮影を指示するためのシャッタボタンの総数が２となっているが、この総数は３以上であってもよい。シャッタボタンの総数が３以上である場合も、各シャッタボタンについての手ぶれ特性を考慮し、何れのシャッタボタンが押下されたかに応じて手ぶれ補正の処理を決定すればよい。
【０２４６】
［２段階操作について］
また、シャッタボタンは、通常、半押し（ファーストレリーズ）と全押し（セカンドレリーズ）の２段階操作が可能となっている。この場合、シャッタボタンが半押しされた時に焦点を合わせるための所謂オートフォーカス制御がなされ、半押しの後、更にシャッタボタンが全押しされた後に取得されるべき画像に対する露光が開始される。この半押しが担う焦点合わせの機能を機能Ｆ１、この全押しが担う露光開始指示の機能を機能Ｆ２と呼ぶ。
【０２４７】
上述の他の実施例の如くシャッタボタンＳＢ１及びＳＢ２がシャッタボタンの機能を担っている場合において、シャッタボタンＳＢ１及びＳＢ２が２段階操作可能になっているならば、シャッタボタンＳＢ１が半押しされた時にシャッタボタンＳＢ１に対応する機能Ｆ１を実行し、シャッタボタンＳＢ１が全押しされた時にシャッタボタンＳＢ１に対応する機能Ｆ２を実行し、シャッタボタンＳＢ２が半押しされた時にシャッタボタンＳＢ２に対応する機能Ｆ１を実行し、シャッタボタンＳＢ２が全押しされた時にシャッタボタンＳＢ２に対応する機能Ｆ２を実行すればよい。この場合は、上述の他の実施例の如く、手ぶれ補正を実施すればよい。
【０２４８】
また例えば、本実施例の上述の例の如くボタンＢＴ１及びＢＴ２がシャッタボタンＳＢ１及びＳＢ２の機能を担っており且つボタンＢＴ１及びＢＴ２が２段階操作可能になっている場合は、ボタンＢＴ１が半押しされた時にボタンＢＴ１に対応する機能Ｆ１を実行し、ボタンＢＴ１が全押しされた時にボタンＢＴ１に対応する機能Ｆ２を実行し、ボタンＢＴ２が半押しされた時にボタンＢＴ２に対応する機能Ｆ１を実行し、ボタンＢＴ２が全押しされた時にボタンＢＴ２に対応する機能Ｆ２を実行すればよい。この場合も、上述の他の実施例と同様の手ぶれ補正が実施可能である。
【０２４９】
仮に、第１ボタン（例えば、シャッタボタンＳＢ１又はボタンＢＴ１）及び第２ボタン（例えば、シャッタボタンＳＢ２又はボタンＢＴ２）が１段階の押下操作しかできない場合は、以下のような処理を採用することも可能である。即ち、デジタルカメラ１に設けられた操作部（不図示）に対する所定操作によって、第１ボタンに機能Ｆ１を割り当て、第２ボタンに機能Ｆ２を割り当てる。この際、第１ボタンを押下しながら第２ボタンを押下しなければ静止画像の撮影指示ができなようにデジタルカメラ１を構成しておく。
【０２５０】
これにより、第１ボタン及び第２ボタンがシャッタボタンＳＢ１及びＳＢ２である場合は、デジタルカメラ１の筐体を両手で把持しながら撮影が行われることになり手ぶれそのものが小さくなる。この場合も、第１及び第２ボタンを同時に押下した時の手ぶれ特性を考慮して、該手ぶれ特性に応じた手ぶれ補正を実施すればよい。これを実現すべく、第１及び第２ボタンを同時に押下した時の手ぶれ特性に応じた手ぶれ特性情報を、予めデジタルカメラ１（マイコン）に認識させておけばよい。
【０２５１】
＜＜第１３実施例＞＞
次に、第１３実施例について説明する。本実施例では、図３等に示された動き検出回路３２及び画像合成回路３６の詳細な動作手法例を説明する。但し、本実施例では、回転方向の動きを無視し、並進方向の動き検出のみを行って並進方向のみの位置合わせを行う手法を取り扱うものとする。従って、本実施例に記載の手法は、並進方向の動き検出のみを行って並進方向のみの位置合わせを行うという想定の下で、加算式手ぶれ補正を採用する上述の何れかの実施例に適用することができる。
【０２５２】
説明の具体化のため、本実施例に係るデジタルカメラ１の全体ブロック図が図３のそれと同じであるとして以下の説明を行うものとする。また、本実施例にて記載されるシャッタボタンとは、シャッタボタンＳＢ１又はＳＢ２を意味するものとする。
【０２５３】
図２０は、本実施例に係る動き検出回路３２の内部ブロック図である。図２０の動き検出回路３２は、代表点マッチング回路１４１と、領域動きベクトル算出回路１４２と、検出領域有効性判定回路１４３と、全体動きベクトル算出回路１４４と、を有して構成される。符号１４２〜１４４で表される部位の機能については後に示す図２５及び図２６のフローチャートの説明の中で行うとして、まず、代表点マッチング回路１４１について説明する。
【０２５４】
代表点マッチング回路１４１は、図４及び図５を参照しつつ第１実施例で説明したように、代表点マッチング法に基づいて基準画像と非基準画像との間の全体動きベクトルを検出する。加算式手ぶれ補正を行うために連続撮影された複数の分割露光画像の内、例えば、１番目の分割露光画像（１番目に得られた分割露光画像）が基準画像とされ、２番目以降の各分割露光画像が非基準画像とされる。
【０２５５】
図２１は、代表点マッチング回路１４１の内部ブロック図である。代表点マッチング回路１４１は、フィルタ１５１と、代表点メモリ１５２と、減算回路１５３と、累積加算回路１５４と、演算回路１５５と、を有して構成される。  
【０２５６】
フィルタ１５１には、図３の画像メモリ１５から転送されてきた画像データが順次入力され、各画像データはフィルタ１５１を介して代表点メモリ１５２と減算回路１５３に与えられる。フィルタ１５１は、ローパスフィルタであり、Ｓ／Ｎ比を改善して少ない代表点で十分な動きベクトル検出精度を確保するために用いられる。代表点メモリ１５２は、図４に示す各検出領域Ｅ1 〜Ｅ9 の小領域ｅごとに、代表点Ｒの画像上の位置を特定する位置データと代表点Ｒの輝度値を特定する輝度データとを記憶する（図５も参照）。
【０２５７】
尚、代表点メモリ１５２の記憶内容の更新タイミングは任意である。代表点メモリ１５２に画像が入力される度に該記憶内容を更新することもできるし、基準画像を定めて該基準画像が入力されたときにのみ該記憶内容を更新するようにしてもよい。また、或る画素（代表点Ｒ又はサンプリング点Ｓ）に関し、輝度値は、その画素の輝度を表し、輝度値が増加するに従って該輝度は増加するものとする。また、輝度値は、８ビット（０〜２５５）のデジタル値として表現されるとする。勿論、輝度値を８ビットと異なるビット数で表現しても良い。
【０２５８】
減算回路１５３は、代表点メモリ１５２から与えられる基準画像の代表点Ｒの輝度値と非基準画像の各サンプリング点Ｓの輝度値との減算を行い、その減算結果の絶対値を出力する。減算回路１５３の出力値は、各サンプリング点Ｓにおける相関値を表し、該出力値は、順次、累積加算回路１５４に与えられる。累積加算回路１５４は、減算回路１５３から出力される相関値を累積加算することにより上述の累積相関値（第１実施例参照）を算出及び出力する。
【０２５９】
演算回路１５５は、累積加算回路１５４から与えられる累積相関値を受け、図２４に示すようなデータを算出及び出力する。１枚の基準画像と１枚の非基準画像との対比に関し、各検出領域Ｅ1 〜Ｅ9 ごとに、１つの小領域ｅ内のサンプリング点Ｓの個数に応じた複数の累積相関値（以下、この複数の累積相関値を「演算対象累積相関値群」という）が演算回路１５５に与えられるが、演算回路１５５は、各検出領域Ｅ1 〜Ｅ9 ごとに、「演算対象累積相関値群を形成する全ての累積相関値の平均値Ｖａｖｅと、演算対象累積相関値群を形成する全ての累積相関値の内の最小値（最小の累積相関値）と、その最小値を示す画素の位置ＰAと、位置ＰAの画素の近傍画素に対応する累積相関値（以下、近傍累積相関値と呼ぶことがある）」を算出する。
【０２６０】
各小領域ｅに着目し、以下のように画素位置等を定義する。各小領域ｅにおいて、代表点Ｒの画素位置を（０，０）にて表す。位置ＰAは、代表点Ｒの画素位置（０，０）を基準とした、上記最小値を与えるサンプリング点Ｓの画素位置であり、これを、（ｉA，ｊA）にて表す（図２２参照）。位置ＰAの画素の近傍画素とは、位置ＰAの画素に隣接する画素を含む位置ＰAの画素の周辺画素であり、本実施例では、位置ＰAの画素を中心とする２４個の近傍画素を想定する。図２３に示す如く、位置ＰAの画素と該２４個の近傍画素は５×５の行列配列された画素群を形成する。その画素群の各画素の画素位置を、（ｉA＋ｐ，ｊA＋ｑ）にて表す。該画素群の中心に、位置ＰAの画素が存在する。ｐ及びｑは整数であり、−２≦ｐ≦２且つ−２≦ｑ≦２、が成立する。ｐが−２から２に増加するにつれて画素位置は位置ＰAを中心として上から下へと向かい、ｑが−２から２に増加するにつれて画素位置は位置ＰAを中心として左から右へと向かう。そして、画素位置（ｉA＋ｐ，ｊA＋ｑ）に対応する累積相関値を、Ｖ（ｉA＋ｐ，ｊA＋ｑ）にて表すものとする。
【０２６１】
一般的には、最小の累積相関値の位置ＰAが真のマッチング位置に対応するものとして動きベクトルが算出されるが、本実施例では、最小の累積相関値は、真のマッチング位置に対応する累積相関値の候補として捉えられる。位置ＰAにて得られる最小の累積相関値をＶAにて表し、それを「候補最小相関値ＶA」とよぶ。従って、Ｖ（ｉA，ｊA）＝ＶAである。
【０２６２】
他の候補を特定すべく、演算回路１５５は、各検出領域Ｅ1 〜Ｅ9 ごとに、最小の累積相関値ＶAに近い累積相関値が演算対象累積相関値群に含まれているかを検索し、検索されたＶAに近い累積相関値も候補最小相関値として特定する。「最小の累積相関値ＶAに近い累積相関値」とは、ＶAを所定の規則に従って増加させた値以下の累積相関値であり、例えば、ＶAに所定の候補閾値（例えば２）を加えた値以下の累積相関値、或いは、ＶAに１より大きい係数を乗じて得られる値以下の累積相関値である。候補最小相関値は、上記の候補最小相関値ＶAを含めて、例えば最大４つ特定される。
【０２６３】
以下、説明の便宜上、検出領域Ｅ1 〜Ｅ9 の夫々について、候補最小相関値ＶAの他に候補最小相関値ＶB、ＶC及びＶDが特定された場合を考えるものとする。尚、最小の累積相関値ＶAに近い累積相関値を検索することによって他の候補最小相関値を特定すると述べたが、ＶB、ＶC及びＶDの内の何れか又は全部は、ＶAと等しい場合もある。この場合、或る検出領域に関し、演算対象累積相関値群に最小の累積相関値が２以上含まれることになる。
【０２６４】
演算回路１５５は、候補最小相関値ＶAと同様、各検出領域Ｅ1 〜Ｅ9 ごとに、「候補最小相関値ＶBを示す画素の位置ＰBと位置ＰBの画素の２４個の近傍画素に対応する合計２４個の累積相関値（以下、近傍累積相関値と呼ぶことがある）、  候補最小相関値ＶCを示す画素の位置ＰCと位置ＰCの画素の２４個の近傍画素に対応する合計２４個の累積相関値（以下、近傍累積相関値と呼ぶことがある）、及び  候補最小相関値ＶDを示す画素の位置ＰDと位置ＰDの画素の２４個の近傍画素に対応する合計２４個の累積相関値（以下、近傍累積相関値と呼ぶことがある）」を検出する（図２４参照）。
【０２６５】
各小領域ｅに着目し、以下のように画素位置等を定義する。位置ＰB、ＰC及びＰDは、それぞれ、位置ＰAと同様、代表点Ｒの画素位置（０，０）を基準とした、候補最小相関値ＶB、ＶC及びＶDを与えるサンプリング点Ｓの画素位置であり、これを、（ｉB，ｊB）、（ｉC，ｊC）及び（ｉD，ｊD）にて表す。
位置ＰAと同様、位置ＰBの画素とそれの近傍画素は５×５の行列配列された画素群を形成し、その画素群の各画素の画素位置を（ｉB＋ｐ，ｊB＋ｑ）にて表す。
位置ＰAと同様、位置ＰCの画素とそれの近傍画素は５×５の行列配列された画素群を形成し、その画素群の各画素の画素位置を（ｉC＋ｐ，ｊC＋ｑ）にて表す。
位置ＰAと同様、位置ＰDの画素とそれの近傍画素は５×５の行列配列された画素群を形成し、その画素群の各画素の画素位置を（ｉD＋ｐ，ｊD＋ｑ）にて表す。
ここで、位置ＰAと同様、ｐ及びｑは整数であり、−２≦ｐ≦２且つ−２≦ｑ≦２、が成立する。ｐが−２から２に増加するにつれて画素位置は位置ＰB（又はＰC又はＰD）を中心として上から下へと向かい、ｑが−２から２に増加するにつれて画素位置は位置ＰB（又はＰC又はＰD）を中心として左から右へと向かう。そして、画素位置（ｉB＋ｐ，ｊB＋ｑ）、（ｉC＋ｐ，ｊC＋ｑ）及び（ｉD＋ｐ，ｊD＋ｑ）に対応する累積相関値を、夫々、Ｖ（ｉB＋ｐ，ｊB＋ｑ）、Ｖ（ｉC＋ｐ，ｊC＋ｑ）及びＶ（ｉD＋ｐ，ｊD＋ｑ）にて表す。
【０２６６】
演算回路１５５は、更に、各検出領域Ｅ1 〜Ｅ9 ごとに、候補最小相関値の個数Ｎｆを算出及び出力する。今の例の場合、検出領域Ｅ1 〜Ｅ9 の夫々について、Ｎｆは４である。以下、各検出領域Ｅ1 〜Ｅ9 ごとに、演算回路１５５にて算出され且つ出力される、「候補最小相関値ＶA、位置ＰA及び近傍累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）」を特定するデータを総称して「第１の候補データ」と呼び、
「候補最小相関値ＶB、位置ＰB及び近傍累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）」を特定するデータを総称して「第２の候補データ」と呼び、「候補最小相関値ＶC、位置ＰC及び近傍累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）」を特定するデータを総称して「第３の候補データ」と呼び、「候補最小相関値ＶD、位置ＰD及び近傍累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）」を特定するデータを総称して「第４の候補データ」と呼ぶ。
【０２６７】
［動き検出回路の動作フロー］
次に、図２５及び図２６のフローチャートを参照して、動き検出回路３２の処理手順を説明する。また、図２９に、動き検出回路３２内部の各データの流れをも表した、動き検出回路３２の詳細内部ブロック図を示す。図２９に示す如く、検出領域有効性判定回路１４３は、コントラスト判定部１６１と、複数動き有無判定部１６２と、類似模様有無判定部１６３を含み、全体動きベクトル算出回路１４４は、全体動きベクトル有効性判定部１７０と信頼度算出部１７４を含む。全体動きベクトル有効性判定部１７０は、更に、パン・チルト判定部１７１、領域動きベクトル類似性判定部１７２及び検出領域有効数算出部１７３を含む。
【０２６８】
概略的に動作を説明すると、動き検出回路３２は、検出領域ごとに、候補最小相関値の中から真のマッチング位置に対応する相関値を採用最小相関値Ｐｍｉｎとして特定し、代表点Ｒの位置から採用最小相関値Ｖｍｉｎを示す位置（ＰA、ＰB、ＰC又はＰD）に向かう偏移を当該検出領域の領域動きベクトルとする。そして、各領域動きベクトルの平均を画像全体の動きベクトル（以下、「全体動きベクトル」という）として出力する。
【０２６９】
但し、平均化によって全体動きベクトルを算出する際、各検出領域の有効又は無効を評価し、無効な検出領域に対応する領域動きベクトルを無効として除外する。そして、有効な領域動きベクトルの平均ベクトルを（原則として）全体動きベクトルとして算出すると共に、算出した全体動きベクトルが有効であるか或いは無効であるかを評価する。図２９に示す信頼度算出部１７４において全体動きベクトルの信頼度も算出されるが、信頼度の算出手法については図２５及び図２６に関する説明の後に詳説する。
【０２７０】
尚、図２５に示されるステップＳ１２〜Ｓ１８の処理は、図２０の代表点マッチング回路１４１にて実施される。ステップＳ２４の処理は、図２０の領域動きベクトル算出回路１４２によって実施される。ステップＳ２１〜Ｓ２３並びにＳ２５及びＳ２６の処理は、図２０の検出領域有効性判定回路１４３によって実施される。図２６に示されるステップＳ４１〜Ｓ４９の処理は、図２０の全体動きベクトル算出回路１４４によって実施される。
【０２７１】
図２５及び図２６は、或る１つの基準画像と或る１つの非基準画像との間における処理手順を示している。動き検出回路３２は、手ぶれ補正撮影モードにおいてシャッタボタンが押下げられた際、１番目の分割露光画像を基準画像、２番目以降の各分割露光画像を非基準画像として、図２５及び図２６に示す各ステップの処理を実施する（但し、２番目以降の何れかの分割露光画像を基準画像とすることも可能である）。また、手ぶれ補正撮影モードでは、シャッタボタンが押下されたか否かに関わらず、動き検出回路３２に対して前回に入力された画像（画像データ）を基準画像とし且つ今回に入力された画像を非基準画像として、図２５及び図２６に示す各ステップの処理が実施される。
【０２７２】
まず、ステップＳ１１において、９つある検出領域Ｅ1〜Ｅ9の何れか１つを特定するための変数ｋを１とする。ｋ＝１、２、・・・９の場合、それぞれ、検出領域Ｅ1、Ｅ2、・・・Ｅ9についての処理が行われる。
【０２７３】
ステップＳ１１に続くステップＳ１２において、検出領域Ｅkについての累積相関値が算出され、更に、ステップＳ１３において、検出領域Ｅkについての累積相関値の平均値Ｖａｖｅが算出される。そして、真のマッチング位置に対応する累積相関値の候補として候補最小相関値が特定される（ステップＳ１４）。今、上述したように、候補最小相関値として４つの候補最小相関値ＶA、ＶB、ＶC又はＶDが特定されたとする。続くステップＳ１５では、ステップＳ１４にて特定された各候補最小相関値に対応する「位置と近傍累積相関値」が検出される。更にステップＳ１６で、ステップＳ１４にて特定された候補最小相関値の個数Ｎｆが算出される。ステップＳ１１〜Ｓ１６の処理により、図２４に示す、検出領域Ｅkについての「平均値Ｖａｖｅ、第１〜第４候補データ及び個数Ｎｆ」が算出される。
【０２７４】
ステップＳ１６に続くステップＳ１７では、検出領域Ｅkについての候補最小相関値の中から、真のマッチング位置に対応する相関値が採用最小相関値Ｖｍｉｎとして選択される。
【０２７５】
このステップＳ１７の処理を、図２７及び図２８を参照して詳細に説明する。図２７（ａ）〜（ｅ）では、ステップＳ１７の処理にて参照される累積相関値の対応画素を斜線を用いて表している。図２８は、ステップＳ１７の処理を細分化したフローチャートである。ステップＳ１７は、ステップＳ１０１〜Ｓ１１２から形成される。
【０２７６】
ステップＳ１７に移行すると、まず、図２８のステップＳ１０１において、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図２７（ａ）のパターンに対応するような「候補最小相関値と４個の近傍累積相関値」の平均値（選択用評価値）を計算する。即ち、（ｐ，ｑ）＝（０，−１）、（−１，０）、（０，１）、（１，０）、（０，０）である場合における、
「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。
【０２７７】
そして、ステップＳ１０２において、ステップＳ１０１で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０１で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０３に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０１で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。例えば、ＶA_ave＜ＶB_ave＜ＶC_ave＜ＶD_ave、が成立する場合、候補最小相関値ＶAが採用最小相関値Ｖｍｉｎとして選択される。
【０２７８】
以後、採用最小相関値Ｖｍｉｎを選択するに当たって参照される累積相関値の位置及び個数を変化させつつ、ステップＳ１０１及びＳ１０２と同様の処理が実施される。
【０２７９】
即ち、ステップＳ１０３では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図２７（ｂ）のパターンに対応するような「候補最小相関値と８個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−１，−１）、（−１，０）、（−１，１）、（０，−１）、（０，０）、（０，１）、（１，−１）、（１，０）、（１，１）である場合における、「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。
【０２８０】
そして、ステップＳ１０４において、ステップＳ１０３で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０３で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０５に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０３で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。
【０２８１】
ステップＳ１０５では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図２７（ｃ）のパターンに対応するような「候補最小相関値と１２個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−１，−１）、（−１，０）、（−１，１）、（０，−１）、（０，０）、（０，１）、（１，−１）、（１，０）、（１，１）、（−２，０）、（２，０）、（０，２）、（０，−２）である場合における、「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。
【０２８２】
そして、ステップＳ１０６において、ステップＳ１０５で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０５で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０７に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０５で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。
【０２８３】
ステップＳ１０７では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図２７（ｄ）のパターンに対応するような「候補最小相関値と２０個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−２，−１）、（−２，０）、（−２，１）、（−１，−２）、（−１，−１）、（−１，０）、（−１，１）、（−１，２）、（０，−２）、（０，−１）、（０，０）、（０，１）、（０，２）、（１，−２）、（１，−１）、（１，０）、（１，１）、（１，２）、（２，−１）、（２，０）、（２，１）である場合における、「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。
【０２８４】
そして、ステップＳ１０８において、ステップＳ１０７で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０７で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１０９に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０７で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。
【０２８５】
ステップＳ１０９では、第１〜第４の候補データの夫々について（即ち、候補最小相関値ごとに）、図２７（ｅ）のパターンに対応するような「候補最小相関値と２４個の近傍累積相関値」の平均値を計算する。即ち、（ｐ，ｑ）＝（−２，−２）、（−２，−１）、（−２，０）、（−２，１）、（−２，２）、（−１，−２）、（−１，−１）、（−１，０）、（−１，１）、（−１，２）、（０，−２）、（０，−１）、（０，０）、（０，１）、（０，２）、（１，−２）、（１，−１）、（１，０）、（１，１）、（１，２）、（２，−２）、（２，−１）、（２，０）、（２，１）、（２，２）である場合における、「累積相関値Ｖ（ｉA＋ｐ，ｊA＋ｑ）の平均値ＶA_aveと、累積相関値Ｖ（ｉB＋ｐ，ｊB＋ｑ）の平均値ＶB_aveと、累積相関値Ｖ（ｉC＋ｐ，ｊC＋ｑ）の平均値ＶC_aveと、累積相関値Ｖ（ｉD＋ｐ，ｊD＋ｑ）の平均値ＶD_ave」を算出する。
【０２８６】
そして、ステップＳ１１０において、ステップＳ１０９で算出された平均値に基づいて採用最小相関値Ｖｍｉｎを選択可能であるかを判定する。具体的には、ステップＳ１０９で算出された４つの平均値の内、最小の平均値と他の平均値との差が全て所定の差分閾値（例えば２）以下の場合は、選択不可（選択の信頼性がない）と判定してステップＳ１１１に移行し、そうでない場合はステップＳ１１２に移行して、ステップＳ１０９で算出された４つの平均値の内、最小の平均値に対応する候補最小相関値を採用最小相関値Ｖｍｉｎとして選択する。
【０２８７】
ステップＳ１１１に移行した場合は、最終的に、採用最小相関値Ｖｍｉｎを選択不可と判断する。即ち、マッチング位置を検出不可と判断する。尚、候補最小相関値が複数ある場合の処理について説明したが、候補最小相関値が１つしかない場合は、その１つの候補最小相関値がそのまま採用最小相関値Ｖｍｉｎとされる。
【０２８８】
ステップＳ１７にて採用最小相関値Ｖｍｉｎが選択されると、ステップＳ１８にて採用最小相関値Ｖｍｉｎを示す画素の位置Ｐｍｉｎが特定される。例えば、採用最小相関値Ｖｍｉｎとして候補最小相関値ＶAが選択された場合は、位置ＰAが位置Ｐｍｉｎとなる。
【０２８９】
ステップＳ１７及びＳ１８で採用最小相関値Ｖｍｉｎ及び位置Ｐｍｉｎが特定されると、ステップＳ２１に移行する。ステップＳ２１〜Ｓ２６では、検出領域Ｅkの有効又は無効が判定されると共に検出領域Ｅkの領域動きベクトルＭkが算出される。各ステップの処理内容を詳細に説明する。
【０２９０】
ステップＳ２１では、類似模様有無判定部１６３（図２９参照）が、検出領域Ｅk内に類似した模様が存在していないかを判定する。類似模様が存在している場合は、当該検出領域Ｅkについて算出される領域動きベクトルの信頼性は低い（即ち、領域動きベクトルＭkは検出領域Ｅk内の画像の動きを精度良く表していない）。従って、この場合は、検出領域Ｅkを無効とする（ステップＳ２６）。ステップＳ２１の判定は、ステップＳ１７の処理結果に基づいて実施される。即ち、図２８のステップＳ１１２に至って採用最小相関値Ｖｍｉｎが選択された場合は、類似模様は存在していないと判断してステップＳ２１からステップＳ２２に移行する。一方、図２８のステップＳ１１１に至って採用最小相関値Ｖｍｉｎが選択されなかった場合は、類似模様が存在していると判断してステップＳ２１からステップＳ２６に移行し、検出領域Ｅkを無効とする。
【０２９１】
ステップＳ２２では、コントラスト判定部１６１（図２９参照）が、検出領域Ｅk内の画像のコントラストが低いか否かを判定する。コントラストが低い場合は、正確な領域動きベクトルの検出は困難であるため、検出領域Ｅkを無効とする。具体的には、累積相関値の平均値Ｖａｖｅが所定の閾値ＴＨ１以下であるかを判断する。そして、不等式「Ｖａｖｅ≦ＴＨ１」が成立する場合はコントラストが低いと判断してステップＳ２６に移行し検出領域Ｅkを無効とする。この判断は、画像のコントラストが低い場合（例えば、画像全体が白い場合）には、輝度差が小さいので累積相関値が全体的に小さくなるという原理に基づいている。一方、不等式「Ｖａｖｅ≦ＴＨ１」が成立しない場合は、コントラストは低くないと判断してステップＳ２３に移行する。尚、閾値ＴＨ１は、実験を介して適切な値に設定される。
【０２９２】
ステップＳ２３では、複数動き有無判定部１６２（図２９参照）が、検出領域Ｅk内に複数の動きがあるか否かを判定する。検出領域Ｅk内に手ぶれとは関係のない動く物体等が存在する場合は、検出領域Ｅk内に複数の動きがあると判断されることになる。複数の動きがある場合は、正確な領域動きベクトルの検出は困難であるため、検出領域Ｅkを無効とする。具体的には、不等式「Ｖａｖｅ／Ｖｍｉｎ≦ＴＨ２」が成立するか否かを判断し、該不等式が成立する場合は複数の動きがあると判断してステップＳ２６に移行し検出領域Ｅkを無効とする。この判断は、複数の動きがある場合には完全なマッチング位置がないため、累積相関値の最小値が大きくなるという原理に基づいている。また、平均値Ｖａｖｅを除算することによって、この判断が被写体のコントラストに依存しないようにしている。一方、不等式「Ｖａｖｅ／Ｖｍｉｎ≦ＴＨ２」が成立しない場合は、複数の動きがないと判断してステップＳ２４に移行する。尚、閾値ＴＨ２は、実験を介して適切な値に設定される。
【０２９３】
ステップＳ２４では、図２０（図２９）に示す領域動きベクトル算出回路１４２が、真のマッチング位置を表す位置Ｐｍｉｎに基づいて、領域動きベクトルＭkを算出する。例えば、位置ＰAが位置Ｐｍｉｎである場合は、画像上の位置ＰAを特定する位置情報（画素位置（ｉA，ｊA）を特定する情報）に基づいて領域動きベクトルＭkを算出する。より具体的には、検出領域Ｅkの任意の小領域ｅにおいて、代表点Ｒの位置から採用最小相関値Ｖｍｉｎを示す位置Ｐｍｉｎ（ＰA、ＰB、ＰC又はＰD）に向かう偏移の向き及び大きさを、領域動きベクトルＭkの向き及び大きさとする。
【０２９４】
そして、ステップＳ２４に続くステップＳ２５では、検出領域Ｅkを有効とし、ステップＳ３１に移行する。他方、ステップＳ２１等から移行しうるステップＳ２６では、上述の如く検出領域Ｅkを無効とし、ステップＳ３１に移行する。ステップＳ３１では、変数ｋに１が加算され、続いてステップＳ３２で変数ｋが９より大きくなっているかが判断される。「ｋ＞９」が成立しない場合はステップＳ１２に移行し、他の検出領域に関してステップＳ１２等の処理が繰り返される。「ｋ＞９」が成立する場合は、検出領域Ｅ1〜Ｅ9の全てに関してステップＳ１２等の処理が実施されたことになるため、図２６のステップＳ４１に移行する。
【０２９５】
図２６のステップＳ４１〜Ｓ４９では、領域動きベクトルＭk（１≦ｋ≦９）に基づく全体動きベクトルＭを算出処理及び全体動きベクトルＭの有効性判定処理が行われる。
【０２９６】
ステップＳ４１では、図２５のステップＳ２５及びＳ２６の処理結果に基づき、有効とされた検出領域（以下、「有効領域」という）の数が０であるか否かを判定する。有領領域が１以上存在する場合にはステップＳ４２に移行して、有効領域の領域動きベクトルＭkを抽出し、更にステップＳ４３にて、有効領域の領域動きベクトルＭkを平均化することにより、それらの平均ベクトルＭａｖｅを算出する。
【０２９７】
ステップＳ４３に続くステップＳ４４では、領域動きベクトル類似性判定部１７２（図２９参照）が、有効領域の領域動きベクトルＭkの類似性を判定する。換言すれば、有効領域間での領域動きベクトルＭkのばらつきＡを評価することにより、有効領域間で動きの異なる物体が存在していないかを判定する。具体的には、下式（１−１）に基づいて、ばらつきＡを算出する。
【０２９８】
【数１】
2011205719.tif 000003
【０２９９】
そして、ばらつきＡが閾値ＴＨ３以上であるか否かを判定する。ばらつきＡが閾値ＴＨ３未満であればステップＳ４５に移行し、画像全体の動きベクトル（全体動きベクトル）ＭをステップＳ４３で算出された平均ベクトルＭａｖｅとしてステップＳ４７に移行する。
【０３００】
尚、式（１−１）において、［｛｜Ｍk−Ｍａｖｅ｜／（Ｍａｖｅのノルム）｝の総和］は、有効領域ごとに算出された｛｜Ｍk−Ｍａｖｅ｜／（Ｍａｖｅのノルム）｝を、全ての有効領域について合算した値に相当する。また、図２９に示す検出領域有効数算出部１７３は、有効領域の数を算出する。
【０３０１】
ばらつきＡが閾値ＴＨ３以上の場合は、有効領域の領域動きベクトルＭkの類似性が低く、それに基づいて算出される全体動きベクトルの信頼性は低いと考えられる。このため、ばらつきＡが閾値ＴＨ３以上の場合は（ステップＳ４４のＮ）、ステップＳ４６に移行し、全体動きベクトルＭを０としてステップＳ４７に移行する。また、ステップＳ４１において有効領域の数が０であると判定された場合もステップＳ４６にて全体動きベクトルＭが０とされ、ステップＳ４７に移行する。
【０３０２】
ステップＳ４７では、全体動きベクトルの履歴データＭｎに今回得られた全体動きベクトルＭを追加する。上述したように、図２５及び図２６に示す各処理は、シャッタボタンが押下されたか否かに関わらず、手ぶれ補正撮影モードにおいて逐次行われており、ステップＳ４５又はＳ４６にて得られた全体動きベクトルＭは、順次、全体動きベクトルの履歴データＭｎに格納されていく。尚、シャッタボタンの１回の押下に対して、複数の分割露光画像と複数の全体動きベクトルＭが得られるが、後述のパン・チルト判定処理の便宜上、履歴データＭｎに追加されるのは、その複数の全体動きベクトルＭの内の１つだけとする（但し、その複数の動きベクトルＭの全てを履歴データＭｎに追加することも可能である）。
【０３０３】
ステップＳ４７に続くステップＳ４８では、パン・チルト判定部１７１（図２９参照）が、履歴データＭｎに基づいてデジタルカメラ１がパン・チルト状態にあるかを判定する。「パン・チルト状態」とは、デジタルカメラ１がパン又はチルトしている状態、を意味する。パン（パンニング）とは、デジタルカメラ１の筐体を左右方向（即ち、ヨー方向）に振ることを意味し、チルト（チルティング）とは、デジタルカメラ１の筐体を上下方向（即ち、ピッチ方向）に振ることを意味する。デジタルカメラ１がパン又はチルトしている状態にあるかを判定する手法としては、例えば、特開２００６−７４６９３号公報に記載の手法又は本出願人が提案する特願２００６−９１２８５号に記載の手法を用いればよい。
【０３０４】
例えば、次の第１条件又は第２条件を満たした場合に、「手ぶれ状態」から「パン・チルト状態」へ遷移したと判断する（「手ぶれ状態」は、「パン・チルト状態」に含まれない）。
第１条件は、「全体動きベクトルＭが垂直方向（上下方向）又は水平方向（左右方向）の同一方向に連続している回数が所定回数以上である」という条件である。
第２条件は、「上記同一方向に連続している全体動きベクトルＭの大きさの積分値がデジタルカメラ１の画角の一定割合以上である」という条件である。
【０３０５】
そして例えば、次の第３条件又は第４条件を満たした場合に、「パン・チルト状態」から「手ぶれ状態」へ遷移したと判断する。
第３条件は、「全体動きベクトルの大きさが０．５画素以下である状態が連続して所定回数（例えば１０回）以上継続した」という条件である
第４条件は、「「手ぶれ状態」から「パン・チルト状態」へ遷移したときの全体動きベクトルＭに対して方向が反対の全体動きベクトルＭが所定回数（例えば１０回）以上連続して得られた」という条件である。
【０３０６】
第１〜第４条件の成立／不成立は、履歴データＭｎに含まれる今回得られた全体動きベクトルＭと過去の全体動きベクトルＭと、に基づいて判断される。「パン・チルト状態」にあるか否かの判定結果は、図３のマイコン２０に伝達される。
【０３０７】
ステップＳ４８の判定処理を終えると、ステップＳ４９に移行する。ステップＳ４９では、全体動きベクトル有効性判定部１７０（図２９参照）が、ステップＳ４１〜Ｓ４８の処理結果に基づいて、今回得られた全体動きベクトルＭが有効であるか否かを判定する。
【０３０８】
具体的には、「ステップＳ４１で有効領域の数が０であると判定されてステップＳ４６に至った場合」、或いは、「ステップＳ４４で有効領域の領域動きベクトルＭkの類似性が低いと判定されてステップＳ４６に至った場合」、或いは、「ステップＳ４８でパン・チルト状態にあると判定された場合」は、今回得られた全体動きベクトルＭは無効とされ、そうでない場合は、今回得られた全体動きベクトルＭは有効とされる。
【０３０９】
パン又はチルト操作時には、手ぶれ量が大きく対比する画像間の偏移が小領域ｅのサイズに応じた動き検出範囲を超えてしまうため、正確な動きベクトルを検出することができない。このため、パン・チルト状態にあると判定された場合には全体動きベクトルＭを無効とする。
【０３１０】
上述のようにして求められた全体動きベクトルＭ及び該全体動きベクトルＭが有効であるか或いは無効であるかを特定する情報は、図３の座標変換回路３３に与えられる。
【０３１１】
手ぶれ補正撮影モードにおいてシャッタボタンが押下げられた際においては、図２５及び図２６の処理を繰り返すことにより、各分割露光画像について全体動きベクトルＭが検出されると共に各全体動きベクトルＭの有効／無効が評価され、その有効／無効の評価に従って各分割露光画像が加算合成される。
【０３１２】
この際、全体動きベクトルＭの信頼度に基づく比率（画素混合比）にて各分割露光画像の加算合成が行われる。全体動きベクトルＭの信頼度は、図２９の信頼度算出部１７４によって算出される。
【０３１３】
［信頼度（画素混合比）の算出手法］
以下、この信頼度の算出手法にて詳細に説明する。今、説明の具体化のため、露光分割数Ｎが４であるものとする。従って、シャッタボタンの押下に応じて、１番目、２番目、３番目、４番目の分割露光画像（以下、夫々を、「第１、第２、第３及び第４画像」と略記することがある）が得られるものとする。図３０に、信頼度の算出に関与する各値を表として表す。
【０３１４】
上述したように、本実施例では、第１画像が基準画像として取り扱われることになる。ｉを２、３又は４とした場合、基準画像（第１画像）と第ｉ画像との間における、有効領域（最大９つ）についての各採用最小相関値Ｖｍｉｎの平均値をＶｍｉｎ［ｉ］とし、有効領域（最大９つ）についての各平均値Ｖａｖｅの平均値をＶａｖｅ［ｉ］とし、有効領域（最大９つ）についての各「候補最小相関値の個数Ｎｆ」の平均値をＮｆ［ｉ］とし、有効領域数（有効領域の個数）をＮｖａｌ［ｉ］とする。
【０３１５】
例えば、第１画像と第２画像との間に関し、図２５のステップＳ２５及びＳ２６にて検出領域Ｅ2とＥ7のみが有効と判断された場合、第２画像に関するＶｍｉｎ［２］は、検出領域Ｅ2についての採用最小相関値Ｖｍｉｎと検出領域Ｅ7についての採用最小相関値Ｖｍｉｎとの平均値であり、第２画像に関するＶａｖｅ［２］は、検出領域Ｅ2についての累積相関値の平均値Ｖａｖｅと検出領域Ｅ7についての累積相関値の平均値Ｖａｖｅとの平均値であり、第２画像に関するＮｆ［２］は、検出領域Ｅ2についての候補最小相関値の個数Ｎｆと検出領域Ｅ7についての候補最小相関値の個数Ｎｆとの平均値であり、第２画像に関するＮｖａｌ［２］は、有効と判断された検出領域Ｅ2とＥ7の個数、即ち、２である。
【０３１６】
第１画像は基準画像であるため、第２画像等のように、Ｖｍｉｎ［ｉ］等を定義することができない。そのため、第１画像に関する各値Ｖｍｉｎ［１］、Ｖａｖｅ［１］、Ｎｆ［１］及びＮｖａｌ［１］を、図３０に示すように定義する。即ち、Ｖｍｉｎ［２］とＶｍｉｎ［３］とＶｍｉｎ［４］の最小値をＶｍｉｎ［１］とし、Ｖａｖｅ［２］とＶａｖｅ［３］とＶａｖｅ［４］の最大値をＶａｖｅ［１］とし、Ｎｆ［２］とＮｆ［３］とＮｆ［４］の最小値をＮｆ［１］とし、Ｎｖａｌ［２］とＮｖａｌ［３］とＮｖａｌ［４］の最大値をＮｖａｌ［１］とする。
【０３１７】
信頼度算出部１７４は、上述のように定義される各値を算出することによって、各画像の全体動きベクトルＭの信頼度を算出する。第ｉ画像の全体動きベクトルＭの信頼度をＢ［ｉ］にて表す。０≦Ｂ［ｉ］≦１、が成立するように各信頼度は算出される。第１画像は基準画像であるため、第１画像に対する第１画像の全体動きベクトルＭは存在しないが（無意味であるが）、上述の如く定義されたＶｍｉｎ［１］等を参照して、第１画像に関する信頼度Ｂ［１］も算出される（算出式は後述）。
【０３１８】
後述の説明から明らかとなるが、信頼度Ｂ［ｉ］は、第１〜第４画像を合成して合成画像（１枚の静止画像）を生成する際における第ｉ画像の画素混合比として利用され、信頼度Ｂ［ｉ］が大きくなるほど、合成画像に対する第ｉ画像の画素値の寄与率は大きくなる。従って、信頼度Ｂ［ｉ］は、「第１〜第４画像を合成して合成画像を生成する際における第ｉ画像の画素混合比（画像加算比率）」、或いは、「合成画像に対する第ｉ画像の画素値の寄与率」と言い換えることもできる。
【０３１９】
信頼度Ｂ［ｉ］は、累積相関値の最小値又は該最小値に近い累積相関値に依存するＶｍｉｎ［ｉ］、に基づく評価値ＢVmin[i]と、累積相関値の平均値に依存するＶａｖｅ［ｉ］、に基づく評価値ＢVave[i]と、累積相関値の最小値の個数又は該最小値に近い累積相関値の個数に依存するＮｆ［ｉ］、に基づく評価値ＢNf[i]と、有効領域数に依存するＮｖａｌ［ｉ］、に基づく評価値ＢNval[i]と、に基づいて算出される。
【０３２０】
具体的には、各評価値に重み付け係数をかけて加算することにより、信頼度Ｂ［ｉ］を算出する。つまり、下記式（１−２）に従って信頼度Ｂ［ｉ］を算出する。式（１−２）及び後述する各式において、ｉは１〜４の間の各整数をとる。信頼度Ｂ［ｉ］は、第１〜第４画像を合成して合成画像を生成する際における第ｉ画像の画素混合比として利用されるため、各評価値が大きくなるにつれて、合成画像に対する第ｉ画像の画素値の寄与率は増大する。
【０３２１】
【数２】
2011205719.tif 000004
【０３２２】
ここで、ＷVmin、ＷVave、ＷNf、ＷNvalは、重み付け係数である。各重み付け係数は、実験を介して適切な値（０以上１以下の値）に設定される。各重み付け係数の合計は、下記式（１−３）に示す如く、１とされる。本実施例では、例えば、ＷVmin、ＷVave、ＷNf、ＷNvalを、夫々、０．４、０．２、０．１、０．３、とした。
【０３２３】
【数３】
2011205719.tif 000005
【０３２４】
各評価値の算出法について説明する。第１に、評価値ＢVmin[i]の算出法について説明する。第ｉ画像と基準画像の類似度が高いほど、第ｉ画像について算出された全体動きベクトルＭの信頼性は高い（動きベクトルを正確に検出できている可能性が高い）。一方において、基準画像に対して、第ｉ画像の類似度が高いとＶｍｉｎ［ｉ］は小さくなる。そこで、基準画像との類似度の指標となるＶｍｉｎ［ｉ］から評価値ＢVmin[i]を算出する。具体的には、下記式（１−４）に従って評価値ＢVmin[i]を算出する。これにより、基準画像との類似度が高いことに起因してＶｍｉｎ［ｉ］が小さい画像ほど大きな評価値ＢVmin[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。
【０３２５】
【数４】
2011205719.tif 000006
【０３２６】
第２に、評価値ＢVave[i]の算出法について説明する。画像のエッジ（又はコントラスト）が鮮明なほど、手ぶれ、被写体ぶれ、ピントのずれ等に由来する画像中のぼけが少なく、全体動きベクトルＭを正確に検出できる可能性が高い。一方において、第ｉ画像のエッジ強度が大きいとＶａｖｅ［ｉ］は大きくなる。そこで、画像のエッジ強度の指標となるＶａｖｅ［ｉ］から評価値ＢVave[i]を算出する。具体的には、下記式（１−５）に従って評価値ＢVave[i]を算出する。これにより、画像のエッジ強度が強いことに起因してＶａｖｅ［ｉ］が大きい画像ほど大きな評価値ＢVave[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。
【０３２７】
【数５】
2011205719.tif 000007
【０３２８】
第３に、評価値ＢNf[i]の算出法について説明する。対比する画像間に存在する類似模様が少ないほど、全体動きベクトルＭの信頼性は高い（動きベクトルを正確に検出できている可能性が高い）。一方において、類似模様が増加するとＮｆ［ｉ］は増加する傾向にある。そこで、類似模様の存在の指標となるＮｆ［ｉ］から評価値ＢNf[i]を算出する。
具体的には、下記式（１−６）に従って評価値ＢNf[i]を算出する。これにより、類似模様が少ないことに起因してＮｆ［ｉ］が小さい画像ほど大きな評価値ＢNf[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。
【０３２９】
【数６】
2011205719.tif 000008
【０３３０】
第４に、評価値ＢNval[i]の算出法について説明する。有効領域（有効な検出領域）の数が多いほど、全体動きベクトルＭを正確に検出できる可能性が高い。そこで、有効領域数を表すＮｖａｌ［ｉ］から評価値ＢNval[i]を算出する。具体的には、下記式（１−７）に従って評価値ＢNval[i]を算出する。これにより、有効領域数が多いことに起因してＮｖａｌ［ｉ］が大きい画像ほど大きな評価値ＢNval[i]が算出され、その結果、合成画像に対する、その画像の画素混合比は大きくなる。
【０３３１】
【数７】
2011205719.tif 000009
【０３３２】
上記式（１−２）に従い、各評価値に基づいて算出された信頼度Ｂ［ｉ］は、図３の画像加算回路３４に与えられ、合成画像を合成する際における第ｉ画像の画素混合比（画像加算比率）として利用される。
【０３３３】
［画像合成処理について］
次に、手ぶれ補正撮影モードにてシャッタボタンを押下した場合における、図３の画像合成回路３６の動作について説明する。
【０３３４】
座標変換回路３３は、動き検回路３２にて算出された各全体動きベクトルＭに基づいて、各分割露光画像の位置合わせを行う。この際、図２６のステップＳ４９にて無効と判断された全体動きベクトルＭはゼロとされる（大きさがゼロのベクトルとされる）。
【０３３５】
具体的には、座標変換回路３３は、各全体動きベクトルＭに基づいて、基準画像である第１画像における画像座標（ｘ1，ｙ1）から第ｉ画像における画像座標（ｘi，ｙi）への座標変換式（１−８ａ）の変換行列Ｈiを求める。変換行列Ｈiは、下記式（１−８ｂ）にて表される。
【０３３６】
【数８】
2011205719.tif 000010
【０３３７】
図３１に、変換行列Ｈiを用いた座標変換の様子を示す。第１画像における画像座標（ｘ1，ｙ1）と第ｉ画像における画像座標（ｘi，ｙi）との偏移は、第１画像に対する第ｉ画像の全体動きベクトルＭによって表される（ｉ＝２、３、４）。第１画像についての変換行列Ｈ1に関しては、当然、ａ1＝ｅ1＝１且つｂ1＝ｃ1＝ｄ1＝ｆ1＝０、である。
【０３３８】
図３の画像加算回路３４は、第１〜第４画像を合成した合成画像を画像メモリ３５上に作成するべく、画像メモリ３５に、基準画像である第１画像と同じ画像座標系を設定する。画像メモリ３５に設定された画像座標系における画像座標を（ｘ、ｙ）にて表す。図３２を参照する。図３２は、合成画像と第ｉ画像の画素値の対応関係を示している。合成画像における画像座標（ｘ、ｙ）の画素値をＰ（ｘ，ｙ）にて表す。第ｉ画像における画像座標（ｘi，ｙi）の画素値をＰi（ｘi，ｙi）にて表す。
【０３３９】
画像加算回路３４は、上記式（１−８ａ）及び（１−８ｂ）を用いて、合成画像の画素ごとに、各分割露光画像（第１〜第４画像の夫々）における対応画素の画像座標を算出する。合成画像の或る画素に関し、その画素の画像座標を（ｘ，ｙ）（＝（ｘ1，ｙ1））で表した場合、第ｉ画像の対応画素の画像座標（ｘi，ｙi）は、上記式（１−８ａ）及び（１−８ｂ）にて表される。続いて、画像加算回路３４は、合成画像の画素（該画素の画像座標は（ｘ，ｙ））ごとに、第ｉ画像の対応画素の画素値Ｐi（ｘi，ｙi）を取得する。この際、必要に応じて第ｉ画像の画素値の補間処理を行う（勿論、第１画像に関して補間処理は不要である）。
【０３４０】
そして、画像加算回路３４は、画素混合比として利用される信頼度Ｂ［ｉ］に従って、第１〜第４画像の各画素の画素値Ｐi（ｘi，ｙi）を重み付け加算することにより、合成画像の各画素の画素値Ｐ（ｘ，ｙ）を算出する。画素値Ｐ（ｘ，ｙ）の算出式は、下記式（１−９）にて表される。
【０３４１】
【数９】
2011205719.tif 000011
【０３４２】
上述のように、本実施例では、全体動きベクトルＭの信頼度Ｂ［ｉ］に従った画素混合比にて第１〜第４画像を合成する。本実施例のように加算式手ぶれ補正を実施する場合、通常、各分割露光画像の露光時間は手ぶれが無視できる程度に短く設定されるため、各分割露光画像の類似度は非常に高くなる。従って、ぶれの大きい分割露光画像は例外的に取得されるものと言え、その分割露光画像と他の分割露光画像との類似度は比較的低くなる傾向がある。
【０３４３】
この特性を鑑みて、他の分割露光画像との類似度或いは画像のぶれ量などを反映した上記各評価値に基づいて、各分割露光画像の画素混合比（信頼度Ｂ［ｉ］）を算出し、類似度が低い或いは画像のぶれ量が多い分割露光画像を合成画像に反映させる度合いを低下させる。これにより、Ｎ個の分割露光画像の中に、例外的に、手ぶれを主要因とするぶれの大きい画像や被写体の動きが大きい画像があっても、それに起因する合成画像の画質劣化（主として、画像のぶれ）が抑制され、ぶれの少ない（即ち、手ぶれ補正効果の高い）静止画像を取得することが可能となる。
【０３４４】
また、上述の如く、４つの評価値（ＢVmin[i]、ＢVave[i]、ＢNf[i]、ＢNval[i]）は、全て、動き検出の正確性の指標となる。そして、画像合成回路３６は、動き検出の正確性が高いと考えられるものほど画素混合比を増加させ、動き検出の正確性が低いと考えられるものほど画素混合比を低下させる。このため、動き検出の正確性が低いことに由来する合成画像の画質劣化が抑制され、ぶれの少ない（即ち、手ぶれ補正効果の高い）静止画像を取得することが可能となる。
【０３４５】
また、本実施例では、領域動きベクトルＭKを算出するに当たり、最小の累積相関値と最小の累積相関値に近い累積相関値を、候補最小相関値として特定する。そして、２以上の候補最小相関値が特定された場合、近傍累積相関値を参照して、その２以上の候補最小相関値の中から採用最小相関値Ｖｍｉｎを選択するようにしている。このような処理を用いることの意義について説明する。説明の簡略化上、最小の累積相関値に近い累積相関値を無視し、最小の累積相関値が複数ある場合を例にとる。
【０３４６】
代表点マッチング法を用いて画像間の動き検出を行う場合、累積相関値の最小値が複数のサンプリング点Ｓにて検出される場合があり、それの要因の１つとして、ノイズの影響が考えられる。ノイズの影響は、特に、輝度が比較的低い分割露光画像に対して大きくなる。累積相関値の最小値が複数検出された場合、従来は、通常、真のマッチング位置を検出不能と判断して動き検出を無効にしていた。
【０３４７】
第１画像と第２画像との間の或る検出領域に関して累積相関値の最小値が複数検出された場合の、累積相関値の分布を図３３に示す。図３３において、横軸は第１画像と第２画像との間の偏移（相対的な位置のずれ）を表し、縦軸は累積相関値を表す。説明及び図示の簡略化上、図３３は、１次元に並んだ（例えば、水平方向に１次元配列された）画素にのみ着目している。今、候補最小相関値ＶAが真のマッチング位置に対応し、候補最小相関値ＶBはノイズに由来して候補最小相関値となったものとする。
【０３４８】
ノイズは、通常、極めて狭い画像領域にスパイク状に発生し、その輝度勾配は急峻である。従って、ノイズの影響による偽のマッチング位置に対応する累積相関値（ＶB）の近傍累積相関値は、その累積相関値（ＶB）を中心として急激に大きくなる。このため、候補最小相関値ごとに、候補最小相関値と近傍累積相関値の平均値を算出した場合、ノイズに対応する平均値は真のマッチング位置に対応する平均値よりも大きくなるという傾向がある。
【０３４９】
図２５のステップＳ１７等は、この特性を考慮して実施されるものであり、これにより、従来のように動き検出を無効とすることなく、真のマッチング位置を検出することが可能となる。従って、Ｓ／Ｎ比が低い画像でも高精度に画像間の動き検出が可能となり、暗い場面でも手ぶれ補正を有効に機能させることが可能となる。また、本実施例の如く加算式手ぶれ補正（加算式静止画手ぶれ補正）を行う場合にあっては、動き検出の精度が確保される露光分割数を増加させることができるようになるため、加算合成された静止画像における手ぶれ量を低減することが可能である。
【０３５０】
また、画像の平均輝度が十分に大きく且つノイズの影響も軽微である場合、通常、最小の累積相関値は１つのサンプリング点Ｓ（１つの画素）にて得られ、その場合は、近傍累積相関値を参照する必要はない。逆に、そのような場合に近傍累積相関値を過度に考慮すると、真のマッチング位置の検出の正確性が損なわれる（動き検出の精度が劣化する）惧れがある。このような事情を考慮し、本実施例では、図２７及び図２８を参照して説明したように、真のマッチング位置を定めきれない場合に参照する近傍累積相関値の個数を段階的に増加させるようにしている。これにより、近傍累積相関値を参照したことに由来する動き検出の精度の劣化が抑制される。
【０３５１】
＜＜変形等＞＞
或る実施例に記載した事項は、矛盾なき限り、他の実施例に適用することもできる。この適用の際、同一名称の部位間の符号の相違（マイコンに関する２０と２０ａの相違など）は適宜無視される。また、上述した説明文中に示した具体的な数値は、単なる例示であって、当然の如く、それらを様々な数値に変更することができる。上述の実施形態の変形例または注釈事項として、以下に、注釈１〜注釈４を記す。各注釈に記載した内容は、矛盾なき限り、任意に組み合わせることが可能である。
【０３５２】
［注釈１］
デジタルカメラ１のぶれを検出するための手ぶれ検出センサとして角速度センサを利用する場合を例示したが、手ぶれ検出センサとして他のセンサを用いるようにしてもよい。例えば、デジタルカメラ１の加速度を検出する加速度センサを手ぶれ部２６に設けて、該加速度センサの検出結果から上述の手ぶれ検出信号を生成するようにしてもよい。
【０３５３】
［注釈２］
画像マッチング法の１つである代表点マッチング法を用いて分割露光画像間の動き検出を実行する（動きベクトルを検出する）例を上述したが、その動き検出を、画像マッチング法に分類される他の手法を用いて実現することも可能である。例えば、代表点マッチング法の代わりに全画素マッチング法（ブロックマッチング法）を用いることも可能である。
【０３５４】
［注釈３］
デジタルカメラ１は、ハードウェア、或いは、ハードウェアとソフトウェアの組み合わせによって実現可能である。特に手ぶれ補正を実現するための処理内容は、ハードウェア、ソフトウェア、またはハードウェアとソフトウェアの組み合わせによって実現可能である。ソフトウェアを用いてデジタルカメラ１を構成する場合、ソフトウェアにて実現される部位についてのブロック図は、その部位の機能ブロック図を表すことになる。ソフトウェアにて実現可能な機能の全部または一部を、プログラムとして記述し、該プログラムをコンピュータ上で実行することによって、その機能の全部または一部を実現するようにしてもよい。
【０３５５】
［注釈４］
図３において、ぶれ補正装置は、マイコン２０、撮影制御回路（露光制御手段）２１、シャッタボタン検出部２３及び加算式手ぶれ補正回路３０を含む。
図１０において、ぶれ補正装置は、マイコン２０ａ、シャッタボタン検出部２３及び駆動部２５を含む。このぶれ補正装置は、更にセンサ部２６を含みうる。
図１４において、ぶれ補正装置は、マイコン２０ｂ、シャッタボタン検出部２３、駆動部２５及び画像復元部（復元式ぶれ補正手段）７０を含む。このぶれ補正装置は、更にセンサ部２６を含みうる。また、図１４（又は図１０）において、マイコン２０ｂ（又は２０ａ）と駆動部２５とによって光学式ぶれ補正手段が形成される。
図１６において、ぶれ補正装置は、マイコン２０ｃ、撮影制御回路（露光制御手段）２１、シャッタボタン検出部２３、駆動部２５、加算式手ぶれ補正回路３０を含む。このぶれ補正装置は、更にセンサ部２６を含みうる。
【０３５６】
また、図１０等の駆動部２５によって駆動される補正レンズＬＣ（図１３参照）又はバリアングルプリズム（不図示）は、光学式手ぶれ補正を実現するための補正用光学部材として機能する。
【図面の簡単な説明】
【０３５７】
【図１】本発明の実施形態に係るデジタルカメラの外観図（ａ）と、該デジタルカメラの使用状況例を示す図（ｂ）である。
【図２】本発明の第１実施例に係り、各シャッタボタンに対応する加算式手ぶれ補正の処理内容を示す図である。
【図３】本発明の第１実施例に係るデジタルカメラの電気的構成を示す全体ブロック図である。
【図４】加算式手ぶれ補正に係り、分割露光画像内で定義される複数の動きベクトル検出領域と複数の小領域を示す図である。
【図５】図４に示される１つの小領域内の画素配置を示す図である。
【図６】図１のデジタルカメラがロール方向にぶれた時に検出される領域動きベクトルを示す図である。
【図７】図１のデジタルカメラがヨー方向にぶれた時における、基準画像と非基準画像を表す図である。
【図８】本発明の第４実施例に係り、押下されるシャッタボタンに応じて基準画像の動きベクトル検出領域が水平方向のシフトされる様子を示す図である。
【図９】図８のシフトに対応する、基準画像と非基準画像間の小領域（検出ブロック）の配置位置ずれを表す図である。
【図１０】本発明の第５実施例に係るデジタルカメラの電気的構成を示す全体ブロック図である。
【図１１】図１０のセンサ部の内部ブロック図である。
【図１２】図１１に示される２つのセンサユニットの内の１つのセンサユニットの内部ブロック図である。
【図１３】図１０の光学系の内部構成図である。
【図１４】本発明の第６実施例に係るデジタルカメラの電気的構成を示す全体ブロック図である。
【図１５】本発明の第６実施例に係り、画像上の手ぶれ軌跡とＰＳＦ（Point SpreadFunction）との関係を示す図である。
【図１６】本発明の第７実施例に係るデジタルカメラの電気的構成を示す全体ブロック図である。
【図１７】本発明の第７実施例に係り、光学式手ぶれ補正と加算式手ぶれ補正を組み合わせた手ぶれ補正を説明するための図である。
【図１８】図１のデジタルカメラに設けられた複数のボタンを示す図である。
【図１９】本発明に係る各実施例の概要を列記した表である。
【図２０】本発明の第１３実施例に係る動き検出回路の内部ブロック図である。
【図２１】図２０の代表点マッチング回路の内部ブロック図である。
【図２２】図４に示す各小領域における、代表点と最小の累積相関値に対応するサンプリング点の画素位置を表す図である。
【図２３】最小の累積相関値に対応する画素とその近傍画素の各画素位置を表す図である。
【図２４】図２１の演算回路の出力データを表としてまとめた図である。
【図２５】図２０の動き検出回路の動作手順を表すフローチャートである。
【図２６】図２０の動き検出回路の動作手順を表すフローチャートである。
【図２７】図２５のステップＳ１７における採用最小相関値の選択処理に参照される累積相関値のパターンを表す図である。
【図２８】図２５のステップＳ１７における採用最小相関値の選択処理を詳細に表したフローチャートである。
【図２９】図２０の動き検出回路の詳細内部ブロック図である。
【図３０】図２９の信頼度算出部における信頼度の算出に関与する各値を、表として表した図である。
【図３１】図３の座標変換回路における座標変換処理の様子を表す図である。
【図３２】図３の画像加算回路における加算合成処理の様子を表す図である。
【図３３】図２５のステップＳ１７等の処理の意義を説明するための図である。
【符号の説明】
【０３５８】
１  デジタルカメラ
１１、１１ａ  光学系
１２  撮像素子
２０、２０ａ、２０ｂ、２０ｃ  マイコン
２１  撮影制御回路
２３  シャッタボタン検出部
２５  駆動部
２６  センサ部
３０  加算式手ぶれ補正回路
３２  動き検出回路
３６  画像合成回路
７０  画像復元部
ＬＣ  補正レンズ
ＳＢ１、ＳＢ２  シャッタボタン
【図１】
2011205719.tif 000012
【図２】
2011205719.tif 000013
【図３】
2011205719.tif 000014
【図４】
2011205719.tif 000015
【図５】
2011205719.tif 000016
【図６】
2011205719.tif 000017
【図７】
2011205719.tif 000018
【図８】
2011205719.tif 000019
【図９】
2011205719.tif 000020
【図１０】
2011205719.tif 000021
【図１１】
2011205719.tif 000022
【図１２】
2011205719.tif 000023
【図１３】
2011205719.tif 000024
【図１４】
2011205719.tif 000025
【図１５】
2011205719.tif 000026
【図１６】
2011205719.tif 000027
【図１７】
2011205719.tif 000028
【図１８】
2011205719.tif 000029
【図１９】
2011205719.tif 000030
【図２０】
2011205719.tif 000031
【図２１】
2011205719.tif 000032
【図２２】
2011205719.tif 000033
【図２３】
2011205719.tif 000034
【図２４】
2011205719.tif 000035
【図２５】
2011205719.tif 000036
【図２６】
2011205719.tif 000037
【図２７】
2011205719.tif 000038
【図２８】
2011205719.tif 000039
【図２９】
2011205719.tif 000040
【図３０】
2011205719.tif 000041
【図３１】
2011205719.tif 000042
【図３２】
2011205719.tif 000043
【図３３】
2011205719.tif 000044
【手続補正書】
【提出日】平成23年8月10日(2011.8.10)
【手続補正１】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項１】
撮像手段と、
ぶれを検出するぶれ検出手段と、
前記撮像手段によって得られた静止画像に含まれうるぶれを低減するためのぶれ補正を行うぶれ補正手段と、
撮像条件を判別する判別手段を備え、
前記ぶれ補正手段は、
前記ぶれ検出手段の検出結果に基づいて前記撮像手段内の光学系の補正用光学部材又は撮像素子を駆動することにより、前記ぶれ補正を行う光学式ぶれ補正手段と、
前記撮像素子の出力信号に基づく撮影画像に含まれるぶれに応じた復元フィルタを用いて前記撮影画像に対して前記ぶれ補正を行う復元式ぶれ補正手段を備え、
前記判別手段で判別された撮像条件に応じて、前記光学式ぶれ補正と前記復元式ぶれ補正の双方を実行する補正と、前記光学式ぶれ補正と、前記復元式ぶれ補正の何れか一つを実行すること特徴とする撮像装置。
【請求項２】
前記判別手段は、少なくとも第１条件及び第２条件のいずれか１つを撮像条件として判別し、
前記第１条件は、前記第２条件よりも前記撮像手段によって得られる静止画像に含まれうるぶれ量が多いことが想定される条件であって、
前記ぶれ補正手段は、前記判別手段で判別された撮像条件が前記第１条件の場合、前記光学式ぶれ補正と前記復元式ぶれ補正の双方を実行し、前記判別手段で判別された撮像条件が前記第２条件の場合、前記光学式ぶれ補正と前記復元式ぶれ補正の何れか一つを実行することを特徴とする、請求項１記載の撮像装置。
【請求項３】
少なくとも第１指示入力と第２指示入力を受け付ける受付手段を更に備え、
前記判別手段は、前記受付手段により受け付けられた少なくとも前記第１指示入力と前記第２指示入力のいずれか１つを撮像条件として判別することを特徴とする、請求項１記載の撮像装置。
【請求項４】
撮像手段と、
ぶれを検出するぶれ検出手段と、
前記撮像手段によって得られる静止画像に含まれうるぶれを低減するためのぶれ補正を行うぶれ補正手段と、
撮像条件を判別する判別手段を備え、
前記ぶれ補正手段は、
前記ぶれ検出手段の検出結果に基づいて前記撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、
複数の分割露光画像が順次撮影されるように前記撮像手段を制御する露光制御手段と、
各分割露光画像を重ね合わせて合成することにより合成画像を生成する合成画像生成手段を備え、
前記判別手段で判別された撮像条件に応じて、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像に基づく前記合成画像を生成するぶれ補正と、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させるぶれ補正のいずれか一つを行うことを特徴とする撮像装置。
【請求項５】
前記判別手段は、少なくとも第１条件及び第２条件のいずれか１つを撮像条件として判別し、
前記第１条件は、前記第２条件よりも前記撮像手段によって得られる静止画像に含まれうるぶれ量が多いことが想定される条件であって、
前記ぶれ補正手段は、前記判別手段で判別された撮像条件が前記第１条件の場合、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像に基づく前記合成画像を生成するぶれ補正を実行し、前記判別手段で判別された撮像条件が前記第２条件の場合、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させるぶれ補正を実行することを特徴とする、請求項４記載の撮像装置。
【請求項６】
少なくとも第１指示入力と第２指示入力を受け付ける受付手段を更に備え、
前記判別手段は、前記受付手段により受け付けられた少なくとも前記第１指示入力と前記第２指示入力のいずれか１つを撮像条件として判別することを特徴とする、請求項４記載の撮像装置。
【請求項７】
撮像手段と、
ぶれを検出するぶれ検出手段と、
前記撮像手段によって得られる静止画像に含まれうるぶれを低減するためのぶれ補正を行うぶれ補正手段と、
撮像条件を判別する判別手段を備え、
前記ぶれ補正手段は、
前記ぶれ検出手段の検出結果に基づいて前記撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、
複数の分割露光画像が順次撮影されるように前記撮像手段を制御する露光制御手段と、
各分割露光画像を重ね合わせて合成することにより合成画像を生成する合成画像生成手段を備え、
前記判別手段で判別された撮像条件に応じて、前記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像に基づく前記合成画像を生成するぶれ補正と、前記駆動手段による前記補正用光学部材又は前記撮像素子の駆動を停止した状態で前記複数の分割露光画像を順次撮影させて前記合成画像を生成するぶれ補正のいずれか一つを行うことを特徴とする撮像装置。
【請求項８】
前記判別手段は、少なくとも第１条件及び第２条件のいずれか１つを撮像条件として判別し、
前記第１条件は、前記第２条件よりも前記撮像手段によって得られる静止画像に含まれうるぶれ量が多いことが想定される条件であって、
前記ぶれ補正手段は、前記判別手段で判別された撮像条件が前記第１条件の場合、記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像に基づく前記合成画像を生成するぶれ補正を実行し、前記判別手段で判別された撮像条件が前記第２条件の場合、前記駆動手段による前記補正用光学部材又は前記撮像素子の駆動を停止した状態で前記複数の分割露光画像を順次撮影させて前記合成画像を生成するぶれ補正を実行することを特徴とする、請求項７記載の撮像装置。
【請求項９】
少なくとも第１指示入力と第２指示入力を受け付ける受付手段を更に備え、
前記判別手段は、前記受付手段により受け付けられた少なくとも前記第１指示入力と前記第２指示入力のいずれか１つを撮像条件として判別することを特徴とする、請求項７記載の撮像装置。
【請求項１０】
撮像手段と、
ぶれを検出するぶれ検出手段と、
前記撮像手段によって得られる静止画像に含まれうるぶれを低減するためのぶれ補正を行うぶれ補正手段と、
撮像条件を判別する判別手段を備え、
前記ぶれ検出手段の検出結果に基づいて前記撮像手段内の光学系の補正用光学部材又は撮像素子を駆動する駆動手段と、
複数の分割露光画像が順次撮影されるように前記撮像手段を制御する露光制御手段と、
各分割露光画像を重ね合わせて合成することにより合成画像を生成する合成画像生成手段を備え、
前記判別手段で判別された撮像条件に応じて、前記複数の分割露光画像を順次撮影させて各分割露光画像に基づく前記合成画像を生成するぶれ補正と、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させるぶれ補正のいずれか一つを行うことを特徴とする撮像装置。
【請求項１１】
前記判別手段は、少なくとも第１条件及び第２条件のいずれか１つを撮像条件として判別し、
前記第１条件は、前記第２条件よりも前記撮像手段によって得られる静止画像に含まれうるぶれ量が多いことが想定される条件であって、
前記ぶれ補正手段は、前記判別手段で判別された撮像条件が前記第１条件の場合、記駆動手段を用いつつ前記複数の分割露光画像を順次撮影させて各分割露光画像に基づく前記合成画像を生成するぶれ補正を実行し、前記判別手段で判別された撮像条件が前記第２条件の場合、前記駆動手段を用いつつ前記撮像手段に１枚の画像を撮影させるぶれ補正を実行することを特徴とする、請求項１０記載の撮像装置。
【請求項１２】
少なくとも第１指示入力と第２指示入力を受け付ける受付手段を更に備え、
前記判別手段は、前記受付手段により受け付けられた少なくとも前記第１指示入力と前記第２指示入力のいずれか１つを撮像条件として判別することを特徴とする、請求項１０記載の撮像装置。